Avaliação educacional: o estado do conhecimento da Revista Ensaio: Avaliação e Políticas Públicas em Educação (1993-2008)

Educational evaluation: the state of art of ensaio or 'Ensaio Journal: Evaluation and Public Policies in Education’ (1993-2008)

Evaluación educacional: el estado del conocimiento de la revista Ensayo: Evaluación y Políticas Públicas en Educación (1993-2008)

Avaliação educacional: o estado do conhecimento da Revista Ensaio: Avaliação e Políticas Públicas em Educação (1993-2008)^*

Educational evaluation: the state of art of ensaio or 'Ensaio Journal: Evaluation and Public Policies in Education' (1993-2008)

Evaluación educacional: el estado del conocimiento de la revista Ensayo: Evaluación y Políticas Públicas en Educación (1993-2008)

Regilson Maciel Borges^I; Adolfo Ignacio Calderón^II

^IMestre em Educação, Pontifícia Universidade Católica de Campinas (PUC-Campinas), docente da disciplina Filosofia da Educação, Curso de Pedagogia, Faculdade de Educação, PUC-Campinas (PAR-FOR/CAPES). E-mail: [e-mail]

^IIDoutor em Ciências Sociais pela PUC-SP com Pós-Doutorado em Ciências da Educação na Universidade de Coimbra, docente-pesquisador do Programa de Mestrado em Educação da PUC-Campinas. E-mail: [e-mail]

RESUMO

Este artigo aborda o estado do conhecimento da produção científica na área de avaliação educacional veiculada pela Revista Ensaio: Avaliação e Políticas Públicas em Educação, um dos principais periódicos disseminadores da produção científica brasileira na área da avaliação da educação. De um universo de 418 textos publicados pela Revista, no período de 1993 a 2008, foram selecionados 204 artigos sobre avaliação educacional, identificando-se: eixos temáticos predominantes, países de origem, procedências institucionais, distribuições regionais e tendências existentes em termos das metodologias de pesquisa adotadas. Constatou-se que a Revista em questão é uma publicação essencialmente brasileira, destacando-se pela grande concentração de artigos que abordam a avaliação educacional em nível institucional, com prevalência significativa dos estudos de cunho teórico e maior concentração de produção científica em instituições do eixo Rio de Janeiro-Minas Gerais, bem como do Ceará, este último fora da região sudeste do país.

Palavras-chave: Avaliação educacional. Estado do Conhecimento. Revista Ensaio.

ABSTRACT

This article presents the state of art of the scientific production in the field of educational evaluation published by 'Ensaio Journal: evaluation and public education policies', one of the leading journals that disseminates the Brazilian scientific production in the area of education evaluation. From a universe of 418 articles published by Ensaio, 204 articles about educational evaluation were selected identifying: predominant thematic axis, countries of origin, institutional origins, regional distribution and existing tendencies in terms of adopted research methodologies. It was verified that the Journal in question is essentially a Brazilian publication, highlighting the large concentration of articles that address the educational evaluation at the institutional level with significant prevalence of theoretical studies and the major concentration of scientific production in institutions from the axis RJ-MG, as well as Ceará, the latter being out of the southeast region of Brazil.

Keywords: Educational Evaluation. The State of Art. Ensaio Journal.

RESUMEN

Este artículo aborda el estado del conocimiento de la producción científica en el área de la evaluación educacional divulgada por la Revista Ensayo: Evaluación y Políticas Públicas en Educación, una de las principales revistas diseminadoras de la producción científica brasileña en el área de la evaluación de la educación. De un universo de 418 textos publicados por la Revista en el período de 1993 a 2008, se seleccionaron 204 artículos sobre evaluación educacional y se identificaron ejes temáticos predominantes, países de origen, procedencia institucional, distribución regional y tendencias existentes en relación a las metodologías de investigación más utilizadas. Se constató que la Revista abordada es una publicación esencialmente brasileña y que se destaca por la gran concentración de artículos sobre la evaluación educacional en el ámbito institucional, prevaleciendo significativamente los estudios de cuño teórico y una mayor concentración de producción científica en instituciones del circuito Río de Janeiro - Minas Gerais, así como del Estado de Ceará, este último fuera de la región sudeste del país.

Palabras clave: Evaluación educacional. Estado del Conocimiento. Revista Ensayo.

Introdução

O presente artigo apresenta resultados referentes à pesquisa que vem sendo realizada no Programa de Pós-Graduação Stricto Sensu em Educação da Pontifícia Universidade Católica de Campinas, no Grupo de Pesquisa Qualidade de Ensino, a respeito da produção científica disseminada no Brasil, por meio de periódicos, na área da Avaliação Educacional.

Aborda o Estado do Conhecimento sobre a produção científica da "Revista Ensaio: Avaliação e Políticas Públicas em Educação", no período que abrange desde sua criação, em 1993, até o último número de 2008. Mapeia toda a produção científica que se enquadra na área da "Avaliação Educacional", abrangendo em toda sua complexidade, tanto a Educação Básica quanto a Educação Superior, identificando eixos temáticos predominantes, países de origem, procedências institucionais, distribuições regionais e tendências existentes em termos das metodologias de pesquisa adotadas.

Convém ressaltar que, para sistematizar a multiplicidades de trabalhos existentes na área da Avaliação Educacional, serão tomados como categorias referenciais os três níveis de avaliação explicitados por Freitas e outros (2009), a saber: Avaliação da Aprendizagem, Avaliação Institucional e Avaliação de Sistemas.

Embora a avaliação da aprendizagem em sala de aula seja o lado mais conhecido da avaliação educacional, este não pode ser tomado como o único nível existente de avaliação. A desarticulação ou desconhecimento da existência dos demais níveis e a desconsideração da semelhança entre suas lógicas e suas formas de manifestação acabam por dificultar a superação dos problemas atribuídos à avaliação da aprendizagem. Os resultados desta precisam ser articulados com os outros níveis que compõem o campo da avaliação, sob pena de não darmos conta da complexidade que envolve a questão e reduzirmos a possibilidade de construção de processos decisórios mais circunstanciados e menos ingênuos. Neste sentido, não podemos esquecer que a educação é um fenômeno regulado pelo Estado. A própria escola (de massa) é uma instituição do Estado. Isso nos obriga a considerar outros níveis de avaliação: tanto da instituição escolar, denominada avaliação institucional, como do próprio sistema como um todo, a avaliação de redes de ensino (FREITAS et al., 2009, p. 9).

Uma revista de excelência

A Revista Ensaio foi criada em dezembro de 1993, por iniciativa do Centro de Avaliação que integra a Fundação Cesgranrio. Circula nos meses de março, junho, setembro e dezembro, com tiragem de 3.000 exemplares. Conta com o apoio financeiro do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).

Recebeu conceito nacional A2 na avaliação dos periódicos científicos em Educação, realizada pela CAPES, por meio do "Qualis Periódicos", listagem que classifica os veículos científicos utilizados pelos Programas de Pós-Graduação para disseminar a produção científica.

Nessa classificação, o conceito A1 é o extrato de máxima referência em termos de qualidade, seguido em ordem decrescente pelos periódicos considerados A2; B1; B2; B3; B4; B5; C. Como pode ser observado, a Revista, objeto deste artigo, localiza-se somente um patamar abaixo do extrato considerado como máximo de referência de qualidade em nível nacional.

Conforme os estratos definidos pela CAPES, as revistas enquadradas no extrato A2 assumem as seguintes características:

Publicação amplamente reconhecida pela área, seriada, arbitrada e dirigida prioritariamente à comunidade acadêmico-científica, atendendo a normas editoriais da ABNT ou equivalente (no exterior). Ter ampla circulação por meio de assinaturas/permutas, no caso de revistas apenas impressas, e estar, preferencialmente, disponível on-line. Periodicidade mínima de 2 números anuais e regularidade na edição dos números. Possuir conselho editorial e corpo de pareceristas formado por pesquisadores nacionais e internacionais de diferentes instituições e altamente qualificados. Publicar, no mínimo, 18 artigos por ano, garantindo ampla diversidade institucional dos autores: pelo menos 75% de artigos devem estar vinculados a, no mínimo, 5 instituições diferentes daquela que edita o periódico. Publicar pelo menos dois artigos por ano de autores filiados a instituições estrangeiras reconhecidas. Estar indexado em 5 bases de dados, sendo, pelo menos, 2 internacionais (BRASIL, 2007, p. 3).

Além da área da Educação, o periódico em questão é reconhecido em outras áreas do conhecimento, tais como Administração, Ciências Contábeis, Enfermagem, Serviço Social, Sociologia, Educação Física, Saúde Coletiva, Ciências Biológiocas, entre outras, sendo sua maior colocação na área da Educação. A Revista encontra-se disponível no Scientific Eletronic Library Online (SCIELO), e na Citas Latinoamericanas em Ciencias Sociales y Humanidades (CLASE), entre outras bases de indexação nacional e internacionais.

Trata-se de um veículo de divulgação de pesquisas, levantamentos, estudos, discussões e outros trabalhos no campo da Educação. Já no Editorial do primeiro número da Revista, assinado pelo professor Carlos Alberto Serpa de Oliveira (1993, p. 3), é assinalado o intuito dessa publicação:

Aprofundar a análise de projetos e experiências, avaliandoas numa perspectiva educacional, quanto ao seu desempenho com referência aos padrões de qualidade aceitos. Concedemos à avaliação, neste particular, amplitude maior, que não se associa, com singularidade, de forma excludente, ao ensino-aprendizagem. Mas ao contrário, empresta-lhe perspectivas de um horizonte mais largo, como, a propósito, as políticas públicas em educação e aos aspectos organizacionais dos sistemas e instituições educacionais.

Essa vocação apontada por Oliveira (1993) é constatada, anos depois, por pesquisas científicas, como por exemplo, a realizada por Barreto e Pinto (2001), na Série Estado do Conhecimento, do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), juntamente com o Comitê dos Produtores da Informação Educacional (Comped) e a Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), na qual a Revista Ensaio aparece como a segunda maior produtora de trabalhos sobre Avaliação na Educação Básica, no período de 1990 a 1998, com 23% da produção sobre o tema, correspondendo a 49 artigos publicados de um total de 217 trabalhos analisados pelas autoras. Este dado nos permite verificar o destaque que a publicação dá ao tema da Avaliação.

As quatro categorias temáticas

A pesquisa caracteriza-se como quantitativa e qualitativa (GOMÉZ; FLORES; JIMENÉZ, 1999), de caráter bibliográfica (FERREIRA, 2002), já que se trata de um levantamento sistemático, analítico e crítico (TEIXEIRA, 2006) da produção sobre Avaliação Educacional, realizado na perspectiva do Estado da Arte ou Estado do Conhecimento (FERREIRA, 2002).

Adotamos essa perspectiva, por se tratar de uma "metodologia de caráter inventariante e descritivo da produção acadêmica e científica" (FERREIRA, 2002, p. 259) sobre uma determinada temática, possibilitando o levantamento e a avaliação do conhecimento sobre determinado tema.

A pesquisa começou pela identificação dos artigos que versam sobre Avaliação e que foram publicados pela Revista Ensaio no período pesquisado, divulgados não somente na seção Artigos, mas também nas seções Página Aberta, Pesquisa em Síntese e Informes e Participações¹. Este processo foi realizado a partir dos números do periódico disponíveis em forma impressa na biblioteca do Centro de Ciências Humanas e Sociais Aplicadas da PUC-Campinas e on-line no SCIELO.

Encontramos um total de 212 artigos que tratam o tema Avaliação. Foram selecionados os artigos que possuíam explicitamente no título o termo "Avaliação" ou que apresentavam esse termo nas palavras-chave. Em seguida, os artigos passaram por um recorte que selecionou apenas aqueles que tratassem especificamente sobre Avaliação Educacional, uma vez que encontramos artigos que apresentam resultados de pesquisas avaliativas realizadas na área da Saúde, Esportes, Administração Pública, entre outros.

Restaram 204 artigos do universo de 418 trabalhos publicados pela Revista Ensaio, no período de 1993 a 2008, conforme demonstra a Tabela 1.

Após esta seleção, os artigos foram separados, distinguindo aqueles que estavam destinados à Educação Básica e à Educação Superior. Conforme Tabela 2, constatou-se a predominância dos artigos destinados à Educação Básica, 62,74% dos trabalhos, equivalente a 128 artigos, restando 37,25% do artigos, voltados à Educação Superior.

Após esta seleção, o conjunto de trabalhos foi organizado segundo quatro categorias temáticas: avaliação - aspectos gerais, avaliação da aprendizagem, avaliação institucional e avaliação de sistemas, conforme pode ser observado na Tabela 3.

Dentro de cada categoria temática acima referida, os artigos foram classificados segundo ano, mês e volume da publicação, título do artigo, autor, dados do autor, resumo, palavras-chave, procedência do artigo e abordagem metodológica utilizada. Objetivando-se identificar a procedência dos trabalhos, os aspectos teóricometodológicos que embasam as pesquisas e as tendências temáticas da produção nos últimos quinze anos.

O mapeamento da produção científica

Na tentativa de mapear a produção do conhecimento, verificamos a procedência dos trabalhos sobre avaliação educacional, examinando sua distribuição por países, conforme Tabela 4.

A Tabela 4 mostra que, do total de 204 trabalhos sobre Avaliação Educacional, publicados na Revista Ensaio, entre 1993 a 2008, 182 deles (89,21%), são de autores brasileiros. Os outros 22 são de autores de outros países, a saber: Estados Unidos (nove), Espanha (sete), Portugal (quatro), México (um), e Irlanda (um). Esses dados nos permitem afirmar que a publicação é um periódico eminentemente brasileiro, com trabalhos provenientes de 52 Instituições de Educação Superior e 17 de institutos e/ou centros de pesquisa.

Na Tabela 5, entre as três universidades que mais publicaram trabalhos no período pesquisado se destacam: Universidade Federal do Rio de Janeiro (24), Universidade Federal de Minas Gerais (15), Universidade Federal do Ceará (13). Se considerarmos as cinco universidades que mais publicaram, constatamos a inclusão de mais duas universidades do Estado do Rio de Janeiro, uma universidade federal (Universidade Federal Fluminense) e uma universidade confessional (Pontifícia Universidade Católica do Rio de Janeiro).

Outras dezessete instituições e/ou centros de pesquisa também se encontram representados nas produções da Revista Ensaio, conforme mostra a Tabela 6. Neste grupo, nota-se a predominância de trabalhos vinculados à própria Fundação Cesgranrio, editora da Revista Ensaio, em relação aos demais institutos e/ou centros de pesquisa. Convém ressaltar a presença de instituições governamentais, tais como o Instituto Nacional de Estudos (INEP), Pesquisas, Instituto de Pesquisa Econômica Aplicada (IPEA), e Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Atenta-se ao fato de que a desproporção que se visualiza na somatória das Tabelas 5 e 6 , em relação à quantidade de trabalhos anunciada sobre Avaliação Educacional (204 artigos), alguns textos possuem mais de um autor, e estes estão vinculados a instituições diferentes. A partir dos cenários apresentados nas tabelas anteriores, é possível verificar a distribuição dos trabalhos pelas regiões geográficas do país, conforme demonstra a Tabela 7.

A Tabela 7 demonstra que a maior quantidade de artigos foi produzida por instituições localizadas na região sudeste do país, sendo esta a responsável por 142 do total de artigos. Esta concentração de publicações na região sudeste coincide com recente levantamento realizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) sobre a pós-graduação brasileira (BRASIL, 2010), no qual a região sudeste aparece com o maior número de cursos: são 2.190, representando 53,4% do total, seguida pelas regiões sul com 19,8%, 810 cursos e nordeste com 16,4%, 672. As regiões centro-oeste e norte aparecem com 6,6%, 270, e 3,8%, 157 cursos, respectivamente.

No que diz respeito às metodologias de pesquisas adotadas nos artigos analisados, a Tabela 8 demonstra a predominância de trabalhos que se referem a: Pesquisas Teóricas, com 48 artigos, seguidos de Análise Documental , com 20 publicações, Propostas, com 34 artigos, e Análise de Dados Empíricos, com 31 artigos. Consideramos pesquisas teóricas os trabalhos que teorizam sobre o tema da Avaliação, apresentando-se sob forma de expressão ideias e/ou reflexões sobre o tema em questão.

Também na classificação apresentada na Tabela 8, o total de artigos é superior aos 204 catalogados como artigos que se referem à Avaliação Educacional (Tabela 2) já que alguns trabalhos se enquadram em mais de uma abordagem metodológica, conforme constatado na análise realizada.

Observações finais

As análises dos dados permite-nos afirmar que a revista Ensaio é uma publicação eminentemente nacional, tanto pela quantidade de autores, como pelo número de instituições brasileiras que divulgam trabalhos em suas páginas. Trata-se de um periódico que busca contribuir, significativamente, com as discussões e debates na área da Avaliação através da difusão de diferentes metodologias, experiências e inovações. Destaca-se, deste modo, a importância das revistas científicas no processo de difusão do conhecimento, visando ao desenvolvimento e consolidação da ciência.

Constatou-se, neste estudo, a predominância de artigos que se referem a pesquisas teóricas, trabalhos que teorizam sobre a temática da avaliação educacional, procurando oferecer elementos que sirvam de referência para futuros estudos. Outros trabalhos, com os realizados por Candau e Oswald (1995), e Barreto e Pinto (2001), que analisaram a produção científica divulgada em periódicos científicos, também apontam para o predomínio de estudos com essa abordagem metodológica.

Entre as categorias temáticas adotadas neste estudo, a Avaliação Educacional (aprendizagem, institucional e sistemas) ocupa maior destaque com os trabalhos que se referem à Avaliação Institucional, especificamente no campo das instituições de Ensino Superior. São estudos que, a partir de seus resultados e dos modelos adotados, discutem estratégias e metodologias alternativas e válidas no campo da avaliação institucional.

Embora a predominância da produção científica divulgada nesse periódico esteja localizada na região sudeste do país, tendo como destaque de maior publicação, pesquisadores de universidades do Rio de Janeiro, a pesquisa realizada assinala o despontar de um núcleo de pesquisa fora do referido eixo, localizado na Universidade Federal do Ceará, o mesmo que ficou em terceiro lugar dentro da lista de Universidades que mais publicaram artigos na Revista em questão. São eles os pesquisadores vinculados ao Núcleo de Avaliação Educacional (NAVE) do Programa de Pós-Graduação em Educação da referida universidade.

Finalmente, o estudo panorâmico, apresentado neste artigo, mostra o campo fértil existente na tentativa de descrever, inventariar, analisar e compreender a evolução do conhecimento na área da Avaliação da Educação, tomando como referência revistas científicas de excelência; neste caso a Revista Ensaio desafia a compreensão das tendências na Avaliação tanto na área da Educação Básica quanto na da Educação Superior.

Recebido em: 26/01/2011

Aceito para publicação em: 10/03/2011

• BARRETO, E. S. S.; PINTO, R. P. (Coord.). Avaliação na educação básica, 1990-1998. Brasília, DF: Inep: Comped: Anped, 2001. (Série Estado do Conhecimento, n. 4).
• BRASIL. Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Relatório de divulgação dos resultados finais da avaliação trienal 2010 Brasília, DF, 2010. Disponível em: <http://trienal.capes.gov.br/wpcontent/uploads/2010/12/relat%C3%B3rio-geral-dos-resultados-finais-daavalia%C3%A7%C3%A3o-2010.pdf>. Acesso em: 30 ago. 2010.
• BRASIL. Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Documento de área 2009: educação. Brasília, DF, 2007. Disponível em: <http://qualis.capes.gov.br/arquivos/avaliacao/webqualis/criterios2007_2009/ Criterios_Qualis_2008_38.pdf>. Acesso em: 8 mar. 2011.
• CANDAU, V. M.; OSWALD, M. L. M. B. Avaliação no Brasil: uma revisão bibliográfica. Cadernos de Pesquisa, São Paulo, n. 95, p. 25-36, 1995.
• FERREIRA, N. S. A. As pesquisas denominadas "Estado da Arte". Educação e Sociedade, Campinas, SP, v. 23, n. 79, 2002.
• FREITAS, L. C. et al. Avaliação educacional: caminhando pela contramão. Petrópolis, RJ: Vozes, 2009.
• GOMES, G. R.; FLORES, J. G.; JIMÉNEZ, E. G. Metodología de la investigación cualitativa 2. ed. Málaga: Ediciones Aljibe, 1999.
• OLIVEIRA, C. A. S. Editorial. Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 1, n. 1, out./dez. 1993.
• TEIXEIRA, C. R. O "Estado da Arte": a concepção de avaliação educacional veiculada na produção acadêmica do Programa de Pós-Graduação em Educação Currículo (1975-2000). Cadernos de Pós-Graduação: educação, São Paulo, v. 5, n. 1, p. 59-66, 2006.

*

Este artigo, realizado com apoio da CAPES, foi discutido durante o I Congresso Nacional de Avaliação em Educação (CONAVE), no eixo-temático: Avaliação em Educação: Fundamentos Teóricos e Metodológicos, realizado de 7 a 9 de outubro de 2010, em Bauru-SP, fato que possibilitou sua reestruturação e aprimoramento.

1

Para nosso estudo havíamos considerado, num primeiro momento, apenas os trabalhos da seção artigos, porém com a leitura dos demais trabalhos , verificou-se a pertinência de seu conteúdo na medida em que possuíam as características de um artigo científico. Constatamos, ainda, no trabalho de Barreto e Pinto (2001), a adoção de todas as seções da Revista Ensaio para compor o material do estudo realizado, também pelos motivos mencionados.

Datas de Publicação

• Publicação nesta coleção
  09 Jun 2011
• Data do Fascículo
  Mar 2011

Histórico

• Recebido
  26 Jan 2011
• Aceito
  10 Mar 2011