Publicação e avaliação de periódicos científicos: paradoxos da avaliação qualis de psicologia

Publishing and evaluating scientific journals: qualis assessment in psychology

Publicación y evaluación de periódicos científicos: paradojas de la evaluación qualis de psicología

ARTIGOS

Publicação e avaliação de periódicos científicos: paradoxos da avaliação qualis de psicologia¹

Publishing and evaluating scientific journals: qualis assessment in psychology

Publicación y evaluación de periódicos científicos: paradojas de la evaluación qualis de psicología

Ana Ludmila Freire Costa^I; Oswaldo Hajime Yamamoto^II

^IMestre em Psicologia, pesquisadora colaboradora do Grupo de Pesquisas Marxismo e Educação, vinculado ao Departamento de Psicologia da Universidade Federal do Rio Grande do Norte-UFRN

^IIDoutor em Educação, professor titular da Universidade Federal do Rio Grande do Norte-UFRN

^{Address for correspondence}

RESUMO

A avaliação de periódicos Qualis para monitoramento dos programas de pós-graduação gerou grande repercussão na comunidade científica, suscitando questionamentos sobre o modelo. Nosso objetivo é fazer uma metaavaliação sobre esse processo de avaliação das revistas de Psicologia. Foram consultados editores de Psicologia (38 respondentes, questionário enviado por e-mail), bibliotecários envolvidos com avaliação de periódicos (5 participantes, entrevistas semi-estruturadas) e pesquisadores que participaram/participam da Comissão de Avaliação CAPES/ANPEPP (7 respondentes, questões abertas via e-mail). Os principais aspectos apontam para divergência entre os atores envolvidos quanto à adequação do modelo para retratar a realidade editorial da área e em relação aos critérios adotados; reconhecimento da melhoria das revistas; indicação de que esse modelo de avaliação não aprecia a qualidade da revista. Uma vez considerado esse processo de avaliação como contribuição para o progresso científico, há que construir alternativas para um modelo capaz de fornecer respostas adequadas às demandas da comunidade científica.

Palavras-chave: periódicos científicos de Psicologia, avaliação de periódicos, Qualis.

ABSTRACT

The assessment of scientific journals for the Qualis database has deep effects on the scientific community and raises questions on the evaluation method. A meta-analysis of this assessment of psychological journals is provided. Scientific editors of psychology journals (38 editors answered questionnaires applied by e-mail), librarians familiar with scientific journals assessment procedures (5 participants, semi-structured interviews) and referees of the CAPES/ANPEPP Commission (7 participants, open questions sent by e-mail) were consulted. The most important points include disagreement among different subjects involved on the suitability of such evaluation model to assess the editorial situation in Psychology and on adopted criteria; acknowledgement of improvements in scientific journals; the model fails to assess the journal's quality. Since the assessment process is important to scientific progress, alternatives should be found to satisfy demands posited by the scientific community.

Key words: Psychology scientific journals, journals assessment, Qualis database.

RESUMEN

La evaluación de revistas Qualis para el monitoreo de los programas de post-grados generó gran repercusión en la comunidad científica, suscitando cuestionamientos sobre el modelo. Nuestro objetivo es hacer una meta-evaluación sobre ese proceso de evaluación de las revistas de Psicología. Han sido consultados editores de Psicología (38 respondientes, cuestionario enviado por correo electrónico), bibliotecarios involucrados con evaluación de revistas (5 consultados, entrevistas semiestructuradas) e investigadores que participaron o participan de la Comisión de Evaluación CAPES/ANPEPP (7 participantes, cuestiones abiertas por correo electrónico). Los principales aspectos apuntan para la divergencia entre los actores involucrados con respecto a la adecuación del modelo para mostrar la realidad editorial del área y en relación a los criterios adoptados; reconocimiento del incremento de las revistas; indicación de que ese modelo de evaluación no aprecia la calidad de la revista. Una vez considerado ese proceso de evaluación como contribución para el progreso científico, hay que construir alternativas para un modelo capaz de ofrecer respuestas adecuadas a las demandas de la comunidad científica.

Palabras-clave: Periódicos científicos de Psicología, evaluación de revistas, Qualis

O quadro brasileiro de periódicos científicos de Psicologia tem passado por significativas transformações nos últimos anos, resultado do crescimento da comunidade científica e da qualificação acentuada dos programas de pós-graduação e dos pesquisadores.

As primeiras revistas de Psicologia de que se tem notícia datam do século XIX, publicadas na França e nos Estados Unidos, e continuam sendo produzidas até hoje. Em 1894, "L'Année Psychologique", de Beaunis e Binet, visava divulgar os trabalhos desenvolvidos no Laboratoire de Psychologie Psychologique da Universidade de Sorbonne, e em 1887 foi criado, por iniciativa de Stanley Hall, "The American Journal of Psychology", um periódico dedicado exclusivamente à Psicologia (Sampaio, Sabadini & Linguagotto, 2002).

No Brasil, os primeiros periódicos da área são de 1949, período localizado entre as décadas de 1930 e 1960, considerado o momento em que a Psicologia consolida-se como área de conhecimento e campo de aplicação. Um estudo de Antunes (2004) aponta que houve uma quantidade substancial de publicações na época, o que reflete uma preocupação com a sistematização e a difusão do conhecimento produzido.

O periódico científico brasileiro pioneiro da área foi Arquivos Brasileiros de Psicotécnica, editado pela primeira vez em 1949 pelo ISOP (Instituto de Seleção e Orientação Profissional), órgão da Fundação Getúlio Vargas². Outro marco histórico é a fundação da Sociedade de Psicologia de São Paulo (SPSP), em 1945, por iniciativa de Annita Cabral e Otto Klineberg, com o objetivo de promover o desenvolvimento da Psicologia como ciência e profissão. Quatro anos após a sua fundação, lançou o periódico Boletim de Psicologia, que tem se mantido ininterruptamente desde então.

Até a década de 1980, os relatos da pesquisa psicológica estavam distribuídos em algumas centenas de publicações. A partir daí, um grande número de títulos que publicam sobre Psicologia surgiu, resultado do incentivo à criação dos programas de pós-graduação nos anos 1980, dos primeiros financiamentos para publicações e do crescimento da área (Sampaio & Peixoto, 2000).

Atualmente, é difícil precisar o número exato de periódicos de Psicologia. O Índex Psi Periódicos reúne mais de 160 revistas brasileiras referentes à literatura técnico-científica em Psicologia e áreas afins. Já o Portal Periódicos CAPES aponta mais de 800 títulos quando se faz a pesquisa por assunto com o termo "Psicologia". Além desses números, um levantamento efetuado pela ReBAP – Rede Brasileira de Bibliotecas da Área de Psicologia, em setembro de 2001, identificou 121 títulos de revistas científicas na área publicadas no Brasil (Sampaio, Sabadini & Linguagotto, 2002).

Em virtude desses números cada vez mais crescentes, as avaliações de periódicos científicos são consideradas essenciais para tentar assegurar qualidade ao processo de desenvolvimento e aperfeiçoamento da ciência e garantir que o que está sendo produzido e veiculado é relevante e confiável.

Os primeiros estudos sobre avaliação de periódicos científicos datam do início da década de 1960 e foram realizados com revistas médicas latino-americanas (Ferreira & Krzyzanowski, 2003). Em 1964 foi proposto um estudo para o Grupo de Trabalho para Seleção de Revistas Científicas e Técnicas Latino-americanas, organizado pelo Centro de Cooperação da Unesco (United Nations Educational, Scientific and Cultural Organization) para a América Latina em Porto Rico.

Para a avaliação de publicações periódicas científicas e técnicas brasileiras, Braga e Oberhofer propuseram as primeiras diretrizes em 1982. Com base no documento da Unesco, em algumas pesquisas realizadas e em conjunto com um grupo de pesquisadores do IBICT (Instituto Brasileiro de Informação em Ciência e Tecnologia), tais pesquisadoras formularam um instrumento para a avaliação das revistas brasileiras, constituindo um trabalho histórico para as diversas áreas do conhecimento.

Na década de 1990, Krzyzanowski e Ferreira propuseram um modelo de avaliação de periódicos, baseado em Braga e Oberhofer (1982), para subsidiar os programas de apoio a publicações científicas das agências financiadoras FINEP, CNPq e FAPESP. O método foi desenvolvido para avaliação conjunta de mérito (conteúdo) e desempenho (forma) dos periódicos brasileiros e os principais resultados apontaram para a necessidade da avaliação conjunta, tanto do conteúdo quanto da forma, para se obter uma visão global da qualidade das publicações.

Do final da década de 1990 aos dias de hoje, são várias as instituições nas diversas áreas do conhecimento que desenvolvem avaliações de periódicos científicos. Os critérios adotados, os métodos utilizados e as estratégias de avaliação empregadas variam em função do objetivo da apreciação e da área de conhecimento, entre outros aspectos.

Na literatura científica, não há consenso a respeito de qual seja a maneira mais adequada para desenvolver avaliações de periódicos, apesar de os estudos objetivarem, invariavelmente, a garantia da qualidade das informações veiculadas. Para a realização de qualquer julgamento, é necessário definir quais os parâmetros a serem levados em consideração e que tipo de dados serão analisados. Tais escolhas podem resultar em discordâncias e críticas quanto aos critérios adotados (Buela-Casal, 2003).

Apesar dessa falta de consenso, constatam-se alguns pontos em comum nos diversos trabalhos sobre avaliação de periódicos. As estratégias mais empregadas são a avaliação da forma do veículo e do conteúdo. Para a avaliação do conteúdo, é possível utilizar o sistema de indicação por pares (utilizado por pesquisadores da área a qual eles são convidados a avaliar, geralmente com prestígio na comunidade científica) e/ou indicadores bibliométricos (Krzyzanowski & Ferreira, 1998; Yamamoto et al., 1999).

Essas estratégias muitas vezes se confundem, não havendo uma distinção nítida entre métodos quantitativos e qualitativos, avaliação de forma e de conteúdo. Por exemplo, o Fator de Impacto (índice bibliométrico) pode ser considerado um modo objetivo para aferir a qualidade da revista no seu aspecto "relevância científica"; já a avaliação de conteúdo, embora esteja centrada na qualidade dos artigos publicados, não exclui a da forma, na maioria das vezes.

Entre as diversas avaliações pelas quais passam as revistas brasileiras (CNPq e Fundações de Amparo a Pesquisa para financiamento, SciELO e outras bibliotecas, indexadores em geral), é a avaliação empreendida para a base Qualis que tem gerado grande repercussão na comunidade de Psicologia. O objetivo primordial de tal avaliação de revistas é fornecer informações para qualificação da produção científica docente e discente dos programas de pós-graduação. Os dados sobre produção científica não são os únicos levados em conta no processo de análise dos programas, embora sejam considerados o item com maior peso nas decisões sobre a avaliação (Macedo & Menandro, 1998).

Em linhas gerais, a Qualis compreende uma qualificação da produção científica dos docentes e discentes que subsidia a avaliação, conduzida pela Capes, dos programas de pós-graduação credenciados pela instituição, e é alimentada a partir dos relatórios enviados pelos referidos programas. Cada área da Capes designa uma comissão responsável pela arbitragem dos periódicos correspondentes, aqueles citados na produção científica dos docentes e discentes dos programas de pós-graduação, a qual elabora os critérios de avaliação levando em conta as características próprias das áreas em questão. Os periódicos, então, são classificados quanto ao âmbito de circulação (local, nacional e internacional) e quanto à qualidade (podendo ser atribuídos os conceitos A, B ou C) (Paula, 2002).

Na Psicologia, foi constituída uma comissão editorial intitulada "Comissão para Avaliação de Revistas Científicas em Psicologia", formada por representantes da área na Capes e por pesquisadores com experiência em editoração escolhidos por votação pelos programas afiliados à ANPEPP (Associação Nacional de Pesquisa e Pós-graduação em Psicologia). Pela composição, tal comissão é comumente intitulada "Comissão CAPES/ANPEPP".

A área empreendeu a primeira avaliação de periódicos em 1998 (referente ao biênio 1996-1997), tornando-se uma das áreas mais avançadas. De lá até agora, foram realizados mais quatro processos³: em 2000, referente ao período 1998-1999; em 2002, para o ano de 2001; uma atualização no ano de 2004, para o biênio 2002-2003; e a última avaliação em 2005, para os títulos publicados em 2004. O resultado final da última avaliação permite o delineamento de um quadro geral das publicações da área desde o primeiro processo de classificação das revistas.

Em virtude desses rankings, tais avaliações provocaram significativas mudanças na Psicologia brasileira, assim como em algumas outras áreas. Os resultados das avaliações de periódicos passaram a ser considerados em diversos contextos, suscitando questionamentos em torno do modelo de avaliação utilizado.

O propósito inicial da Qualis - de subsidiar a avaliação da pós-graduação brasileira - foi extrapolado, e hoje a classificação obtida pelos veículos surte um efeito significativo na comunidade científica. Os resultados da referida avaliação têm servido como ferramenta para auxiliar na concessão de financiamentos, para a inclusão dos títulos em bibliotecas e indexadores, para orientar pesquisadores e leitores no momento de escolha de títulos para submissão de seus trabalhos ou pesquisar material bibliográfico de relevância, para estimular editores a elevar o padrão de qualidade considerado pelas avaliações a fim de manter financiamentos, entre outras circunstâncias.

Em um sentido mais amplo, pode-se afirmar que hoje a avaliação de periódicos se constitui em um processo fundamental para a produção de conhecimento em Psicologia (Sampaio & Sabadini, 2002).

Se por um lado é possível observar tais impactos positivos e mobilização da comunidade científica decorrentes das avaliações realizadas pela Comissão CAPES/ANPEPP, por outro, existem críticas quanto aos critérios adotados nas avaliações. Se antes não havia parâmetros de qualidade para que os editores buscassem alcançá-los, hoje o nível das publicações tornou-se elevado, o que demanda o estabelecimento de novos critérios e padrões de exigências (Menandro, 2002).

Essa polêmica entre a defesa da avaliação tal qual está sendo conduzida e a urgência na revisão dos critérios é reforçada, sobretudo, em decorrência da ausência de consenso sobre a alternativa mais adequada de desenvolver tais avaliações. Não há consonância estabelecida nessa esfera e muitas tentativas têm sido feitas na direção do estabelecimento de critérios e metodologias de avaliação que satisfaçam a todos os envolvidos. Não se pode esquecer que se trata de uma avaliação, que, como todo processo de avaliação, implica escolha e estabelecimento de alguns critérios em detrimento de outros, o que pode ocasionar desacordo quanto àqueles adotados.

Em virtude deste impacto na comunidade científica de Psicologia, o objetivo deste trabalho é fazer uma metaavaliação sobre esse processo de avaliação utilizado pela área de Psicologia. Pretende-se, portanto, analisar esse modelo de classificação a partir do posicionamento dos três principais atores envolvidos no processo: os editores de revistas de Psicologia, os membros da Comissão de Avaliação e bibliotecários com experiência na temática.

MATERIAIS E MÉTODO

Participantes

Foram consultados três grupos de atores envolvidos com a avaliação de periódicos científicos de Psicologia: (a) editores cujos periódicos foram avaliados para a base Qualis em 2004 por terem sido citados pelos programas de pós-graduação no biênio 2002-2003 (do total de 94 participantes, houve 38 respondentes, o que representa uma taxa de devolução de 40%); (b) 5 profissionais da área de Ciências da Informação e Biblioteconomia, selecionados em função da experiência em avaliação de periódicos e conhecimento sobre os periódicos de Psicologia (bibliotecários vinculados à BVS-Psi, ao Instituto de Psicologia da USP, ao Comitê Consultivo SciELO, à avaliação de periódicos científicos do CNPq, BIREME e FAPESP); e (c) membros da Comissão CAPES/ANPEPP que participaram mais de uma vez das cinco versões da avaliação Qualis (7 respondentes de um conjunto de 8 pesquisadores consultados).

Instrumento

Foram utilizados instrumentos diferentes para cada um dos grupos de respondentes.

Para os editores, aplicou-se um questionário eletrônico contendo dados gerais de identificação (nome do editor, periódico científico que edita e instituição à qual o periódico está vinculado) e quatro questões abertas. A primeira delas, subdividida em quatro quesitos, abordava como deveria ser uma avaliação de periódicos da área e as outras três questões discutiam o atual processo de avaliação Qualis.

Para os bibliotecários, cada entrevista seguiu roteiro preestabelecido. Continham de cinco a dez perguntas, abertas, sobre periódicos científicos e avaliação de revistas, além de questões relativas ao trabalho desenvolvido por cada um dos entrevistados.

Para os membros da Comissão de Avaliação foi utilizado um questionário eletrônico composto de três questões abertas. A primeira delas estava subdividida em quatro quesitos (que versavam sobre uma avaliação geral do processo, com destaque para os pontos positivos e negativos e o instrumento utilizado), e as outras duas questões eram mais específicas (o impacto da avaliação para o campo editorial da Psicologia no Brasil e a consistência dos resultados para sua transposição a outros contextos).

Procedimento

O questionário foi enviado aos editores por correio eletrônico (os endereços eletrônicos foram coletados a partir do site da Biblioteca Virtual de Saúde – Psicologia). O período para retorno do instrumento preenchido compreendeu os meses de março a agosto de 2005. Cada um dos questionários emitidos pelos editores foi impresso e recebeu uma numeração específica para identificação.

Os bibliotecários foram primeiramente contatados por e-mail e entrevistados pessoalmente. As entrevistas aconteceram nos dias 31 de maio e 01 e 02 de junho de 2004 em São Paulo. O conteúdo foi gravado e transcrito na íntegra.

Os membros da Comissão foram contatados por correio eletrônico (e-mail) no mês de agosto de 2005, quando foram enviados os questionários. Cada questionário foi impresso e recebeu uma numeração específica para identificação.

Análise dos dados

Foram elaboradas categorias de acordo com a recorrência temática de cada uma das respostas dos participantes; em seguida, foram estabelecidas categorias temáticas comuns aos três respondentes. A discussão dos resultados foi feita de acordo com três temas gerais, que abrigam subtemas. São eles: apreciação geral sobre o processo de avaliação Qualis, critérios de avaliação e efeitos das avaliações e mudanças percebidas no quadro editorial.

Para ilustrar os resultados encontrados, foram utilizados trechos do material coletado, os quais estão apresentados no texto entre aspas e sem identificação oo respondente a que se refere, apenas com indicação se é editor (com a identificação EdXX), se é bibliotecário (com indicação BibXX) ou se participou como membro da Comissão de Avaliação (cuja identificação é ComXX).

RESULTADOS E DISCUSSÃO

Adequação da classificação de revistas

A avaliação geral que os respondentes fizeram sobre a classificação de periódicos de Psicologia para a base Qualis encontra-se dividida entre algumas categorias de respostas. Os editores foram o grupo que mais discordou, se comparados aos bibliotecários e aos membros da Comissão. Conforme a Tabela 2, alguns participantes da pesquisa foram absolutamente categóricos, outros preferiram não responder ou viram os dois lados da questão.

No caso dos editores, foram dois os tipos de respostas negativas ao questionamento: que não apreendia a necessidade dessa avaliação e que o processo tem características mais "acadêmicas" do que "científicas". Não deixa de ser verdade que esta avaliação está diretamente relacionada aos padrões acadêmicos de publicação, uma vez que compõe as avaliações dos programas de pós-graduação; mas é preciso considerar que os resultados das avaliações de periódicos acabam tambem por se refletir indiretamente na produção científica, ou seja, a partir de um conjunto de critérios que as revistas apresentam ou não, é possível estimar o status científico do que é publicado.

Já entre os editores que valorizam a avaliação ao menos parcialmente, a principal queixa refere-se à ausência da apreciação qualitativa dos periódicos e do conteúdo dos artigos, aspecto bastante recorrente em todos os pontos da metaavaliação feita pelos editores. Apesar de criticar essa limitação da avaliação, um dos editores levanta a discussão: "Penso que não retrata o conteúdo dos textos. Nem sei se esta é uma atribuição da base Qualis" (Ed40).

Como complemento, outros editores salientaram que qualquer tipo de avaliação é sempre arbitrário, uma vez que está presente o fator subjetividade e "partindo do pressuposto de que nenhuma avaliação pode retratar adequadamente o material avaliado, há sempre uma impostura da avaliação" (Ed36).

Existem ainda os editores que apóiam firmemente o sistema de avaliação, e o principal argumento por eles utilizado é que os conceitos são claros e objetivos. Além disso, como bem apontou um deles, "precisamos começar por algum lugar" (Ed55). Subjacente a esse conjunto de respostas, está a idéia de que se trata de um processo ainda em aperfeiçoamento, necessitando de tempo para se consolidar.

O segundo grupo de respondentes, o dos bibliotecários, não foi tão divergente, e em geral seus componentes corroboram esse último posicionamento dos editores. A avaliação que os entrevistados fazem em referência ao processo de classificação de revistas científicas de Psicologia para a base Qualis é muito positiva, sendo necessário que se aponte a necessidade de apenas alguns ajustes a fim de retratar mais adequadamente o quadro cuja análise é proposta. Essa posição pode ser percebida pelos seguintes trechos das entrevistas: "foi uma revolução na área da Psicologia, essa avaliação é vista com muito bons olhos (...) Nós sempre elogiamos a iniciativa, a iniciativa da ANPEPP com a CAPES, a iniciativa da Comissão de fazer o instrumento" (Bib2).

A terceira categoria de respondentes, os membros da Comissão de Avaliação, respondeu em sintonia e apresentou, basicamente, o mesmo posicionamento: a maioria dos pesquisadores foi categórica ao afirmar que a avaliação da Qualis atende, sim, aos objetivos aos quais se propõe, que é de avaliação qualificada da produção do pesquisador e constitui uma ferramenta eficiente para autores e leitores, além de ajudar os editores a melhorarem seus trabalhos. Entretanto, assim como alguns editores também apontaram, foi unânime tratar-se de um processo que precisa atualizar-se constantemente, que deve estar sempre em aperfeiçoamento para atender às novas exigências do quadro editorial, como exemplificado por Com5: "é visível o impacto da avaliação no sentido da melhoria da qualidade dos periódicos no que diz respeito aos cuidados formais. No entanto, na última avaliação discutimos como os critérios utilizados já não estão servindo para uma discriminação mais refinada entre os periódicos".

O que se pôde perceber a partir das respostas dos participantes da pesquisa é que há uma diversidade de posicionamentos em relação a uma apreciação sobre a avaliação de revistas feita pela Psicologia na Capes. Entre a adesão incondicional e a desqualificação da necessidade desse tipo de procedimento, encontram-se aqueles que reconhecem a sua importância, mas com ressalvas sobre suas limitações, destacando os aspectos do processo que demandam mudanças.

Critérios de avaliação

O instrumento de avaliação e alguns critérios específicos do modelo utilizado pela classificação Qualis de Psicologia foram alvo de questionamentos, críticas e sugestões por parte dos respondentes da pesquisa.

Em uma apreciação geral, os três grupos apontaram que o modelo atual da Psicologia tem a potencialidade de ser baseado em ampla revisão da literatura e abranger tópicos que são extremamente relevantes em uma avaliação de periódicos, como citado por um dos membros da Comissão: "(o instrumento) já provou por seus efeitos a sua capacidade de medir a normalização, a regularidade das publicações (item que era muito problemático na imensa maioria dos periódicos) e a gestão editorial" (Com2).

Na verdade, os critérios adotados pela Comissão constituem sempre um dos pontos mais polêmicos e geradores de muitas discussões nos encontros de editores e interessados em publicação científica. Não há consenso entre os envolvidos e as críticas e sugestões aparecem, mas não satisfazem a todos. De fato, desde a primeira avaliação, existem alguns itens da ficha de avaliação que foram modificados, tiveram a pontuação alterada ou foram excluídos, em virtude da opinião dos editores, dos autores, dos leitores ou da própria Comissão.

O posicionamento dos editores em relação aos critérios atuais é paradoxal: foram citados tanto como aspecto negativo (com maior freqüência), como positivo; e ainda houve aqueles que indicaram a necessidade de serem feitos apenas alguns ajustes, como bem explicado aqui: "Os critérios que a comissão original formulou são relevantes, adequados e suficientes. É necessário recalibrar pesos e ponderações, tendo em vista mudanças que ocorreram (para melhor) na qualidade editorial das revistas" (Ed5).

Os aspectos positivos citados em relação aos critérios atuais foram o levantamento de parâmetros acadêmicos como normalização, exigência de representatividade e diversidade do conselho científico e editorial, a sugestão de adoção de peer review, a impressão das datas de tramitação e periodicidade e regularidade.

Por outro lado, o uso de variáveis pouco claras e mudanças no sistema de pontuação após a publicação dos números que ainda serão avaliados foram questões emergentes, assim como a idéia de que itens como qualidade gráfica e normas de publicação são dispensáveis. Além disso, os pesos atribuídos à periodicidade, à diversidade geográfica da autoria, à regularidade e à representatividade do conselho editorial foram alvo de críticas por parte dos editores.

Os pesquisadores que responderam como participantes da Comissão de Avaliação também ressaltaram alguns problemas em torno do processo classificatório que precisam ser revistos para as próximas edições, principalmente no que diz respeito à homogeneização dos títulos. Segundo Com7, "falta uma política de reconhecimento heterogêneo da lógica de produção de áreas distintas, especialmente em um campo como a Psicologia que transita entre tantas distintas áreas acadêmicas (...). Penso que deveríamos ter instrumentos distintos para realidade de periódicos distintos".

Diante das críticas e problemas apontados pelos consultados, identifica-se uma necessidade de adaptação do instrumento para um modelo mais coerente com o quadro editorial da área. Foi sugerido pelos três grupos de participantes da pesquisa – editores, bibliotecários e membros da Comissão de Avaliação - o reestudo do questionário, dos pesos e pontuações, com possibilidade de auxílio de profissionais de Estatística, que poderiam apontar os desajustes dos itens.

Além da revisão do instrumento, a discussão sobre avaliação quantitativa e qualitativa foi um ponto que permeou toda a metaavaliação. O argumento estabelecido pela comunidade acadêmica é que um periódico científico, para ser considerado de qualidade, deve apresentar algumas características formais, mas é a qualidade do seu conteúdo o retrato mais fiel do mérito acadêmico e científico do título. Entretanto, foi unanimidade entre os bibliotecários entrevistados que os aspectos formais e de conteúdo se complementam para indicar um bom periódico.

No caso da avaliação que é feita pela Comissão de Psicologia para a base Qualis, existem dois pontos centrais a serem discutidos, resultantes da opinião dos envolvidos no processo: primeiro, o ganho sem precedentes decorrente do maior controle da formalização das revistas; e, segundo, a concentração na avaliação dos aspectos formais em detrimento da análise do conteúdo publicado.

Alguns editores (29%) fizeram menção ao critério padronização em resposta aos critérios que julgam mais importantes para uma avaliação dos títulos da área. Isso representa um avanço significativo da comunidade editorial de Psicologia. Se até pouco tempo atrás muitos desconheciam os aspectos técnicos necessários - como presença de ISSN, resumo bilíngüe e legenda bibliográfica – hoje a maioria reconhece a importância da padronização dos periódicos para facilitar a comunicação entre os interessados.

Por outro lado, há críticas à exclusiva valorização desses aspectos, como bem pontua uma das integrantes da Comissão de Avaliação: "o tópico 'Normalização' não se justifica mais, pois o caráter pedagógico do instrumento inicial já foi compreendido pelos editores e incorporado. No entanto, uma avaliação mais qualitativa e consulta à comunidade sobre o impacto do periódico são urgentes" (Com2). Em consonância com essa idéia situam-se os editores, que apontaram a concentração em aspectos formais como a terceira categoria de respostas mais recorrentes entre os aspectos negativos em torno dessa avaliação, como observado aqui: "excessiva concentração em aspectos formais, avaliados de forma um tanto rígida" (Ed45).

Assim, o mesmo aspecto é percebido de duas formas antagônicas: se por um lado se ressalta de forma positiva o ganho sem precedentes decorrente do maior controle da formalização das revistas (um dos critérios citado por 29% dos editores como mais importante para uma avaliação dos títulos da área), por outro, critica-se a excessiva concentração na avaliação dos aspectos formais em detrimento da análise do conteúdo publicado, como citado por Com2: "o tópico 'Normalização' não se justifica mais, pois o caráter pedagógico do instrumento inicial já foi compreendido pelos editores e incorporado. No entanto, uma avaliação mais qualitativa e consulta à comunidade sobre o impacto do periódico são urgentes".

O ponto em discussão é o uso de indicadores meramente quantitativos, limitando-se a pontuar itens formais, técnicos, que podem ser facilmente adequados pelos editores, quando se poderiam observar outros itens so o aspecto qualitativo. Como exemplo, foi apontado que seria importante considerar a linha editorial das revistas, mas sem pontuação. Entretanto, caso assim se procedesse, surgiriam outros questionamentos: como tornar essa avaliação qualitativa objetiva, traduzida em conceitos que possam ser apreendidos por todos? Como isentar o caráter subjetivo desse tipo de avaliação?

A Comissão de Avaliação também compartilha dessa idéia e assume a questão da verificação do conteúdo publicado: "Os (aspectos) negativos dizem respeito justamente à dificuldade que se teve até agora de controlar diretamente a qualidade das revistas. Ou seja, esse controle se dá por meio da análise de aspectos que podem ser considerados mais formais do que de conteúdo, ainda que em absoluto se possa aceitar a crítica de que a avaliação é meramente formal e perfunctória" (Com2).

Diante do desafio que é a apreciação qualitativa dos periódicos, uma alternativa encontrada por alguns sistemas de avaliação é acionar o mecanismo do peer review, semelhante para avaliação dos artigos (Ferreira & Krzyzanowski, 2003). Podem-se somar a essa opção outras formas de perceber se os artigos que uma revista está publicando têm peso: o julgamento feito pela própria comunidade científica, o número de citações que a revista alcança no seu meio (pelos cursos de pós-graduação ou em outros documentos que não sejam artigos, por exemplo), o uso em sala de aula e a utilidade atribuída pela comunidade de serviços na subárea de atuação.

Essas são experiências inovadoras, e enquanto não forem formalizadas e não for provado que não são tendenciosas, mas pelo contrário, podem fornecer indicadores seguros e confiáveis, somadas, elas podem dar uma medida melhor do que seja qualidade (Costa, 2006).

Efeitos das avaliações e mudanças percebidas no quadro editorial

Outro conjunto de dados diz respeito aos efeitos das avaliações de periódicos científicos de Psicologia na comunidade científica e nos próprios títulos avaliados. Tais mudanças foram um aspecto recorrente entre os três grupos de participantes da pesquisa e, mais uma vez, não houve homogeneidade entre as respostas dos editores, conforme demonstrado na tabela 3.

A melhoria na qualidade dos periódicos científicos de Psicologia foi a categoria mais recorrente entre as principais mudanças apontadas pelos editores (representando quase um terço dos respondentes). Estes apontaram que a avaliação promoveu a visibilidade dos periódicos, obrigou os editores a um constante aperfeiçoamento das revistas que editam e incentivou a inserção da produção num fórum internacional. Além disso, a boa classificação na avaliação para a base Qualis significa um crescimento considerável do número de artigos a ela submetidos, o que leva à revista a possibilidade de selecionar apenas os artigos que mais se alinhem a sua proposta editorial. Isso leva a afirmar que, a despeito dos aspectos negativos das avaliações, elas provocaram um avanço nas revistas da área e essa seleção constitui uma providência útil e necessária.

Esses ganhos apontados pelos editores são percebidos também por outras instâncias e podem ser visualizados por indicadores objetivos, como sua disponibilização nas bibliotecas, maior participação dos editores em congressos voltados para a temática da publicação científica e indexação das revistas em bases de dados internacionais. A própria Comissão de Avaliação aponta, em artigos e em eventos da área, a melhoria das revistas, demonstrando os avanços alcançados entre uma avaliação e a seguinte. De acordo com alguns pesquisadores da referida Comissão, os maiores ganhos da avaliação, no entanto, foram relativos ao aumento da visibilidade, ao cumprimento de normas de padronização e à melhoria da apresentação e estética, o que possibilitou às revistas ganharem em qualidade e credibilidade. É importante ressaltar que tais avanços estão também vinculados ao crescimento da área, principalmente no que se refere à expansão da pós-graduação.

Aliás, para os bibliotecários, um dos itens que obtiveram maior resolutividade foi a indexação. Segundo um dos entrevistados, muitos editores até desconheciam a importância da inclusão dos periódicos em bases de dados, e a partir das avaliações Qualis passaram a se preocupar com essa questão, gerando crescimento do número de títulos indexados.

Não obstante, é posicionamento generalizado entre os participantes da pesquisa que, a despeito dessa melhoria da qualidade das revistas, é preciso atualizar o instrumento a fim de contemplar outros aspectos no que diz respeito à qualidade dos periódicos científicos. Não resta dúvida de que, do cenário anterior à primeira avaliação da base Qualis para o quadro atual, o salto qualitativo experimentado pelos títulos científicos de Psicologia foi imenso e inédito; contudo, em relação aos dois últimos processos de classificação não se podem perceber tantos avanços, fruto de um instrumento esgotado e ultrapassado.

A uniformização das revistas também foi citada pelos editores como uma das conseqüências das avaliações da base Qualis. Este ponto é outro aspecto paradoxal para os respondentes: se por um lado é indispensável a padronização dos periódicos, para tornar possível a circulação de informações entre a comunidade científica, por outro essa padronização pode gerar perfis muito semelhantes entre as revistas e limitar a diversidade.

Não há dúvida de que essas avaliações da Capes, em conjunto com a ANPEPP, tiveram sua contribuição para a comunidade científica de Psicologia, facilitando o diálogo e intercâmbio de idéias. Como aponta um dos editores, "tem havido um cuidado maior com certos aspectos formais, que são importantes porque facilitam as citações, como as legendas bibliográficas, por exemplo" (Ed45).

Desde as primeiras avaliações de periódicos em todas as áreas há uma grande agitação entre a comunidade científica em relação aos aspectos de normalização. Como as revistas, em sua maioria, não conheciam os padrões de forma, a falta de uniformização dos títulos apareceu nos resultados, comprometendo a situação de muitos periódicos reconhecidos pela qualidade do conteúdo. Como afirmou um dos bibliotecários entrevistados: "a primeira vez que a gente fez essa análise eles (os editores) 'bombardearam', porque a maioria das revistas, daqueles que estavam lá, não atendiam às partes de normalização e eles fizeram desconsiderar, foi uma coisa muito desagradável" (Bib1).

Outro efeito citado pelos respondentes refere-se ao despertar da concorrência promovido pela avaliação da base Qualis. Os seguintes depoimentos esclarecem a questão: "acredito que a não-inclusão de um periódico no Qualis pode diminuir o interesse de pesquisadores em publicar no periódico. Por outro lado, a inclusão e a boa classificação significam um aumento importante no número de artigos submetidos" (Ed55). E a Comissão completa: "outro aspecto negativo que não citei antes é o ranqueamento e o aumento da competição entre periódicos, pesquisadores e programas de pós, burocratizando a produção a partir de critérios excessivamente produtivistas" (Com5).

A dinâmica provocada pelos resultados das avaliações implica o aumento do hiato entre as revistas consideradas muito boas e aquelas nem tanto. Os periódicos científicos classificados como Nacional A, por exemplo, tornam-se bem-vistos pela comunidade científica e passam a receber artigos de pesquisadores renomados da área, elevando ainda mais o padrão de qualidade dessa revista. Esse efeito pode ser percebido, também, a partir do relatório dos programas de pós-graduação, que, a despeito do aumento crescente da quantidade de revistas cientificas da área, têm apresentado as produções dos docentes e discentes cada vez mais concentradas em algumas revistas (daí o decréscimo na quantidade de títulos avaliados pela Comissão CAPES/ANPEPP nas últimas avaliações).

Já as revistas avaliadas como de âmbito local, ou com conceito C, sofrem com o decréscimo de artigos submetidos, com a perda de financiamentos, e vão tendo cada vez mais dificuldades para se manter e superar o conceito recebido na avaliação. Vale salientar que as revistas locais não indicam, necessariamente, falta de qualidade, apenas têm seu âmbito de circulação restrito, atendendo a um determinado grupo. O que os editores afirmam é que foi criada uma lacuna entre as revistas bem-conceituadas e aquelas que se saíram mal nas avaliações, lacuna esta que parece intransponível, uma vez que a tendência é as melhores ficarem cada vez melhores e as mal-avaliadas lutarem para conseguir se manter.

Na área de publicação científica essa é uma evidência clara do "Princípio de Mateus", postulado em referência à passagem do evangelho de São Mateus que diz: "Àqueles que têm, mais ainda lhes será dado e aos que pouco têm, ainda este pouco lhes será tirado" (Mueller, 1999, p. 5). Com os resultados das avaliações, percebe-se uma busca dos autores e demais atores da comunidade científica pelas revistas bem-conceituadas; ou seja, se um periódico é bem-conceituado, ele é procurado pela comunidade científica; já os novos periódicos e os mal-avaliados batalham por bons autores, sem muito sucesso.

Por fim, outra mudança substancial percebida pelos respondentes foi a reunião de diversos profissionais da área em torno desse sistema de avaliação, citada como conseqüência desejável. Segundo os editores, "houve uma valorização da qualidade editorial dos periódicos e uma mobilização para a indexação e para a editoração científica, culminando com a criação da BVS-Psi e da Associação Brasileira de Editores de Psicologia, em São Paulo" (Ed34).

De fato, as avaliações de periódicos científicos provocaram uma mobilização em torno da questão, promovendo eventos e encontros desses editores e da Comissão de Avaliação, os quais permitiram a troca de experiências e opiniões a respeito das publicações. Os efeitos da avaliação da base Qualis foram além da classificação dos periódicos de Psicologia: geraram oportunidades para a discussão do assunto e fortalecimento da área.

Não foi incomum entre os depoimentos dos membros da Comissão que um aspecto positivo importante foi o debate público sobre a produção dos periódicos, aspecto que pouco se discutia anteriormente. As revistas se tornaram objeto de reflexão pública, o que acarretou uma melhor compreensão do uso dos periódicos e das formas de sua produção. A avaliação Qualis acabou sendo uma referência para a comunidade acadêmica; passou a ser uma preocupação de editores, professores e até de alunos, principalmente de pós-graduação.

CONSIDERAÇÕES FINAIS

É necessário relacionar esta avaliação de periódicos Qualis com o atual cenário da produção de conhecimento, uma vez que esse vem adquirindo novas e mais marcantes características com o passar dos anos. Uma delas é o aumento exponencial de produtos científicos, retratado pelos índices cada vez maiores de publicações, projetos de pesquisa, eventos científicos, teses e dissertações de programas de pós-graduação, entre outros aspectos.

Em virtude da exigência crescente de produtividade por parte das agências financiadoras e reguladoras da ciência, nem sempre essa produção científica inovadora, relevante e útil aparece nas comunidades acadêmico-científicas. Percebe-se, ao contrário, a necessidade de cumprir solicitações, crescentes, em relação à quantidade e qualidade, sendo, muitas vezes, mais valorizado o aspecto quantitativo da ciência do que o conteúdo e objetos-alvo da produção científica.

Em decorrência desses números crescentes da produção científica, faz-se necessário distinguir entre a informação de qualidade e o conhecimento reproduzido. Isto desqualificou uma parte considerável do material apresentado pelos programas de pós-graduação e centros de pesquisa, material cuja produção foi exigida pelas próprias agências de fomento. Entre os artigos publicados, produções apresentadas em eventos, orientações de trabalhos científicos, livros e outras publicações, é imprescindível sinalizar para a comunidade acadêmica o mérito científico de tais produtos.

As avaliações de periódicos científicos, em especial aquelas destinadas à alimentação da base de dados Qualis, tornam-se uma possibilidade para prover tal diferenciação, ao classificar os títulos segundo a sua circulação, padronização e outros aspectos, permitindo uma avaliação indireta do conteúdo e autoria neles veiculados. Contudo, a avaliação Qualis não aprecia a qualidade concreta destes produtos, "a real contribuição ao avanço do conhecimento ou inovação tecnológica de que é capaz" (Luz, 2005, p. 54), questão crucial que é considerada, mas não parece prioritária. Por exemplo, para a concessão de bolsas de produtividade do CNPq se exige uma produção relevante, embora essa "relevância" não seja avaliada diretamente.

A questão crucial que está por trás desse fenômeno é se esta classificação dos veículos científicos de Psicologia, tal como vem sendo desenvolvida, tem condições de ser utilizada amplamente pela comunidade científica da área; se ela consegue atender a essa demanda surgida entre os diversos pesquisadores, que são produtores e consumidores do conhecimento publicado.

Os objetivos primordiais da avaliação de periódicos científicos de Psicologia para a base de dados Qualis situam-se em três pontos centrais: qualificação dos periódicos científicos nos quais estão publicadas as produões dos programas de pós-graduação da área; criação de mecanismos voltados à manutenção dos periódicos mais bem-conceituados; e estabelecimento de parâmetros para melhoria da qualidade dos títulos da área.

Pode-se afirmar que a Comissão de Avaliação CAPES/ANPEPP atendeu aos objetivos estipulados: os periódicos científicos estão sendo classificados continuamente, desde a primeira edição; os editores, agora, são capazes de visualizar os parâmetros exigidos para os títulos da área, e, apesar de não haver um mecanismo formal voltado exclusivamente para a manutenção dos periódicos melhor avaliados, este aspecto pode ser considerado operacionalizado pelo próprio consumo de tais periódicos por parte da comunidade científica.

Pode-se afirmar que a Comissão de Avaliação CAPES/ANPEPP atendeu aos objetivos estipulados. Contudo, na esteira dessas metas, outros efeitos foram obtidos e atualmente se fazem presentes na comunidade científica de Psicologia, dos quais o mais intenso Talvez seja a adoção de tais resultados em vários contextos, absorvendo o ranking que objetiva qualificar a produção dos programas de pós-graduação para outras finalidades, inclusive como retrato da produção científica da área.

O que é preciso pensar, atualmente, é que a Comissão de Avaliação de periódicos Qualis poderia oferecer uma grande contribuição ao campo da pesquisa e ensino de Psicologia caso levasse em conta essas outras circunstâncias de uso dos resultados ao proceder à classificação, em vez de se ater unicamente às solicitações da Capes. Em outras palavras, o sistema de avaliação iniciado por uma agência reguladora de pesquisa e do ensino superior poderia se converter, oficial e devidamente, em parâmetro de qualidade da produção científica da área, como vem sendo considerado, de fato; e como bem aponta Guedes (2004, p. 251), "(...) talvez baste assumirmos a avaliação como um processo, por isso, contínuo. Por isso, também, com objetivos constantemente revistos, parte da permanente postura de autocrítica indispensável ao pesquisador e à instituição universitária".

Uma vez considerado legítimo esse processo de avaliação de periódicos como elemento de contribuição para o progresso científico de um campo de conhecimento, e não apenas como instrumento de monitoramento de programas de pós-graduação, cumpre construir alternativas para a elaboração de um modelo sólido, consistente e completo, capaz de fornecer respostas adequadas às demandas das comunidades científicas e acadêmicas.

Agradecimentos

Agradecemos a colaboração da bolsista de Iniciação Científica Keyla Mafalda de Oliveira Amorim.

Recebido em 08/02/07

Aceito em 16/08/07

• Antunes, M. A. M. (2004). A Psicologia no Brasil no séc. XX: desenvolvimento científico e profissional. Em M. Massimi & M. C. Guedes (Orgs), História da Psicologia no Brasil: novos estudos (pp. 109-152). São Paulo: EDUSP.
• Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15, 23-35.
• Costa, A. L. F. (2006). Publicação e avaliação de periódicos científicos: paradoxos da classificação Qualis em Psicologia. Dissertação de Mestrado Não-Publicada. Programa de Pós-graduação em Psicologia, Universidade Federal do Rio Grande do Norte, Natal.
• Ferreira, M. C. G. & Krzyzanowski, R. F. (2003). Periódicos científicos: critérios de qualidade. Pesquisas de Odontologia Brasileira, 17, 43-48.
• Guedes, M. C. (2004). Escrever e editar: compromisso com a disseminação de conhecimento. Psicologia USP, 15, 249-256.
• Krzyzanowski, R. F. & Ferreira, M. C. G. (1998). Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, 27, 165-175.
• Luz, M. T. (2005). Prometeu acorrentado: análise sociológica da categoria produtividade e as condições atuais da vida acadêmica. Physis, 15, 39-57.
• Macedo, L. & Menandro, P. R. M. (1998). Considerações sobre os indicadores de produção no processo de avaliação dos programas de pós-graduação em Psicologia. Infocapes, 6, 34-38.
• Menandro, P. R. M. (2002). Uma nova etapa na avaliação de periódicos científicos utilizados por pesquisadores brasileiros em Psicologia. Mudanças, 10, 202-203.
• Mueller, S. P. M. (1999). O círculo vicioso que prende os periódicos nacionais Recuperado em 11 de novembro de 2003, de http://www.dgzero.org
• Paula, M. C. S. (2002). A base Qualis e sua utilização no projeto Inserção. Em J. Velloso (Org.), Formação no País ou no exterior? Doutores na pós-graduação de excelência: um estudo na Bioquímica, Engenharia Elétrica, Física e Química no País (pp. 217-237). Brasília: Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.
• Sampaio, M. I. C. & Peixoto, M. L. (2000). Periódicos brasileiros de Psicologia indexados nas bases de dados LILACS e PsycInfo. Boletim de Psicologia, L, 65-73.
• Sampaio, M. I. C. & Sabadini, A. A. Z. P. (2002). Publicações científicas em Psicologia: desafios e perspectivas. Mudanças, 10, 179-183.
• Sampaio, M. I. C., Sabadini, A. A. Z. P. & Linguanotto, A. R. J. (2002). Periódicos científicos: características e exigências. Mudanças, 10, 184-200.
• Yamamoto, O. H., Koller, S. H., Guedes, M. C., LoBianco, A. C., Sá, C. P., Hutz, C. S., Bueno, J. L. O., Macedo, L. & Menandro, P. R. M. (1999). Periódicos científicos em Psicologia: uma proposta de avaliação. Infocapes, 7, 5-11.

1

Apoio CNPq.

2

Posteriormente, a revista passou a se intitular Arquivos Brasileiros de Psicologia Aplicada e, finalmente, Arquivos Brasileiros de Psicologia. Atualmente, é veiculada apenas na versão eletrônica, sob a responsabilidade da Universidade Federal do Rio de Janeiro.

3

Em 2007 foi realizada mais uma avaliação dos periódicos de Psicologia, referente aos títulos citados pelos programas de pós-graduação no ano de 2006. Esses dados não compuseram a presente pesquisa, realizada em 2006.

Datas de Publicação

• Publicação nesta coleção
  26 Jun 2008
• Data do Fascículo
  Mar 2008

Histórico

• Aceito
  16 Ago 2007
• Recebido
  08 Fev 2007