Avaliação de periódicos científicos brasileiros da área da psicologia

Evaluation of brazilian scientifc journals in psychology

Avaliação de periódicos científicos brasileiros da área da psicologia

Oswaldo H. Yamamoto

Editor da revista Estudos de Psicologia (Natal), da Universidade Federal do Rio Grande do Norte. Professor da Universidade Federal do Rio Grande do Norte.

E-mail: [e-mail]

Paulo Rogério Meira Menandro

Representante da área de psicologia na Capes. Professor da Universidade Federal do Espírito Santo.

E-mail: [e-mail]

Sílvia Helena Koller

Editora da revista Psicologia: Reflexão e Crítica, da Universidade Federal do Rio Grande do Sul. Professora da Universidade Federal do Rio Grande do Sul.

E-mail: [e-mail]

Anna Carolina LoBianco

Editora da revista Ágora, da Universidade Federal do Rio de Janeiro. Professora da Universidade Federal do Rio de Janeiro.

E-mail: [e-mail].

Cláudio Simon Hutz

Professor da Universidade Federal do Rio Grande do Sul.

E-mail: [e-mail]

José Lino de Oliveira Bueno

Professor da Universidade de São Paulo/Ribeirão Preto.

E-mail: [e-mail]

Maria do Carmo Guedes

Professora da Pontifícia Universidade Católica de São Paulo.

E-mail: [e-mail].

Resumo

Este trabalho apresenta a segunda versão do processo de avaliação dos periódicos brasileiros da área da psicologia, conduzida pela Comissão Editorial Capes-Anpepp.

As demandas para a realização deste empreendimento, que teve a sua versão inicial realizada em 1999, são as seguintes: (a) qualificar os veículos científicos nos quais publicam pesquisadores brasileiros vinculados aos programas de pós-graduação em psicologia; (b) criar mecanismos para viabilizar a manutenção dos periódicos com melhor avaliação; (c) estabelecer parâmetros para o incremento da qualidade dos periódicos da área. Foram avaliados 51 periódicos da área citados nos relatórios dos programas de pós-graduação do período 1999-2000, usando uma ficha de avaliação contendo cinco conjuntos de itens (Normalização, Publicação, Circulação, Autoria e Conteúdo e Gestão editorial), acompanhada de instruções enviadas para os editores dos periódicos. Posteriormente, as fichas foram conferidas pela Comissão, gerando uma classificação de duas entradas, de Âmbito (Nacional/Local) e Qualidade (A/B/C). Os principais resultados indicam que houve uma perceptível melhora na classificação das revistas brasileiras da área, nos seus diversos aspectos. Questões vinculadas à avaliação e desafios para as novas etapas são discutidas.

Palavras-chave

Avaliação; Periódicos; Psicologia.

Evaluation of brazilian scientifc journals in psychology

Abstract

The present paper reports the second evaluation of Brazilian psychology journals carried out by the Editorial Committee CAPES-ANPEPP. The objectives of this evaluation, which started in 1999, were (a) to assess the journals Brazilian in which researchers affiliated to graduate courses in psychology usually publish, (b) to develop ways to support the best journals and (c) to establish parameters for the improvement of these journals. In the present assessment, 51 journals cited by the graduate programs reports in the period of 1999-2000 were evaluated. We used an Evaluation Form that consists of five sets of items (Normalization, Publication, Circulation, Authorship and Contents, and Editorial Management). The forms were completed by the editors and checked by the Committee. This instrument allowed to establish a ranking by circulation (National/Local) and quality (A/B/C) criteria. The main results showed that there was a remarkable improvement in the Brazilian journals compared to the first evaluation. Some questions related to the evaluation process itself and the challenges for the next steps are discussed.

Keywords

Evaluation; Journals; Psychology.

INTRODUÇÃO

Produção científica e periódicos: questões iniciais

Desde a publicação do Journal des Sçavans, editado na França por Denis de Sallo, e das Philosophical Transactions: giving some Accompot of the present Undertakings, Studies and Labours of the Ingenious in many considerale parts of the World, pela Royal Society britânica, empreendimentos que datam do século XVII e que aparecem nos registros como os precursores dos periódicos científicos, ou dos pioneiros brasileiros Gazeta Médica do Rio de Janeiro, de 1862, e a Gazeta Médica da Bahia, de 1866, até os dias atuais, o quadro da produção científica experimentou dramáticas mudanças (Meadows, 1999; Biojone, 2001). Atualmente, são publicados mais de 600 mil periódicos científicos em todo o mundo (Biojone, 2001), estimando-se que sejam escritos, diariamente, entre seis e sete mil artigos científicos para alimentá-los (Trzesniak, 2001).

Tal profusão de títulos traz, subjacente, um conjunto de problemas. Para ilustrar, avaliações sobre a qualidade dos artigos mostram que 50% deles contêm erros estatísticos; dados sobre o impacto indicam que aproximadamente 50% dos artigos publicados nunca chegam a ser citados ou sequer consultados (Trzesniak, 2001). Além da qualidade dos artigos propriamente ditos, a irregularidade na publicação e distribuição, a ausência ou deficiência na normalização dos artigos e do periódico, a dificuldade de indexação em bases internacionais reconhecidas e questões vinculadas à língua são aspectos que merecem a atenção da comunidade científica (Ferreira, 2001).

Quando se trata da situação da produção científica nas nações periféricas, o quadro é dramático. De acordo com De Meis & Leta (1996), a participação brasileira, consideradas todas as áreas de conhecimento em periódicos indexados pelo Institute for Scientific Information (ISI), conquanto crescente (evolui de 0,29% em 1981 para 0,47% em 1989), ainda é muito pouco expressiva. Além disso, no que tange à visibilidade, estudos mostram que aproximadamente 70% dos periódicos latino-americanos não estão incluídos em nenhum indexador reconhecido internacionalmente (Gibbs, 1995).

No caso da psicologia, os poucos estudos realizados em anos passados sobre a produção dão conta de um quadro que não poderia ser muito diverso do delineado até aqui (Aguiar Netto, 1988; Matos, 1988; Souza & Dessen, 1992; Yamamoto, Souza & Yamamoto, 1999), com a produção média anual referente ao período 1992-1996 entre os pesquisadores apoiados pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) na modalidade Produtividade em Pesquisa de 1,3 artigo publicado no Brasil e 0,3 no exterior (Oliveira, 1998). Se compararmos a produção expressa em periódicos indexados em bases de dados internacionais no período 1976-1980, a da psicologia é a menor entre nove áreas (medicina clínica, pesquisa biomédica, biologia, química, física, ciências da terra e do espaço, engenharias e matemática), com participação relativa de 0,47% do total brasileiro (Braun, Glänzel & Schubert, 1985)

A monitoração da produção científica: a avaliação de periódicos

Essa crescente massa de informação com os problemas dela decorrentes impõem, para a comunidade científica, a responsabilidade de monitoração e controle da produção visando ao estabelecimento de um padrão de qualidade compatível com o papel de disseminação desse conhecimento ¾ e uma das iniciativas mais importantes é a avaliação dos seus suportes, nomeadamente, o mais importante, o periódico científico.

Existem duas grandes possibilidades de aferição do padrão de qualidade, a análise bibliométrica (que tem seu fundamento no fator de impacto) e o exame de indicadores de qualidade (Valerio, 1994). Conquanto a primeira seja a modalidade consagrada em âmbito internacional, as questões relativas à cartografia da produção científica já assinaladas, com a distribuição desigual da ciência mundial em "produtores" e "consumidores", comprometem a utilização desse procedimento no terceiro mundo.

O exame dos indicadores de qualidade, por seu turno, pode contemplar dois aspectos, complementares, os de natureza intrínseca e extrínseca. Os primeiros dizem respeito aos aspectos formais (normalização, periodicidade, tiragem etc.), enquanto os segundos se referem ao conteúdo (corpo editorial, consultores, nível de qualidade das contribuições etc.).

De acordo com Ferreira (2001), as primeiras tentativas de avaliação de periódicos alinhadas à segunda vertente datam do início da década 1960, a partir de um modelo desenvolvido pela Unesco. No Brasil, partindo de um trabalho originalmente proposto por Braga & Oberhofer (1982), algumas tentativas para desenvolver um sistema eficiente de avaliação de periódicos têm sido realizadas (Castro & Ferreira, 1996; Castro, Negrão & Zaher, 1996; Castro, Ferreira & Vidili, 1996; Krzyzanowski & Ferreira, 1998). Tal sistema, com adaptações relacionadas às finalidades específicas para as quais foram propostas, tem como característica o estabelecimento de um conjunto de parâmetros que contemplam aspectos intrínsecos e extrínsecos, formais e de mérito, traduzidos por indicadores que possibilitam a pontuação e conseqüente hierarquização dos periódicos.

Na área da psicologia, a preocupação com a qualidade dos periódicos nos quais a produção científica é veiculada tem sido objeto de atenção nos últimos anos, sobretudo, associada à avaliação do sistema de pós-graduação^II. De fato, conforme Macedo & Menandro (1998), a produção científica dos docentes é o item com maior peso nas decisões sobre a avaliação dos programas.

No segundo semestre de 1998, a partir de uma solicitação da Capes e realizada por iniciativa da Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (Anpepp), foi constituída uma comissão conjunta^III com a responsabilidade de avaliar os periódicos científicos da área da psicologia. Os objetivos definidos pela comissão foram, principalmente, de duas ordens: avaliar os periódicos, pela qualificação dos veículos científicos nos quais publicam pesquisadores brasileiros vinculados aos programas de pós-graduação em psicologia, e estimular o incremento da qualidade dos periódicos da área, pelo estabelecimento de parâmetros editoriais compatíveis com as exigências reconhecidas nacional e internacionalmente^IV (Yamamoto et alii, 1999).

Partindo do modelo proposto por Krzyzanowski & Ferreira (1998), foi elaborada uma ficha de avaliação com uma escala total (avaliação de qualidade ou A, B e C) e uma subescala para classificação de âmbito (nacional ou local). A primeira escala era subdividida em cinco grupos de itens: Normalização, Publicação, Circulação, Autoria e Conteúdo, Gestão Editorial (com pontuação de 0-20 para cada tópico, para um total máximo de 100). A subescala de âmbito foi construída a partir da extração de cinco subitens da escala geral (indexação, distribuição, disponibilidade em bibliotecas do sistema nacional, abrangência geográfica dos autores e dos conselhos editoriais).

Nesta primeira etapa, o procedimento adotado foi: (a) depurar uma lista de periódicos gerada pela Capes a partir da citação por parte dos docentes nos relatórios dos programas de pós-graduação da área no biênio 1996-1997; (b) realizar uma avaliação preliminar dos periódicos; enviar as avaliações preliminares para os editores; (c) reexaminar as avaliações que foram objeto de solicitações de reconsideração; (d) elaborar duas relações dos periódicos, organizadas por âmbito e classificadas com relação à qualidade.

Nessa primeira versão da avaliação, foram objeto de exame 47 periódicos brasileiros da área da psicologia. A partir dessa avaliação, 14 deles foram considerados de âmbito nacional e 33 de âmbito local. Dentre os periódicos nacio-nais, quatro foram classificados como de qualidade "A", seis como "B" e quatro como "C". Nos periódicos locais, a distribuição foi sete de qualidade "A", 14 "B" e 12 "C".

Essa avaliação foi divulgada de forma ampla, em eventos destinados aos psicólogos, diretamente aos editores científicos e através de textos (Yamamoto et alii, 1999) e páginas na Internet (http://www.anpepp.org.br). O processo de avaliação também foi, por seu turno, objeto de avaliação por parte de especialistas do campo das ciências da informação (Hutz, 2000). De uma forma geral, tanto a exigência da Capes de qualificação dos veículos nos quais os docentes publicam, quanto a proposta de avaliação da comissão foram bem recebidas pela comunidade científica, entendendo que, a despeito de eventuais deficiências, tratava-se de uma providência útil e necessária, exatamente por promover o aprimoramento dos perió-dicos da área. Dois anos depois do início dos trabalhos da Comissão Capes-Anpepp, no segundo semestre de 2000, foi conduzida uma atualização da avaliação

O objetivo do presente estudo é apresentar esta nova etapa do processo de avaliação ¾ as mudanças no procedimento, os resultados observados e os desafios que se colocam na seqüência dos trabalhos.

MATERIAIS E PROCEDIMENTOS

Definição do âmbito

De forma análoga à primeira versão, definiu-se que seriam considerados os periódicos de psicologia publicados no Brasil referidos pelos docentes e pesquisadores nos relatórios dos programas de pós-graduação do período 1998-1999. A lista gerada pela Capes foi confrontada com a relação que serviu de base para a primeira avaliação, chegando-se ao total de 51 periódicos da área.

Uma alteração, nesta versão, foi a inclusão de 13 periódicos de áreas conexas. Os resultados desta avaliação, de caráter experimental, contudo, não estão sendo apresentados neste trabalho^VI.

Ainda nesta versão, não foram avaliados os periódicos publicados no exterior. O procedimento sugerido para a Comissão de Avaliação foi considerar, provisoriamente, a presença do periódico citado em base de dados de indiscutível reconhecimento internacional, nomeadamente, o ISI (Institute for Scientific Information) como parâmetro da qualidade da publicação.

Instrumento

O instrumento utilizado foi o mesmo desenvolvido para a primeira avaliação: uma Ficha de Avaliação com uma Escala Total (avaliação de qualidade ou A, B e C) e uma Subescala para Classificação de Âmbito (Nacional ou Local) (Apêndice A). A Escala Total foi composta de cinco tópicos gerais ¾ Normalização, Publicação, Circulação, Autoria e Conteúdo, e Gestão Editorial (com pontuação de 0-20 para cada tópico, para um total máximo de 100). A Subescala de Âmbito constava de cinco subitens da Escala Geral (indexação, distribuição, disponibilidade em bibliotecas do sistema nacional, abrangência geográfica dos autores e dos conselhos editoriais).

Um aspecto da construção do instrumento que merece destaque foi a lógica que presidiu a primeira versão da avaliação, que conciliava os interesses de avaliação dos programas de pós-graduação pela Capes e o propósito de promover a qualificação dos periódicos pela Anpepp. Tendo em vista esses objetivos, na elaboração inicial da ficha não se privilegiou nenhum aspecto específico, com os itens relativos à normalização recebendo, por exemplo, peso equivalente aos referentes à autoria e ao conteúdo.

A decisão de manter o mesmo instrumento, com os quesitos e respectivas pontuações inalteradas (a despeito da reconhecida necessidade de revisão dos mesmos, conforme Hutz, 2000, e Menandro, 2001), foi tomada pela comissão para evitar que os periódicos/editores que estivessem fazendo um esforço para se adequarem aos padrões definidos para a primeira avaliação fossem prejudicados. Além disso, a manutenção dos mesmos critérios e pontos de corte permitiria uma avaliação clara da melhoria ocorrida nas revistas.

Foi desenvolvido, como novidade com relação à versão anterior, um conjunto de instruções para o preenchimento da ficha (Apêndice B), para ser utilizado pelos editores, conforme detalhado a seguir. Além de auxiliar os editores na avaliação proposta, as instruções visavam a um padrão, reduzindo a probabilidade de solicitações de reconsideração equivocadas, como havia ocorrido na primeira etapa.

Avaliação preliminar pelos editores

A mais importante mudança introduzida nesta segunda avaliação foi a solicitação aos editores para que realizassem uma "auto-avaliação", por meio do preenchimento da ficha, orientados pelas instruções que a acompanhavam. Esta medida procurou tirar proveito do conhecimento que os editores têm do periódico pelos quais são responsáveis. Além de minimizar os efeitos de uma subavaliação dos periódicos por parte da comissão, de forma a reduzir eventuais solicitações de reconsideração, esta medida teve um caráter educativo, fazendo com que o editor examinasse cuidadosamente o veículo sob sua responsabilidade.

Avaliação dos periódicos pela comissão

A avaliação propriamente dita foi realizada pela Comissão na Biblioteca do Instituto de Psicologia da Universidade de São Paulo, confrontando as fichas preenchidas e remetidas pelos editores com os exemplares dos periódicos publicados entre o segundo semestre de 1999 e o ano 2000. No caso de editores que não enviaram suas avaliações, o procedimento adotado foi o mesmo da primeira etapa, isto é, a avaliação por parte da própria comissão.

Relatórios finais foram, então, elaborados para cada periódico. Um problema que persistiu da primeira avaliação não foi equacionado nesta: a aferição da presença de periódicos em bibliotecas nacionais (sete pontos). Na primeira versão, a Comissão descartou esse item pela ausência de atualização das informações relevantes no Catálogo Coletivo Nacional (CCN) do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). Para contornar essa dificuldade, foi solicitado, nesta versão, que os editores informassem acerca da distribuição dos periódicos para as bibliotecas. Novamente, decidiu-se pela exclusão desse item para fins de análise, pela imprecisão das informações enviadas pelos próprios editores sobre esse aspecto. Foram calculados as médias e desvios-padrão para cada subescala e estabelecidos pontos de corte.

RESULTADOS

Os quadros 1 e 2 apresentam as relações dos periódicos brasileiros que, pelas pontuações alcançadas, foram considerados como de âmbito nacional e local, respectivamente, acompanhados dos conceitos e escores relativos à qualidade.

No confronto da distribuição resultante da primeira avaliação com os quadros 1 e 2, é possível supor que aqueles resultados mobilizaram os editores, resultando em expressiva melhoria dos periódicos em diversos quesitos da avaliação. A figura 1, a seguir, registra tais mudanças no quadro da avaliação da área da psicologia da primeira para a segunda avaliação.

Um exame inicial da figura torna evidente que as mudanças que foram operadas nos periódicos da área concentram-se, sobretudo, em dois aspectos: um incremento no aspecto circulação e uma melhoria da qualificação das revistas.

No que tange ao âmbito, passa-se de 14 para 24 periódicos nacionais. Tomando os percen-tuais, para compensar as diferenças dos totais, há um salto de 31% para 46% dos periódicos considerados de âmbito nacional. Quanto à qualificação, é expressivo o incremento das revistas classificadas no topo da lista, ou seja, de âmbito nacional e qualidade "A": passa-se de apenas quatro na primeira avaliação para um total de 15!

A tabela 1, a seguir, apresenta com mais detalhes a movimentação das revistas ¾ que denominamos "mudança de status"¾ nas duas avaliações.

Os dados apontam que as mudanças no campo editorial da psicologia no período das duas avaliações foram, efetivamente, na direção de uma sensível melhora de qualidade. Excetuando-se aquelas que permaneceram inalteradas no período, 25 revistas tiveram seu status incrementado, contra apenas cinco que tiveram um desempenho comparativamente pior na segunda avaliação.

Para uma visualização do quadro gerado pela presente avaliação, a figura 2, a seguir, apresenta a distribuição das revistas, considerados os dois parâmetros, âmbito e qualidade.

Os dados da figura 2 possibilitam extrair algumas conclusões. Em primeiro lugar, em que pese o esforço dos editores e do impacto da avaliação realizada, mais da metade dos periódicos brasileiros referidos pelos docentes vinculados aos programas de pós-graduação da área ainda é de circulação local. Considerando-se que não se trata de um "jogo de soma zero" (isto é, não há quotas previamente estabelecidas de periódicos em cada faixa), ainda há um caminho considerável a percorrer.

Do ponto de vista dos programas de pós-graduação, é pertinente a ilação de que, acatando os parâmetros de avaliação aqui empregados, a produção bibliográfica da área se expressa, em grau não-desprezível, em veículos que não têm a visibilidade que seria esperada. A questão é preocupante, sobretudo se considerarmos que a produção bibliográfica é o aspecto da avaliação dos programas com maior peso (Macedo & Menandro, 1998).

CONSIDERAÇÕES

Transformações substantivas no quadro da produção científica em nações periféricas dependem de um conjunto de condições associadas à política científica, que extrapolam o âmbito mais específico da própria comunidade científica. Estudos sobre a cartografia da produção científica indicam uma divisão clara do mundo entre produtores e consumidores de conhecimento (De Meis & Leta, 1996).

Todavia, em aspectos mais limitados, mas nem por isso menos significativos, algumas mudanças estão em curso. Em especial, no campo da editoração científica, os resultados apresentados indicam modificações consideráveis na área da psicologia com relação à realidade esboçada na introdução do presente trabalho.

Tal mudança pode ser aquilatada, de forma mais objetiva, pela qualificação das revistas no período compreendido pelas duas versões da avaliação Capes-Anpepp, como também, de forma não sistemática, pela comparação aleatória de diversas das revistas que ascenderam na classificação, ou pelos depoimentos de bibliotecários da área, ou pelo crescente interesse dos editores pelos eventos da área da ciência da informação^VII.

Um outro indicador da melhoria das revistas no período é a inclusão em bases de dados internacionais: no período 1998 a 2001, de uma revista indexada na PsycINFO, da American Psychological Association, passa-se a sete; de duas incluídas na base LILACS (Literatura Latino-Americana e do Caribe de Ciências da Saúde), passa-se para 20; de uma revista disponibilizada no serviço SciELO (Scientific Electronic Library Online-Bireme/Fapesp), passa-se para quatro. Além disso, as revistas da área passaram a buscar indexadores antes não conhecidos (como são os casos da Sociological Abstracts (da Cambridge Scientific Abstracts), da PSICODOC (do Colégio Oficial de Psicólogos de Madrid) e CLASE (Universidad Nacional Autónoma de México), melhorando a visibilidade de suas publicações.

Alguns aspectos desse processo devem ser destacados. Em primeiro lugar, a participação da Anpepp, em colaboração estreita com a Comissão de Avaliação da Área da Capes. Os aspectos positivos da participação da Anpepp traduzem-se em, pelo menos, dois pontos: a indicação, através de eleição por parte dos Programas, de editores para fazer parte dessa comissão, o que permitiu levar, para o interior da Comissão de Avaliação, parte da experiência acumulada nessa tarefa, bastante especializada, que é a de editar periódicos científicos; e a transparência do processo, pela possibilidade de acompanhamento dos programas nos eventos promovidos pela entidade ou que contavam com a sua presença.

Em segundo lugar, a metodologia específica empregada para a avaliação dos periódicos, com instrumentos e procedimentos especialmente desenvolvidos para este processo, a partir da base estabelecida no campo das ciências da informação.

Em terceiro lugar, a comunicação com os editores, na forma de verificação da avaliação realizada pela comissão na primeira versão e, sobretudo, no preenchimento da ficha na segunda, permitiu uma aproximação da comissão com os editores, minimizando possíveis problemas de comunicação relatados por outras áreas na produção das classificações para o sistema Qualis.

O aprimoramento dos periódicos e as avaliações da avaliação realizadas, apontando problemas, impõem a revisão de alguns dos critérios utilizados nas avaliações já realizadas para as próximas edições.

Entre os desafios a serem enfrentados na nova etapa da avaliação, podemos destacar:

1) Ajuste dos novos critérios a serem utilizados para definir o nível de qualidade dos periódicos, impondo novas exigências sem desconsiderar os progressos já realizados.

Na segunda versão da avaliação, alguns pontos problemáticos ficaram evidentes para a comissão que, para não alterar os critérios em um espaço tão curto de tempo e para valorizar o trabalho dos editores, decidiu postergar as mudanças.

Tais aspectos relacionam-se à inexistência de padrões mínimos de exigência por conjunto de itens, o que viabilizou as mudanças de níveis pelo aprimoramento de aspectos menos onerosos para as revistas. Para ilustrar, embora o número de indexações tenha crescido de maneira significativa, ajustes nos itens relativos à normalização eram relativamente mais fáceis de serem realizados. Desta forma, para definir um periódico de âmbito nacional, a exigência de inclusão em uma base de dados reconhecida pela comunidade acadêmica pode ser uma alternativa a ser considerada.

É importante sempre lembrar que as primeiras versões da avaliação tiveram, sobretudo, um caráter pedagógico, fazendo os editores prestarem atenção para as exigências de um periódico de bom nível. À primeira vista, os critérios utilizados poderiam ser considerados lenientes, mas, na verdade, foram adequados à realidade nacional da área. A utilização de critérios mais rígidos provavelmente levaria a um desestímulo muito grande por parte dos editores que, além de não se motivarem a melhorar a qualidade dos periódicos, tenderiam a rejeitar a avaliação como irrealística.

Da mesma forma, exigências relativas à política editorial e procedimentos de arbitragem podem ser definidos como condições sine qua non para a revista atingir determinados patamares de qualidade e de âmbito.

Esta verificação de itens obrigatórios também deve levar a comissão a rever os pesos relativos dos conjuntos de itens. Eventualmente, seria possível pensar em itens de normalização como condição mínima para fazer parte da avaliação, não sendo mais pontuados.

2) Estudar a viabilidade de consideração, em separado, do aspecto qualidade das publicações, através de informações adicionais sobre os periódicos, de caráter opinativo, obtidas diretamente dos pesquisadores da área.

Embora seja uma solicitação que a comissão tem recebido de diversos editores, trata-se de uma questão de difícil equacionamento. No procedimento empregado por Krzyzanowski & Ferreira (1998), havia uma dupla avaliação, de forma e de mérito. Tal avaliação era conduzida por especialistas da área, aos quais era solicitado que analisassem (e classificassem por ordem de prioridade) os periódicos da área considerando a qualidade da publicação (qualidade dos artigos, qualidade do corpo editorial e dos consultores, critérios de arbitragem), natureza do órgão publicador, abrangência (origem dos trabalhos e difusão da revista), indexação e avaliação global.

Como se pode observar, parte considerável desses critérios de mérito foram incorporados à Ficha de Avaliação da Comissão Capes-Anpepp. Embora o grupo Conteúdo fosse apenas um dos cinco considerados, a qualidade da publicação era aferida por um conjunto de outros indicadores, como a presença em bases de dados. Evidentemente, a inclusão em um indexador constitui-se em uma medida indireta da qualidade dos periódicos ¾ e tanto mais refinada, quanto mais exigente for o serviço considerado.

De forma análoga, não havia nenhuma razão para suspeitar dos critérios de arbitragem indicados pelas revistas, procedimentos e consultores. Nada autorizava a pensar que uma segunda avaliação de mérito trouxesse elementos para a avaliação de melhor qualidade do que os que a própria revista empregou.

Esses poucos elementos devem ser suficientes para demonstrar tanto a dificuldade da tarefa, quanto a improcedência de algumas das críticas de que a avaliação desenvolvida era eminentemente burocrática, sem considerar aspectos qualitativos, considerados essenciais.

Outros três pontos devem ser objeto de definição por parte da comissão: a ampliação da avaliação, de forma a englobar periódicos de outras áreas nos quais pesquisadores vinculados à psicologia também publicam (poucos deles foram avaliados até agora); a inclusão, na base de publicações avaliadas, dos periódicos publicados fora do Brasil, até então não incluídos; e as formas de tratamento de periódicos disponibilizados eletronica-mente, cada vez mais uma realidade editorial expressiva.

Embora os desafios sejam grandes, temos a convicção de que o caminho traçado está, indubitavelmente, trazendo frutos positivos para a disseminação do conhecimento na área da psicologia.

Artigo aceito para publicação em 18-12-2001

^II A preocupação com a avaliação da qualidade da produção na psicologia tem sido alvo de atenção, tanto nacional, quanto internacionalmente, embora tal literatura não seja nem tão vasta nem tão difundida na área. Para exemplificar, em âmbito internacional, a revista The Behavioral and Brain Sciences dedicou um fascículo ao exame das questões referentes à avaliação por pares (Peters e Ceci, 1982), enquanto no Brasil, o grupo coordenado por Geraldina Porto Witter tem dedicado sua atenção à questão (por exemplo, Freitas, 1998)

^III A Comissão Editorial, na sua primeira versão, foi composta por três editores indicados pela Anpepp (Maria do Carmo Guedes, Sílvia Helena Koller e Oswaldo H. Yamamoto), que se associou a parte do Comitê de Avaliação dos Programas de Pós-Graduação da área designada para atuar na Capes (Anna Carolina LoBianco, Celso Pereira de Sá, Cláudio Simon Hutz e José Lino O. Bueno), além do coordenador e do coordenador adjunto da área de psicologia da Capes (Lino de Macedo e Paulo R. M. Menandro).

^IVAlém de, em uma perspectiva mais distante, criar mecanismos para viabilizar a manutenção dos periódicos com melhor avaliação.

^VI Trata-se, aqui, de uma questão polêmica. A tendência da comissão foi sugerir a utilização das classificações geradas pelas comissões de avaliação das demais áreas para os periódicos que não fossem especificamente de psicologia. A expectativa era que houvesse uma reciprocidade no tratamento dos artigos de pesquisadores dessas áreas que publicassem nos periódicos da psicologia. Embora as perspectivas para tal reciprocidade estejam mais bem desenhadas hoje, do que no momento em que foi feita a primeira avaliação, são levantadas questões como os impactos relativos (diferente) de um trabalho publicado em um determinado veículo para duas áreas diferentes.

^VII Como exemplo, no VIII Encontro Nacional de Editores Científicos, organizado pela Associação Brasileira de Editores Científicos (ABEC), realizada na cidade de Atibaia, SP, em outubro de 2001, cerca de 25% dos participantes tinham vinculação com a psicologia. Tal participação contrasta com eventos anteriores, nos quais a presença de editores da área era bastante inexpressiva.

• AGUIAR NETTO, M. C. A produção do conhecimento fora do espaço acadêmico. In: CONSELHO FEDERAL DE PSICOLOGIA (Brasília). (Org.). Quem é o psicólogo brasileiro? São Paulo : Edicon, 988, p.123-137.
• BIOJONE, M. R. Forma e função dos periódicos científicos na comunicação da ciência 2001. 107 f. Dissertação (Mestrado em Ciências da Informação) ¾ Escola de Comunicações e Artes da Universidade de São Paulo, São Paulo 2001.
• BRAGA, G.; OBERHOFER, C. A. Diretrizes para avaliação de periódicos científicos e técnicos brasileiros. Revista Latinoamericana de Documentación, v. 2, n. 1, 1982.
• BRAUN, T.; GLÄNZEL, W.; SCHUBERT, A. Scientometrics indicators: a 32-country comparative eveluation of publishing perfomance and citation impact. Singapore : World Scientific Publishing, [199-].
• CASTRO, R. C. F.; FERREIRA, M. C. G. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v. 25, n. 3, p. 357-367, set./dez. 1996.
• __________; NEGRÃO, M. B.; ZAHER, C. R.. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciência da saúde da América Latina. Ciência da Informação, v. 25, n. 3, 352-356, 1996.
• DE MEIS, L.; LETA, J. O perfil da ciência brasileira Rio de Janeiro : UFRJ, 1996.
• FERREIRA, M. C. G. Avaliação de periódicos científicos Disponível em: <http://www.biblioteca.ufc.br/cecilia.ppt>.
• FREITAS, M. H. A. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional, v. 2, n. 3, p. 211-228, 1998.
• GIBBS, W. W. Lost science in the third world. Scientific American, p. 76-83, Aug. 1995.
• HUTZ, C. S. Avaliação do processo de avaliação das revistas científicas em psicologia. Estudos de Psicologia, Natal, v. 5, n. 2, p. 471-481, 2000.
• KRZYZANOWKSI, R. F.; FERREIRA, M. C. G. Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, v. 27, n. 2, p. 165-175, 1998.
• MACEDO, L. de; MENANDRO, P. R. M. Considerações sobre os indicadores de produção no processo de avaliação dos programas de pós-graduação em psicologia. Infocapes, n. 6, v. 3, p. 34-38, 1998.
• MATOS, M. A. Produção e formação científica em psicologia. In: CONSELHO FEDERAL DE PSICOLOGIA (Brasília). (Org.). Quem é o psicólogo brasileiro? São Paulo : Edicon, 1988, p. 100-122.
• MEADOWS, A. J. A comunicação científica Brasília : Briquet de Lemos/Livros, 1999. 268 p.
• MENANDRO, P. R. M. Uma nova etapa na avaliação de periódicos científicos utilizados por pesquisadores brasileiros da área da psicologia. In: REUNIÃO ANUAL DE PSICOLOGIA, 31., 2001, Rio de Janeiro. Resumos.. Rio de Janeiro, 2001.
• OLIVEIRA, M. A. P. S. Comprometimento organizacional e com a carreira: influência sobre produção científica de pesquisadores brasileiros. 1998. Dissertação (Mestrado em Ciência da Informação e Documentação) - Departamento de Ciências da Informação e Documentação - Unversidade de Brasília, Brasília, 1998.
• PETERS, D. P.; CECI, S. J. Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral and Brain Sciences, v. 5, p. 187-255, 1982.
• SOUZA, D. G.; DESSEN, M. A. Características e variedades de publicações da pós-graduação em Psicologia. Cadernos da Anpepp, v. 1, p. 159-178, 1992.
• TRZESNIAK, P. A concepção e a construção da revista científica. In: CURSO DE EDITORAÇÃO CIENTÍFICA, 10., 2001, Petrópolis. Petrópolis : ABEC, p. 17-23, 2001.
• VALERIO, P. M. Espelho da ciência: avaliação do Programa Setorial de Publicações em Ciência e Tecnologia da FINEP. Brasília : FINEP/IBICT, 1994.
• VELHO, L. Pós-graduação em ciências sociais e humanidades: por que e em que elas diferem das ciências naturais? In: VELLOSO, J. ; CUNHA, L. A.; VELHO, L. (Org.). O ensino superior e o mercosul Brasília : Garamond/Unesco/MEC-SESu, p. 99-111, 1998.
• YAMOMOTO, O. H. et al Periódicos científicos em psicologia: uma proposta de avaliação. Infocapes, v. 7, n. 3, p. 7-13, 1999.
• __________; SOUZA, C. C.; YAMAMOTO, M. E. A produção científica na psicologia: uma análise dos periódicos brasileiros no período 1990-1997. Psicologia Reflexão e Crítica, v. 12, n. 2, p. 549-565, 1999.

^I.

^V.

^I É sempre importante considerar, em estudos comparativos de áreas distintas, as especificidades presentes nas ciências humanas e sociais (como a predominância de formas de apresentação textual mais extensas, muitas vezes na forma de livros), conforme assinala Velho (1988).

^V A composição da Comissão Editorial foi basicamente a mesma, composta por Maria do Carmo Guedes, Sílvia Helena Koller, Oswaldo H. Yamamoto, Anna Carolina LoBianco, José Lino O. Bueno e Paulo R. M. Menandro, sob a coordenação de Cláudio Simon Hutz, na qualidade de presidente da ANPEPP.

Datas de Publicação

• Publicação nesta coleção
  13 Nov 2002
• Data do Fascículo
  Ago 2002

Histórico

• Aceito
  18 Dez 2001