Avaliação dos Periódicos Brasileiros em Psicologia - 2000

Avaliação dos Periódicos Brasileiros em Psicologia - 2000

Apresentamos, nas páginas seguintes, a Avaliação dos Periódicos Brasileiros da Área da Psicologia para o período 1998-2000, realizada pela Comissão Editorial CAPES-ANPEPP.

Trata-se de uma atualização da versão 1996-1998 (que se encontra do site da ANPEPP, http://www.anpepp.org.br), iniciativa pioneira com relação aos periódicos brasileiros de Psicologia.

Antecedendo as fichas contendo as avaliações, transcrevemos, para informação dos leitores, dois documentos produzidos pelo presidente da comissão, Cláudio S. Hutz: uma "avaliação da avaliação" da versão 1996-1998, base para o processo atual e a carta de apresentação, aos editores, dos resultados da avaliação 1998-2000.

Esta avaliação, promovida pela CAPES-ANPEPP, cujos frutos já são indiscutivelmente perceptíveis no que tange ao incremento da qualidade das publicações periódicas brasileiras, constitui-se em um processo em desenvolvimento, exigindo aperfeiçoamentos. Este informe resumir-se-á, contudo, a apresentar os documentos à comunidade científica, como contribuição para o prosseguimento do debate sobre este processo.

Avaliação do Processo de Avaliação das Revistas Científicas em Psicologia

O desenvolvimento do processo de avaliação das revistas científicas em Psicologia está descrito em artigo publicado (Yamamoto, et al., 1999), tendo sido também discutido na Reunião Anual da SBP em Campinas, em 1999 (ver texto de apresentação no site da ANPEPP: www.anpepp.org.br).

Este é um processo importante para a Psicologia brasileira por várias razões. Desenvolvemos uma avaliação objetiva, baseada em critérios internacionais. Essa avaliação, além de contribuir para a avaliação da CAPES dos programas de pós-graduação em psicologia, auxilia editores a melhorar a qualidade dos periódicos e orienta a comunidade científica nas decisões sobre publicação.

Embora tenhamos vários indicadores de que a sistemática de avaliação e o instrumento utilizado são adequados a nossa realidade e cumprem as funções para as quais foram desenvolvidas, acreditamos que sempre será possível aperfeiçoar e melhorar o processo. Além disso, como a sistemática de avaliação é o resultado do trabalho de um grupo, designado pela ANPEPP e financiado pela CAPES, ela requer e merece ser também avaliada.

Consideramos que não seria suficiente uma avaliação que tomasse apenas por base alguns indicadores externos, como melhoria na qualidade técnica das revistas, aumento no número de revistas indexadas, número de editores que decidiram fazer alterações técnicas, na composição do Conselho Editorial e no processo editorial, entre outras. A avaliação das revistas, pela sua importância e impacto, merece uma avaliação feita por especialistas independentes, não vinculados à ANPEPP.

Solicitou-se, portanto, que todo o processo fosse examinado e avaliado por quatro especialistas: Maria Cecília G. Ferreira, que tem trabalhado em avaliação de periódicos para a Bireme, na analise de periódicos científicos brasileiros de todas as áreas para a FAPESP, CNPQ e FINEP; Maria Imaculada C. Sampaio e Aparecida Angélica Z. P. Sabadini, bibliotecárias da USP, responsáveis pela avaliação de periódicos para indexação no Lilacs; e Rosa Maria V. De Oliveira, bibliotecária da PUCCAMP, responsável técnica pelo Index-Psi.

Além de solicitarmos uma avaliação geral, fizemos dez perguntas específicas sobre o processo. Apresentamos a seguir, as perguntas formuladas e as respostas recebidas. A ordem das respostas é a ordem de recebimento. Outros comentários serão apresentados no final, bem como as alterações que foram feitas na sistemática de avaliação como resultado do feedback recebido.

1 - O sistema (questionário) que está sendo usado é apropriado para avaliar revistas científicas de psicologia?

MCF Acredito que o questionário é apropriado para avaliação. Para testá-lo, precisaria aplicá-lo em revistas da área de Humanas.

I&A Sim. O instrumento demonstrou ser adequado à proposta de avaliação de periódicos científicos.

RMO Sim, comprovado pela literatura, o questionário constitui-se num método eficaz de avaliação.

2 - O ranking produzido por este instrumento é justo? Ou o instrumento tem defeitos que podem gerar distorções?

MCF Acredito que sim. Poderá gerar distorções se for utilizado por pessoas não familiarizadas com a área de psicologia (para avaliar o conteúdo) ou que não tenham conhecimentos de normas (para avaliar a parte formal dos periódicos).

I&A O instrumento necessita de aprimoramento, tanto em relação a alguns critérios, quanto ao sistema de pesos atribuídos. Acreditamos que um reestudo do formulário poderá levar à produção de um ranking mais condizente com a realidade das publicações periódicas nacionais.

RMO Talvez alguns itens possam ter o peso revisto.

3 - Há critérios irrelevantes sendo utilizados?

MCF Não. Quanto ao item 5, "Gestão Editorial", será necessário conhecer os pesquisadores da área para que essa avaliação seja criteriosa e possa ser válida. Deverá ser feita por profissionais da área de psicologia.

I&A Não. Todos os critérios utilizados apresentam relevância para uma avaliação completa das publicações.

RMO Não. Os critérios são relevantes.

4 - Há critérios relevantes que não estão sendo utilizados?

MCF Os critérios são relevantes, mas acredito para que a avaliação seja uniforme para todas os periódicos, será necessário ter procedimentos bem definidos para pontuar, conforme exemplo no item 1 dos meus questionamentos.

I&A No critério "Normalização": O item 1 "Legenda bibliográfica e ficha catalográfica" poderia ser desmembrado em dois itens para análise; poderia ser acrescentado um item para "Index terms" e "Título do artigo do periódico em inglês" (Obs.: Os "Index terms" e "Título do artigo em inglês" são critérios de seleção para indexação em Base de Dados Internacionais, como por exemplo na base Web of Science do Institute for Scientific Information (ISI), que é uma instituição voltada para o desenvolvimento de produtos e serviços dirigidos para o pesquisador. Esses itens não constam nos critérios de seleção para "Avaliação de Revistas pela CAPES-ANPEPP". No critério "Indexação em bases de dados", o item "em outros indexadores" poderia ser melhor explicado, definindo-se o que são esses outros indexadores. A disponibilidade do texto completo do periódico na Internet poderia ser um critério a ser considerado, levando-se em conta a importância da divulgação de periódicos em meio eletrônico.

RMO Acrescentaria número de artigos publicados por fascículo, tiragem, responsabilidade pela normalização bibliográfica, disponibilidade eletrônica do periódico e índice anual (autor e assunto)

5 - Considerando a situação atual da publicação em psicologia, a pontuação dos itens é adequada? Há itens recebendo mais peso ou menos peso do que deveriam?

MCF Teoricamente, o questionário está bom, mas na prática precisaria verificar. Acho que é um ponto bastante delicado para o qual estamos sempre em dúvida.

I&A Dentro do critério "Autoria e conteúdo", a pontuação dos itens poderia ser reestudada, como: o item "Autoria internacional" poderia ter uma possibilidade anual de publicação de autores filiados a instituição estrangeira, como "Publicação de pelo menos um artigo (no ano) de autor filiado a instituição estrangeira. Assim, este item de "Autoria internacional", seria desmembrado em três possibilidades, dividindo-se então a pontuação. No item "Autoria nacional", a pontuação para "Publicação de pelo menos 75% de artigos de autores de dois ou mais UF (que não a UF de origem)" é muito alta, no caso, nota dez. Nesse critério, poderia se desmembrar a pontuação entre as três possibilidades de forma menos concentrada.

RMO A pontuação dos itens é adequada, mas o peso para a presença de ISSN poderia ser 2.

6 - O instrumento permite aferir a qualidade das revistas?

MCF Acredito que sim.

I&A O instrumento permite, em grande parte, avaliar a qualidade na forma de apresentação da publicação.

RMO Sim, pois analisa a visibilidade internacional do periódico no item 3, perguntas 16 e 21; item 5, perguntas 25-28.

7 - Considerando o volume de publicações, há alguma forma prática para fazer uma avaliação qualitativa mais profunda?

MCF Avaliação feita pelos pares que tem conhecimento do assunto tem sido utilizada, mas parece que também não atende aos objetivos de uma criteriosa análise.

I&A A partir do ranking estabelecido nessa primeira avaliação poderia ser efetuada uma avaliação com base no conteúdo da publicação (considerando-se a natureza do trabalho, por exemplo, relato de pesquisa, revisão de literatura, etc.). Tal avaliação teria que ser realizada por equipe de especialistas nas várias linhas de pesquisa na área.

RMO Talvez a combinação de instrumentais metodológicos (análise de citações, impacto, etc.).

8 - Os pontos de corte utilizados para classificar as revistas como nacionais ou locais e para a atribuição de conceitos (A, B, C) são adequados? Haveria algum outro critério que permitisse estabelecê-los com mais precisão ou justiça?

MCF Esse ponto também é bastante controvertido. Para as bases de dados internacionais, não se consideram as revistas que só têm artigos escritos por pesquisadores da instituição publicadora do periódico. Se as revistas almejam essa indexação, não podem ser locais. Talvez essas revistas possam ser classificadas como revistas de divulgação, mas sempre terão dificuldades em receber artigos de especialistas da área interessados em divulgar as suas pesquisas de maneira mais ampla. Talvez possam servir a alunos de graduação ou para a prática profissional. Depende muito da finalidade da avaliação.

I&A Nos critérios selecionados para "Classificação da Revista Científica em Nacional ou Local" o critério "Formas de distribuição" parece-nos de pouca relevância. O item 18 (disponibilidade em bibliotecas do COMUT) depende de outras instituições e não diretamente dos editores, podendo prejudicar a avaliação da revista, sendo que a mesma não tem o poder de decisão sobre esse critério.

RMO Considero pertinente, pois o ponto de corte foi atribuído em função dos "scores" (distribuição) encontrados, porém enriquecido pela classificação em níveis dentro da categoria nacional e local . Os resultados promoverão a qualidade das revistas com classificação B e C e de local para nacional.

9 - Este tipo de avaliação tem um potencial de melhorar a qualidade das publicações na área ou, ao contrário, é um sistema punitivo que privilegia certos tipos específicos de revistas?

MCF Acho que todas as avaliações devem ser voltadas para melhorar a qualidade das publicações, permitindo que os editores sejam alertados para certos itens que poderão aperfeiçoar nos seus periódicos.

I&A A Biblioteca do Instituto de Psicologia da USP recebe e cadastra no DEDALUS, Banco de Dados Bibliográficos da USP, grande parte dos títulos de periódicos publicados no Brasil na área de Psicologia. Nossa biblioteca é responsável, também, pela indexação das revistas de Psicologia na base de dados LILACS. A partir da observação desses periódicos, podemos afirmar que a avaliação efetuada pela Comissão CAPES-ANPEPP alavancou a qualidade da apresentação dos periódicos nacionais da área. O efeito imediato dessa melhoria das nossas publicações pode ser notado no fato de estarmos sugerindo a indexação de vários outros títulos na LILACS.

RMO Com certeza, o processo de avaliação pressionará os editores para a busca de qualidade intrínseca e extrínseca dos periódicos brasileiros na área, sem ter características punitivas.

10 - O trabalho foi feito por pesquisadores indicados pelos programas de pós-graduação para avaliar a PG em Psicologia no Brasil e por editores de revistas de psicologia, também indicados pelos programas de PG, com apoio de bibliotecárias com experiência na área da psicologia. Há alguma outra forma mais eficaz de constituir um grupo de trabalho para essa finalidade? Há algum tipo de profissional que deveria ser incluído nessa comissão para melhorar a qualidade do trabalho?

MCF Acredito que não. O que reforço é que o questionário é bom, mas precisa ser aplicado por profissionais que sejam do ramo dos que prepararam este trabalho. O importante é que o avaliador tenha conhecimento da área de editoração científica, já tenha sido parecerista ou avaliador. A avaliação de forma (isto é) a normalização do periódico, considero que deva ser realizada por profissional da área de normalização. Mesmo bibliotecários, quando não têm experiência com isso, podem distorcer a avaliação.

I&A A Comissão para avaliação se apresenta perfeitamente adequada, na medida em que é composta por profissionais especializados e com reconhecido conhecimento em editoração e publicação de periódicos na área.

RMO Considero que não há necessidade de inclusão de outros profissionais.

Além de responder a essas questões, Maria C. G. Ferreira apresentou as seguintes perguntas a Comissão Editorial:

1. O questionário tem um manual que esclarece ao avaliador, os critérios a serem considerados, para que o mesmo seja aplicado de maneira uniforme? Exemplificando: quando se refere a normas de publicação (isto é, instruções aos autores), existe um ranking de itens a ser avaliado? Como isso é feito?

2. Os itens referentes à normalização são avaliados por especialistas nessa área? Mesmo bibliotecários nem sempre estão familiarizados com isso.

3. A tabela colocada no final do questionário, utilizada para classificação da revista, não está bem clara.

4. No item 1, Legenda bibliográfica e ficha catalográfica, os critérios estão invertidos. Informação completa (data de início e periodicidade, referem-se a ficha catalográfica). Para Legenda, deixaria como definição de critério: legenda bibliográfica (apenas nas primeiras páginas dos artigos)

Especificamente com relação às perguntas acima, foi elaborado um manual (o que esclarece também a questão 3), uma bibliotecária especializada em normalização participará da próxima avaliação e foram corrigidos os defeitos apontados na questão 4.

Considerando essas respostas e também em função das colaborações e críticas recebidas dos editores, além de sua própria discussão interna, a Comissão produziu algumas alterações e adaptações para a próxima etapa da avaliação.

Inicialmente, considerou-se que houve um esforço importante dos editores no sentido de melhorar a qualidade das revistas e atender as normas propostas na atual ficha de avaliação. Não seria, portanto, correto fazer mudanças radicais nesse momento, especialmente na ausência de erros ou distorções graves na sistemática de avaliação. Além disso, a manutenção dos atuais itens e seus pesos e os mesmos pontos de corte para as classificações de circulação (local/nacional) e qualidade (A, B, ou C) permitirá aferir mais facilmente o progresso feito pelas revistas desde a última avaliação.

Sem dúvida, será necessário rever os pesos, decidir pela inclusão de novos itens e estabelecer novos pontos de corte. A comissão pretende fazer uma proposta nesse sentido após a avaliação (prevista para outubro próximo). Essas propostas serão discutidas com a comunidade em geral e com os editores da área. De qualquer forma, os editores disporão de três anos para fazer as adaptações necessárias e atingir critérios mais exigentes quanto a circulação e qualidade.

As alterações que estarão sendo feitas para a avaliação de outubro próximo são as seguintes:

1 – Os editores receberão a ficha de avaliação e o manual para preenchimento. Deverão devolver a ficha devidamente preenchida conforme o cronograma anexo. As informações dos editores serão verificadas pela comissão. Em caso de discordância, o editor será contatado. Acreditamos que este procedimento deve minimizar muito qualquer possibilidade de erro de avaliação.

2 – Todas as revistas da área de Psicologia que constam da listagem da CAPES (aquelas nas quais professores ou estudantes da PG em Psicologia tenham publicado, conforme informação dos programas) serão obrigatoriamente avaliadas. Outras revistas da área serão avaliadas a pedido dos editores. No primeiro caso, se o editor não devolver o questionário de avaliação no prazo, a comissão fará a avaliação e comunicará o resultado ao editor. O editor terá ainda um prazo, conforme o cronograma anexo, para solicitar reconsideração ou correção de algum erro cometido.

3 – O item referente a "bibliotecas" será avaliado conforme informação prestada pelos editores, visto que a informação do COMUT não é confiável. Porém, na ausência de informação do editor, a informação do COMUT será utilizada. A pontuação deste item continuará sendo de zero a sete. Porém, será contado um ponto para cada 10 bibliotecas. Desta forma, as revistas que estiverem em pelo menos 70 das cerca de 150 a 160 bibliotecas de universidades que mantém cursos de graduação em psicologia receberão pontuação máxima. Observe-se que a vinculação da biblioteca com um curso de psicologia não é obrigatória. Editores podem listar bibliotecas de instituições que não mantêm cursos de psicologia.

Considerações Sobre Inclusão de Novos Itens e Pesos

Foi sugerido incluir novos itens para a avaliação, tanto pelas especialistas que avaliaram o processo como por alguns editores. No futuro próximo teremos que estudar a viabilidade e a utilidade de incluir esses itens.

Entre os itens mais freqüentemente citados, estão o número de artigos por fascículo e a tiragem da revista. Aparentemente, uma revista que publica 20 artigos por fascículo deveria ser considerada melhor do que uma que publica 10. Porém, há dificuldades. O número de artigos por fascículo não é um indicador de circulação, nem de qualidade. É perfeitamente concebível que uma revista local, sem problemas financeiros, cujo processo editorial consista em aceitar rapidamente todas as submissões, termine publicando mais artigos que revistas de grande circulação com um processo editorial sério. Esse é, portanto, um indicador que pode terminar distorcendo a avaliação. Talvez ele possa ser levado em consideração numa análise de revistas do mesmo nível, para aperfeiçoar o ranking. Mas, nesse momento, isso não parece ser nosso objetivo principal. De qualquer forma, esse critério dificilmente teria hoje um impacto importante na avaliação.

A tiragem certamente tem a ver com a circulação. Mas, teríamos, também, que controlar o encalhe. A maioria das revistas nacionais tem uma tiragem que varia entre 750 e 1000 exemplares (a do CFP tem 100.000 exemplares, mas isso é outra história). Muitas revistas locais têm tiragem equivalente ou mesmo superior. A inclusão da tiragem (e a dificuldade de controlar encalhe) pode levar revistas que têm alguma folga financeira (não é o caso das melhores) a aumentar sua pontuação sem que isso represente qualquer ganho substantivo para a área.

Outros itens sugeridos na avaliação feita dizem respeito a normalização (inclusive, com aumento do peso do ISSN). Isso também não parece muito necessário. Como essa é a parte mais fácil de mudar, os editores em geral têm melhorado muito suas revistas neste aspecto. Rapidamente todas as revistas avaliadas estarão adequadamente normalizadas. Provavelmente teremos que reduzir o peso da normalização, ou torná-la um pré-requisito para a avaliação (revista sem ISSN e que não atinge uma pontuação mínima na normalização não entra em avaliação ou é automaticamente classificada como local C).

Há duas outras sugestões que requerem análise. Uma é de valorizar o fato de uma revista não ter sido interrompida e, outra, de uma revista não compactar seus fascículos (por exemplo, uma revista semestral apresentar o número 1 e 2 no mesmo volume). A questão da interrupção é problemática. Se tiver havido interrupção no período da avaliação, a revista perderá pontos por atraso e não cumprimento da periodicidade. Se formos considerar a história da revista, o problema se agrava. Nesse momento temos um sistema de avaliação que permite, pelo menos teoricamente, que qualquer revista atinja a pontuação máxima. Penalizar uma revista por algo que ocorreu no passado, sem chance de correção e recuperação dos pontos, não parece ser uma estratégia pedagógica. Além disso, há também problemas com a definição de interrupção. Uma revista que durante dois ou três anos não editou nem um fascículo mas, eventualmente, corrigiu o atraso e hoje apresenta uma coleção completa deve ser considerada como tendo sido interrompida?

A compactação talvez devesse ser levada em consideração. Nós discutimos essa questão na reunião do Rio de Janeiro, em fevereiro de 1999 e decidimos, na época, que não penalizaríamos as revistas que tivessem feito isso. Não há, porém, nenhuma razão lógica para manter esse critério. Revistas que compactam seus números no período da avaliação deveriam perder os pontos referentes a periodicidade.

Uma última questão é a disponibilidade eletrônica do periódico. No momento temos somente duas revistas brasileiras disponibilizadas no Scielo (Boletim de Psicologia e Psicologia: Reflexão e Crítica). É possível que haja uma ou duas revistas disponíveis em sites criados por elas próprias. É indiscutível que a disponibilidade eletrônica facilita o acesso e a recuperação de artigos. Mas é necessário cautela pois qualquer revista disposta a gastar US$20 por mês pode ser disponibilizada na Internet. Usar disponibilidade pelo Scielo (que implica avaliação) não teria hoje impacto na nossa avaliação.

Cláudio S. Hutz

Referência

Yamamoto, O. H., Koller, S. H., Guedes, M. C., LoBianco, A. C., Sá, C. P. de, Hutz, C. S., Bueno, J. L. O., Macedo, L. de, & Menandro, P. R. M. (1999). Periódicos científicos em Psicologia: uma proposta de avaliação. Infocapes, 6(3), 7-13.

Carta aos editores

Prezado(a) Colega:

Inicialmente, gostaria de agradecer sua colaboração e participação no processo de avaliação das revistas científicas da área da Psicologia. Em nome da Comissão, estou encaminhando a ficha de avaliação de sua revista em anexo.

Observe que pode ter havido pequenas discrepâncias entre a ficha encaminhada pela revista e a avaliação feita pela comissão. No conjunto das avaliações, as discrepâncias foram pequenas e em ambas direções (isto é, a Comissão reduziu a pontuação de alguns itens e aumentou a de outros). Os editores podem, a qualquer momento, solicitar esclarecimentos à comissão ou reconsideração da avaliação. A Comissão foi muito cuidadosa e criteriosa nos seus procedimentos, especialmente quando havia divergência com a avaliação feita pelo editor. Mesmo assim, sempre afirmamos e voltamos a reiterar que estamos conscientes de que nós, como qualquer grupo realizando uma tarefa, podemos ter errado. Se isso tiver ocorrido, por favor, informe imediatamente. A Comissão fará todo o possível para corrigir o erro com a maior brevidade possível.

Observem também que, novamente, não foi possível utilizar o item referente a bibliotecas na avaliação. Na primeira avaliação, esse item foi desconsiderado porque verificamos que o sistema CCN simplesmente não funciona no país (o que é uma vergonha). Acreditávamos que solicitando aos editores a lista das bibliotecas que possuíam suas revistas resolveríamos o problema. Estabelecemos valores quantitativos com base na estimativa de bibliotecas de cursos de graduação de psicologia no país. Entretanto, as listas encaminhadas pelos editores revelaram vários problemas. A utilização do número de bibliotecas para estimar a circulação das revistas envolve dificuldades que precisam ser resolvidas para evitar distorções importantes. Em breve estaremos divulgando um relatório detalhando os problemas que encontramos com relação a esse item e suas implicações.

Conforme amplamente divulgado, os critérios utilizados e os pontos de corte foram os mesmos da avaliação passada. Isso foi feito por várias razões. A avaliação que fazemos visa não apenas a subsidiar a avaliação dos programas da CAPES, mas também contribuir para a melhoria da qualidade e para o aumento da circulação das revistas brasileiras de Psicologia. Para nossa grande satisfação, foi possível observar uma melhoria substancial na qualidade dos periódicos avaliados. Como o item referente a bibliotecas não foi utilizado, os escores da presente avaliação podem ser diretamente comparados aos escores da avaliação anterior.

Devido a algumas dificuldades técnicas relativas a algumas revistas de pouca circulação e difíceis de encontrar, ainda não foi possível concluir definitivamente o processo. Porém, consideramos que não há sentido em retardar mais a divulgação dos resultados, pelo menos para os editores.

Dentro de poucos dias o processo estará definitivamente encerrado e poderemos enviar a todos a listagem das revistas nacionais e locais com seus respectivos escores de qualidade. Essas relações serão também encaminhadas à CAPES e tornadas públicas. As fichas de cada revista serão encaminhadas à diretoria da ANPEPP, com a recomendação de que também sejam tornadas públicas.

Encerrada essa etapa, a comissão deve começar a revisar os critérios de avaliação e adequá-los a nova realidade. Esse processo será discutido com a comunidade científica em geral e, especialmente com os editores. O princípio norteador continua sendo o mesmo: contribuir para a melhoria da qualidade e aumento da circulação das nossas revistas. Embora tenhamos avançado muito, ainda temos um longo caminho pela frente e, com certeza, nossas revistas continuarão melhorando no futuro próximo. Esperamos continuar recebendo comentários e sugestões dos editores para o aprimoramento do sistema.

Por mais algumas semanas, até que o processo da presente avaliação se complete, continuarei a coordenar a comissão. A diretoria da ANPEPP deverá então rever a composição da comissão e designar um novo coordenador. Até que isso ocorra, solicito que continuem a endereçar para mim toda a correspondência referente a presente avaliação, preferencialmente através do e-mail: [e-mail]. Outras questões devem ser encaminhadas para a presidente da ANPEPP, Profa. Maria Lucia Seidl de Moura (UERJ), através do e-mail: [e-mail].

Finalmente, gostaria de agradecer, em meu nome e em nome de toda a comissão, o apoio, as sugestões e as críticas construtivas que recebemos dos editores e de muitos colegas interessados em questões de editoração científica. Desejo ainda reiterar agradecimentos às bibliotecárias da USP, PUCCAMP-Index-Psi e FAPESP pela contribuição no processo de "avaliação da avaliação". Finalmente, é importante registrar que o esforço e a competência das bibliotecárias do Instituto de Psicologia da USP, Angélica Sabadini e Maria Imaculada Sampaio foram fundamentais para garantir o sucesso do processo de avaliação.

Participaram da Comissão: Anna Carolina LoBianco Clementino (UFRJ), Claudio Simon Hutz (UFRGS), José Lino O. Bueno (USP-RP), Lino de Macedo (USP), Maria do Carmo Guedes (PUCSP), Paulo R. M. Menandro (UFES), Oswaldo H. Yamamoto (UFRN) e Silvia Helena Koller (UFRGS).

Atenciosamente

Prof. Claudio S. Hutz

Coordenador da Comissão de Avaliação das Revistas

Datas de Publicação

• Publicação nesta coleção
  05 Abr 2001
• Data do Fascículo
  Dez 2000