Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores

Peer review in communication journals: viewpoint of editors, authors and referees

ARTIGO

Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores¹

Peer review in communication journals: viewpoint of editors, authors and referees

Ida Stumpf

Professora Titular do Depto. Ciências da Informação e do PPGCOM/UFRGS; Pesquisadora CNPq

RESUMO

O estudo verificou como ocorre a avaliação de originais nas revistas de Comunicação, de acordo com 13 editores, autores e avaliadores de sete revistas. Os dados foram coletados por meio de formulários eletrônicos e entrevistas presenciais que esclareceram sobre o processo avaliativo. A percepção dos participantes às vezes é diferenciada, de acordo com sua categoria: editores, avaliadores e autores. Conclui-se que, em geral, as revistas seguem os procedimentos científicos que dão confiabilidade às publicações.

Palavras-chave: Periódicos; Avaliação pelos pares; Revistas científicas; Comunicação

ABSTRACT

The study analyzed how the peer review process in Communication journals occurs, according to 13 editors, reviewers and authors of seven journals. Data collection was carried out by means of electronic questionnaires and face-to-face interviews in order to clarify the evaluation process. Perceptions of participants of the peer review process are connected or change according to the category looked at: editor, author or referee. The study concludes that, in general, journals follow scientific procedures that give credibility to publications.

Keywords: Journals; Peer review, Scientific journals; Communication.

1 Introdução

Os periódicos ou revistas científicas são o mais importante veículo de divulgação da ciência. Para os pesquisadores, especialmente das áreas de Ciências Exatas e Biológicas, é o meio mais apropriado para se comunicar as descobertas e as observações para outros investigadores, assegurando ao autor a propriedade da invenção e/ou da idéia. Também para as áreas de Ciências Sociais e Humanidades, em que novas descobertas não ocorrem com freqüência, nos últimos tempos as publicações periódicas assumiram um papel importante como arquivo do conhecimento novo produzido e das reflexões mais atuais, contribuindo de forma eficiente para o registro da produção científica.

Na Comunicação brasileira, só agora a importância dos periódicos está sendo reconhecida como forma de veicular os resultados de pesquisa, como pode ser comprovado pelo aumento do número de títulos nos últimos anos (em 1998, eram 26, e hoje temos registrados no Catálogo de Revistas Acadêmicas de Comunicação 56 títulos) (STUMPF, 2007). Mesmo desconhecendo os motivos dos pesquisadores para utilizar revistas como meio de divulgação da produção científica, estudos de citações de teses e dissertações mostram que é escasso o uso de artigos de periódicos como insumo para o desenvolvimento de novas investigações (VANZ, 2003; MESQUITA, 2006).

O que pôde ser observado nos últimos tempos é que houve avanços na qualidade das revistas de Comunicação, tanto nos aspectos intrínsecos quanto nos extrínsecos, haja vista a preocupação dos editores em seguir algumas normas de apresentação formal e de controle de conteúdo dos artigos. Mediante observação das mudanças ocorridas nos fascículos, pudemos constatar que o avanço no último aspecto se deu pela incorporação de um número maior e mais diversificado de membros consultores para a avaliação dos originais submetidos aos periódicos.

No sentido de avançar na avaliação das revistas de Comunicação, passamos, então, a estudar o processo de avaliação de originais pelos pares, por ser o que, até o momento, confere credibilidade ao conhecimento científico divulgado. Primeiramente, estudamos a visão desse processo pelos editores e depois incorporamos o olhar dos autores e consultores, completando o estudo proposto.

2 Metodologia

Trata-se de um estudo empírico quanti-qualitativo, que utilizou como instrumento de coleta de dados um formulário eletrônico, com perguntas abertas e fechadas, acrescido do exame das revistas para verificar a composição do conselho consultivo e das instruções aos autores, com a finalidade de recolher elementos para análise. O formulário foi enviado para 26 editores das revistas de Comunicação mais conceituadas, retornando 13 respostas (50%). Como representação do total, o número foi considerado suficiente para realizar uma reflexão crítica sobre os dados.

Posteriormente, foram questionados os avaliadores e os autores, também por meio de um formulário eletrônico. Foram escolhidos sete títulos de revistas classificadas com conceito Qualis A Nacional na época. As questões foram diferenciadas para cada tipo de formulário, que incluiu tanto perguntas fechadas quanto abertas. O incidente crítico foi o ano de 2004, e a coleta de dados ocorreu entre os meses de maio e julho de 2005.

Nessa etapa, foram enviados formulários a 84 autores, com um retorno de 39 respostas, após duas investidas. Dos 180 membros do conselho consultivo das revistas selecionadas, foram escolhidos cinco membros de cada uma, totalizando uma amostra de 35 sujeitos, dos quais foram validados 16 formulários de respostas, também após duas tentativas. O baixo retorno das respostas fez com que, num terceiro momento, lançássemos mão de uma entrevista em profundidade com dois elementos de cada tipo, ou seja, dois editores, dois autores e dois avaliadores, totalizando seis entrevistas. As opiniões dessas pessoas serão apresentadas como Edit1, Edit2, Aut1, Aut2, Ava1 e Ava2 na análise dos dados.

3 Referencial Teórico

A Comissão Internacional de Editores de Revistas Médicas (ICMJE) define o processo de avaliação pelos pares como "... a avaliação crítica de manuscritos submetidos às revistas por especialistas que não fazem parte da comissão editorial." (HAMES, 2007, p. 01). A literatura internacional e todos os produtores de conhecimento científico consideram fundamental a etapa da avaliação de originais na produção de revistas científicas para a manutenção dos padrões de qualidade da ciência. O sistema de avaliação da produção científica pelos membros da comunidade de referência é também conhecido como revisão pelos pares, ou sistema de arbitragem. Em inglês, denomina-se referee system ou peer review e envolve o uso sistemático de árbitros para assessorar na aceitação de manuscritos submetidos para publicação (PESSANHA, 1998). É um sistema complexo que reúne pessoas e atividades diferenciadas, mas complementares, para atingir um objetivo comum: julgar os originais submetidos para publicação. As pessoas envolvidas nesse processo são os autores, o editor e os avaliadores (HAMES, 2007). Cada componente do processo realiza suas atividades para que o editor possa chegar a um veredicto final, que pode ser: publique-se, publique-se após revisão, ou não publique-se.

O autor é o produtor do trabalho submetido à avaliação. Antes de escrever um artigo, ele já sabe para que revista quer enviá-lo. Essa seleção leva em consideração não só a reputação do periódico, como também a qualidade do seu próprio trabalho. O autor conhece a qualidade do que escreve e é capaz de selecionar um periódico pelas chances de sua aprovação. A leitura das instruções para os autores, publicadas sempre no final dos fascículos das revistas, serve para alertá-los sobre os procedimentos e normas que devem ser seguidos antes de submeterem os artigos; se os pesquisadores não os observarem, poderão ter seus trabalhos recusados pelo editor antes mesmo da avaliação pelos consultores. Geralmente as instruções indicam também por quantos avaliadores o trabalho deverá passar.

O editor é "a pessoa responsável pela revista e responde por ela em todas as instâncias" (STUMPF, 2005, p.107). Ele coordena todo o trabalho de publicação: recebe e examina preliminarmente os originais enviados pelos autores e faz a primeira seleção, verificando se a temática está de acordo com os assuntos aceitos para publicação e se seguem as normas de apresentação. Ao editor cabe também coordenar a seleção dos avaliadores e manter os autores informados de cada etapa do processo. O editor deve manter contato com os avaliadores, controlando o envio de originais e os prazos para recebimento dos pareceres. Também é o editor quem decide se o trabalho precisa de nova avaliação. Com respeito aos autores, ao editor cabe comunicar-lhes o recebimento do trabalho, informar que o trabalho seguiu para avaliação e, posteriormente, o resultado da avaliação, informando também em qual fascículo será publicado o artigo, no caso de trabalho aceito sem reformulação.

O editor é auxiliado por uma comissão editorial, geralmente formada por pessoas da própria instituição que publica a revista e que são comprometidas com a revista. Elas ajudam e assessoram o editor na tomada de decisões sobre a publicação. Especificamente sobre a avaliação dos originais, elas auxiliam o editor na seleção dos avaliadores, indicando as pessoas mais capacitadas para realizar esse trabalho, pela afinidade com a temática do artigo, e colaboram na decisão final quanto aos trabalhos a serem publicados.

Os avaliadores, também chamados consultores, pareceristas ou árbitros (em inglês, referees), são as pessoas que julgam os originais enviados pelos editores. Embora exerçam uma atividade que pode estar carregada de subjetividade, espera-se deles que realizem comentários justos que apontem o valor e a contribuição daquele trabalho para o desenvolvimento da Ciência. Espera-se também que indiquem as possíveis falhas, auxiliem os autores a melhorar seus escritos e cumpram os prazos para não interferir no fluxo da edição. São considerados os pares, ou seja, "[...] os colegas daquele que está em julgamento [...] e que, por sua formação e experiência, são capazes de emitir opinião formada e confiável" (DAVYT; VELHO, 2000, p.94). São, portanto, aquelas pessoas que opinam sobre um trabalho antes de ele ser publicado. Seu papel tem sido intensamente discutido na área da comunicação científica, tanto pelas controvérsias que apresenta, quanto pelos perigos que os árbitros representam como censores das novas idéias. Eles agem como filtros que removem as contribuições indesejáveis, mas são eles também os encarregados de avaliar quem deve receber as recompensas baseadas no desempenho das atividades científicas. Na prática, a situação é complicada, pois se sabe que, pela condição humana, os avaliadores cometem erros, permitindo que trabalhos não tão valiosos sejam publicados, enquanto outros que poderiam representar uma inovação são rejeitados. O processo é, portanto, passível de subjetividade.

A avaliação e seleção dos originais científicos antes da publicação dos manuscritos, como com os artigos nas revistas científicas, não são práticas novas. Meadows (1999) calcula que há mais de dois séculos elas se fazem presentes, mas o uso de avaliadores externos só se tornou uma prática comum nos últimos 50 anos. A razão disso, segundo Hames (2007), é que o número de artigos para publicar aumentou muito nos últimos tempos e os editores tiveram que se tornar mais seletivos. Outro argumento apresentado pela autora é o de que as áreas científicas se expandiram e se tornaram altamente especializadas, sendo impossível ao editor ser especialista em todas elas. As previsões são de que esta situação continue a existir, mesmo que a tendência de transformação das revistas impressas em eletrônicas permaneça. Costa (1996, p.235), estudando a questão do julgamento pelos pares em periódicos eletrônicos, diz que a avaliação persiste "[...] como exigência para sua consideração como científico e conseqüente aceitação e respeito pela comunidade científica".

Muitas críticas têm sido feitas ao processo tradicional de avaliação de originais pelos pares, mas nenhuma sugeriu sua extinção, pois é por meio dessa mão invisível, como a denomina Harnad (2000), que a ciência mantém sua qualidade.

A vantagem em não usar a apreciação dos consultores seria a rapidez com que o processo de publicação poderia ser realizado, mas a desvantagem seria o risco de decisões mais erradas do que o sistema já apresenta. Apesar de conter deficiências, é pelo processo de avaliação que o artigo aceito para publicação recebe o "imprimatur" de autenticidade científica, fornecido pelo editor e pelos avaliadores que foram consultados (ZIMAN, 1979). Contudo, já no século passado, autores mais críticos, como O'Connor (1978), julgavam que o sistema de avaliação pelos pares não tem uma prova assegurada de sua eficácia. Só recentemente as fraquezas do sistema começaram a ser examinadas, e o próprio sistema passou a ser submetido a uma avaliação.

Na literatura internacional, autores como Abelson (1990), Crawford e Stucki (1990), Madden (2000), Via (1996) e muitos outros, relatam problemas que ocorrem com a avaliação pelos pares, mostrando sua fragilidade. Entre eles, podem ser citados o atraso na publicação, a retenção de trabalhos importantes pelos pareceristas e o uso dos dados pelos avaliadores antes da publicação.

No Brasil, Mueller (1997) realizou um estudo sobre as práticas e os procedimentos adotados pelas revistas científicas financiadas pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq e Financiadora de Estudos e Projetos - FINEP, com respeito à seleção de artigos científicos, entre os anos de 1995 e 1996. O trabalho revelou que, em geral, as práticas científicas estão presentes nesses periódicos, sugerindo que a realização de estudos em áreas especializadas poderá revelar diferenças mais marcantes entre elas.

As críticas mais comuns destacam a demora que tal avaliação causa à publicação, seguidas do elitismo, conservadorismo e também da possibilidade de plágio pelos avaliadores. O'Connor (1978) e Meadows (1999), entre tantos outros autores que escreveram sobre o processo de avaliação de originais, explicando as críticas que são feitas, dizem que os árbitros são escolhidos pela sua especialidade em determinado assunto, mas isso pode acarretar a aceitação de determinadas teorias e procedimentos que fecham as portas para contribuições mais inovadoras, especialmente nas áreas das Ciências Sociais. Para os autores, porém, o plágio é uma das críticas mais severas feitas aos árbitros. Eles são acusados de prolongar a avaliação enquanto incorporam em sua pesquisa ou em suas publicações os resultados ou métodos dos trabalhos que avaliam. Para que isso não ocorra, o editor deve insistir na rapidez da avaliação. Os autores sugerem que o prazo de avaliação não exceda três semanas.

Em muitos casos, o sistema de avaliação de originais é visto simplesmente como um sistema de aceitação ou rejeição de trabalhos. Todavia, o processo de apreciação é mais do que isso: ele visa a educar os autores, sugerindo correções na forma e na apresentação das contribuições submetidas. As críticas devem auxiliá-los, sobretudo na elaboração ou redação dos trabalhos seguintes que desejarem publicar.

A avaliação criteriosa demanda tempo para ser realizada. Além disso, não traz reconhecimento público e, muito menos, remuneração para os avaliadores. Mas muitos cientistas consideram a tarefa como parte de suas obrigações com a ciência. Alguns julgam sua indicação como uma honraria, enquanto que outros a vêem como um trabalho potencialmente útil para sua carreira, ou mesmo educativo, já que eles terão acesso à informação mais atualizada na sua área de conhecimento antes mesmo de ela ser publicada. Meadows (1999, p.183) pensa que os mais velhos vêem a avaliação como "[...] uma atividade que em geral assumem devido a um sentido de dever [...]", enquanto que para os mais jovens ela pode significar "[...] um reconhecimento gratificante de sua competência".

A escolha dos avaliadores é um ponto sensível. Deve obedecer a critérios e, sempre que possível, envolver a comissão editorial, que divide a tarefa com o editor. Entre os critérios para a escolha dos árbitros, deve pesar seu conhecimento especializado, sua competência como pesquisador e sua representatividade na área. Mas não só isto. A justiça e o equilíbrio nos comentários, o cumprimento dos prazos estipulados e as críticas construtivas também são importantes para o desempenho das funções de avaliação (GORDON, 1983; MEADOWS, 1999).

Os árbitros geralmente fazem seus comentários de maneira confidencial, e suas críticas só estão disponíveis para o editor e o autor. O anonimato deve ser facultado ao avaliador para evitar constrangimentos e protegê-lo da reação dos autores, quando se tratar de trabalhos rejeitados. Da mesma forma, o nome do autor do trabalho a ser avaliado e a identificação de sua instituição de origem devem ser omitidos. Esse procedimento, também conhecido como avaliação cega ou blind review, evita influenciar a decisão do árbitro na apreciação do trabalho. A avaliação que não revela o nome do autor para o avaliador nem o nome do avaliador para o autor é chamada de double blind review.

Grande parte das revistas envia instruções aos avaliadores sobre os itens a serem avaliados. De acordo com Meadows (1999), em geral o editor pede comentários sobre três pontos básicos: originalidade, correção e importância da pesquisa relatada. O autor acrescenta também que o estilo editorial e a apresentação podem fazer parte dos itens a serem observados.

A quantidade de avaliadores varia de revista para revista, sendo mais comum a inclusão de dois avaliadores. É preciso notar que, quanto maior o número de pessoas envolvidas no processo de avaliação, menor a probabilidade de o editor atingir seus prazos. No caso de haver discordância de opinião, é solicitado o parecer de uma terceira pessoa para eliminar divergências. Esses procedimentos são importantes porque, consultando mais de um avaliador, o editor se defende contra problemas que os autores podem criar quando seu trabalho é rejeitado (GORDON, 1983; O'CONNOR, 1978).

Embora tenha funcionado por muitas décadas da mesma maneira, o sistema de avaliação pelos pares está sendo cada vez mais questionado. Umas das idéias seria sua extinção, mas os cientistas vêem essa solução como extrema, e grande parte deles se nega a discuti-la. Afirmam que acabar com a avaliação só traria como vantagem maior rapidez no processo de publicação. Em contrapartida, deixar que todos os artigos sejam publicados e que os leitores decidam o que é de valor só resultaria, como diz Berezin (1996), em mergulharmos em megatons de lixo. Campanário (2002) afirma que deixar somente para a própria comunidade científica atuar como um gigantesco jurado também é uma proposta muito radical. No entanto, referindo-se a uma pesquisa feita no final da década de 90, pela Association of Learned and Professional Society Publishers - ALPSP, Rowland (2002) destaca que 45% dos respondentes esperavam ver algumas mudanças no sistema de avaliação pelos pares nos cinco anos seguintes. Williamson (2003) é um dos autores que apresentam sugestões para a melhoria do sistema. Entre elas, indica a revisão aberta ou open review, que consiste em identificar os avaliadores, pedindo-lhes que assinem seus pareceres. Segundo o autor, esse procedimento levaria a revisões mais criteriosas, permitiria algum reconhecimento do trabalho dos avaliadores e até mesmo atuaria na prevenção do roubo de idéias ou plágio dos autores. Essa forma de avaliação eliminaria o anonimato, que, para autores como Rovner (2006), é o principal problema da revisão tradicional pelos pares.

4 Análise dos dados

Todas as revistas de Comunicação investigadas realizam a avaliação dos originais submetidos, variando um pouco na maneira de realizá-la.

Um fato marcante que tem caracterizado o processo avaliativo dessas revistas é a existência de um conselho consultivo permanente em todas elas. Esse conselho, chamado também de conselho científico ou mesmo de corpo ou comissão editorial (erroneamente), é composto por membros locais, nacionais e estrangeiros, dando um caráter internacional ao periódico ou assegurando que os idiomas das contribuições aceitas para submissão sejam avaliados por quem os domina. Outra razão de um conselho consultivo permanente e diversificado é a exigência, já disseminada pelos órgãos de avaliação e financiamento, da presença de um grupo de pareceristas mais estável e constituído por pesquisadores de renome, o que oferece aos autores e leitores mais certeza de seriedade no processo de publicação. Esse conselho estável (60% deles participam há quatro anos ou mais, e 25% de dois a três anos) e diversificado (todas as revistas possuem avaliadores pertencentes a instituições brasileiras diferenciadas e avaliadores estrangeiros) parece dar conta dos trabalhos submetidos, uma vez que apenas dois editores informaram utilizar avaliadores ad hoc quando a temática do artigo foge à especialidade de seus membros. Na entrevista com os editores, um deles disse que "os avaliadores dão conta da avaliação" (Edi1), enquanto que o outro revelou: "às vezes, eu tenho que pedir para outros professores de fora avaliarem os artigos, mas não é comum" (Edi2).

Em relação a uma pré-seleção, todos os editores dizem fazer um exame prévio dos artigos, verificando, principalmente, se ele está dentro das temáticas aceitas para publicação. No entanto, alguns avaliadores informaram que já negaram artigos submetidos à sua avaliação por considerarem sua temática não pertinente ao periódico (33%). Este dado mostra que nem sempre os editores fazem esta pré-seleção com acuidade, deixando para os avaliadores decidirem se o artigo é ou não pertinente às temáticas aceitas pela revista. Os editores ainda revelaram que só não é feita a pré-seleção para os artigos encomendados ou produzidos por pesquisadores convidados que, uma vez recebidos, são aceitos incondicionalmente. Às vezes essa pré-seleção é feita pelo editor em conjunto com a comissão editorial. Esse procedimento ocorre nos periódicos que têm esse tipo de comissão formada por membros da própria instituição e que verdadeiramente auxiliam o editor na tomada de decisões sobre a revista.

Passando pela etapa de pré-seleção, os originais seguem para a avaliação. É interessante notar que 50% dos avaliadores que responderam ao formulário não receberam nenhum artigo para avaliar no ano base de 2004, e 25% receberam apenas um artigo. Essa situação também foi verificada na entrevista quando um dos dois entrevistados (Ava1) disse não ter recebido artigo do título a que estávamos nos referindo para avaliar no ano anterior, e o outro (Ava2) afirmou ter recebido apenas um artigo. Segundo os avaliadores, essa situação não é constante, é apenas pontual, e teria como razão a possível pressa para que a revista possa cumprir os prazos de publicação. Apesar de permanecer a suspeita de que muitos artigos só passam por uma pré-seleção, quando passam, pode-se também atribuir a resposta ao pequeno número de respondentes. Preferimos acreditar nos editores, que se referem a essa etapa como prévia, e não como única na avaliação. Mesmo porque esse é um aspecto da avaliação de originais que é difícil de comprovar, uma vez que os arquivos das revistas não são disponibilizados para pesquisadores por mais de 70% dos editores.

Segundo os editores, o número oficial de avaliadores é dois, às vezes três, quando há discordância de opinião. Esse procedimento muitas vezes fica apenas na intenção, como revelaram 55% deles, pois, na prática, freqüentemente a avaliação se restringe apenas a um parecerista e ao editor, tendo-se em vista o cumprimento dos prazos da periodicidade. Os editores entrevistados confirmaram isso ao relatar: "Quando dá tempo, eu envio para dois, mas às vezes fico com o parecer de um só" (Edi1); "Desde que eu sou o editor da revista (dois anos), sempre houve concordância dos avaliadores, mas, se precisar, eu envio para um terceiro" (Edi2).

Os autores (92%) sabem que seus trabalhos passam por uma avaliação, mas 71% deles não sabem por quantos avaliadores passa seu artigo. Tanto autores quanto pareceristas presumem que seja por dois, tal como ocorre na maioria das revistas. Os entrevistados presenciais assim se pronunciaram: "Eu penso que meu artigo passou por dois avaliadores, como é em todas as revistas" (Aut1); "Acho que foram dois, mas não tenho certeza" (Aut2).

Em relação aos prazos da avaliação, o tempo dado pelos editores aos avaliadores varia, sendo o prazo mais comum de um mês (56% deles dizem ter 30 dias ou um pouco mais, e 44% menos de 30 dias para enviar seu parecer). Esses dados foram confirmados pelos avaliadores, mas as revistas que dão um prazo menor apresentam mais problemas com o não-cumprimento. A necessidade de cobrança existe esporadicamente, mostrando que, em geral, os avaliadores das revistas de Comunicação são conscientes de suas responsabilidades junto ao periódico em que atuam, embora 100% dos avaliadores digam cumprir sempre os prazos. Isso foi confirmado pelos entrevistados presenciais, que assim se pronunciaram: "Eu sempre cumpro os prazos porque sei que o editor conta comigo" (Ava1); ou: "Quando me enviam artigo para avaliar, eu sempre cumpro o prazo" (Ava2).

O prazo entre a submissão e a publicação dos trabalhos parece ser bastante reduzido, uma vez que 41% dos autores, quando questionados sobre isso, disseram ser o prazo de até três meses, e 48% referiram-se a um prazo de quatro a seis meses. A pressa dos editores para que a publicação se mantenha em dia e regular agrada aos autores, conforme mostram as falas dos entrevistados presenciais: "O tempo entre o envio do trabalho e a publicação foi de três meses e meio. Para mim, foi ótimo, porque pude contar na produção do ano" (Aut1); "O meu artigo foi publicado quatro meses e um pouquinho depois que eu mandei. É muito bom quando as revistas publicam logo" (Aut2).

São poucos os periódicos que enviam um formulário junto com o(s) trabalho(s) para os avaliadores, indicando os itens a serem observados. Das 13 revistas da primeira etapa, apenas cinco utilizam esse procedimento e apenas três enviaram cópia de seus formulários para exame. Mesmo solicitando um parecer descritivo fundamentado e uma conclusão sobre aceitar, indicar reformulações ou rejeitar, os periódicos que indicam os itens a serem avaliados pedem que o parecerista atribua valores aos seguintes aspectos: relevância da contribuição para a área, valor científico, originalidade, parâmetros teórico-conceituais, organização do texto (coerência e clareza) e aplicação de normas de apresentação. No entanto, 37% dos pareceristas disseram não receber instruções dos editores sobre o que avaliar nos originais que recebem, e 72% dos autores não sabem que aspectos do seu texto são avaliados. Com esses dados, deduz-se que os editores confiam nos critérios próprios dos avaliadores para a emissão de pareceres e que os autores confiam na qualidade do seu texto quando submetem um original para avaliação, considerando que os parâmetros são os mesmos para todas as revistas. Os editores consultados dizem enviar um formulário aos avaliadores para preencher, mas que preferem o parecer descritivo: "Junto com o pedido [da avaliação], eu envio um formulário para eles preencherem, mas eu prefiro a avaliação descritiva" (Edi1); "Alguns só preenchem o formulário e são muito lacônicos na avaliação. Seria melhor se fizessem uma avaliação mais consubstanciada" (Edi2). Os avaliadores consultados nas entrevistas presenciais informaram o seguinte: "Quando fui convidado pelo editor para fazer parte do conselho consultivo da revista, me foi dito que precisavam de um parecer descritivo, mas sem dizer que itens deveria avaliar. Talvez confiem na minha prática de avaliação" (Ava2); "O editor me enviou o artigo e pediu uma avaliação sobre ele. Eu bem que gostaria de saber por qual ótica deveria avaliar, mas não é comum este tipo de orientação nas revistas de Comunicação" (Ava1).

Um procedimento comum a todas as revistas é o anonimato dos avaliadores para os autores, assegurando-se com isso uma avaliação mais livre (97% dos autores não sabem quem avaliou seu artigo). O mesmo não acontece com relação ao conhecimento dos autores pelos avaliadores (67% dos pareceristas sabem a autoria dos trabalhos que estão avaliando). Assim, em algumas revistas, o nome dos autores não é omitido quando o trabalho é submetido à avaliação, podendo influenciar na decisão do avaliador. Para completar, 77% dos autores não sabem se a avaliação é cega. Os autores entrevistados assim se pronunciaram: "Eu não tenho certeza de quem avaliou meu artigo, mas acho que foi Fulano porque ele entende do assunto. Como o artigo foi aprovado, eu me sinto honrado que tenha sido ele. Se outro avaliou, não sei, mas, pelo jeito, aprovou" (Aut1); "Não faço idéia se, quem e quantos avaliaram meu trabalho, só sei que foi aprovado e em tempo recorde" (Aut 2). Os pareceristas disseram: "O trabalho veio com o nome do autor. Eu preferia não saber de quem é. Deve haver um jeito de fazer isto, mas, para todas as revistas de Comunicação que já avaliei, é sempre assim" (Ava2); "No ano anterior, quando me enviaram trabalho para avaliar, o nome do autor não foi retirado" (Ava1).

Outro procedimento bastante comum dos editores é a comunicação com os autores para informar o aceite ou não de seu trabalho. Como todos os editores são também professores de cursos de pós-graduação, sabem da importância dessa comunicação para que os autores possam planejar melhor a divulgação de sua produção, uma vez que são avaliados pelo volume e qualidade do que publicam. Embora todos os editores digam informar aos autores o resultado da avaliação, 74% dos autores não recebem o parecer detalhado do resultado da avaliação, e 56% dos avaliadores desconhecem se o autor recebe seu parecer. Esses dados foram comprovados pelos entrevistados: "Eu só soube que o artigo foi aprovado. Só isso" (Aut1); "Recebi um e-mail dizendo que o artigo foi aceito e fiquei surpreso quando recebi o próximo número da revista e vi que já havia sido publicado" (Aut2); "Não sei se o autor recebeu minha avaliação, mas acho que não é comum nas revistas da área fazer isso" (Ava2); "Como não recebi artigo para avaliar no ano de 2004, não sei se o editor manda a avaliação para o autor" (Ava1); "Eu envio um e-mail dizendo que o artigo foi aprovado e que será publicado em tal número. O autor só quer saber isso mesmo" (Edi1); "Hoje em dia, eu comunico o autor que seu artigo foi aprovado, mas confesso que só agora eu percebo a importância disso. Antes, só dizia quando o autor me perguntava. Difícil mesmo é dizer por que não foi aprovado" (Edi2).

O número anual de originais recebidos pelos periódicos de Comunicação varia entre 15 e 70. Uma grande variação também existe no número de trabalhos aceitos, aceitos com reformulações e rejeitados. Segundo os editores, as taxas variam entre 30% a 80% para os trabalhos aceitos; entre 10% e 30% para os trabalhos que precisam de reformulação; e entre 5% a 50% para os trabalhos rejeitados. As variações são, portanto, grandes entre os vários periódicos e merecem um estudo mais aprofundado, mas 71% dos autores revelaram que seus artigos foram aceitos sem correções, o que confirma as taxas acima descritas. Os autores entrevistados disseram que não precisaram reformular nada em seus artigos.

A confiança dos editores nas avaliações dos originais parece ser bastante significativa. Tanto que são poucos os editores (quatro) que admitiram a existência de conflitos entre avaliadores e autores; mesmo assim, com rara freqüência, segundo eles. Da mesma forma, 69% dos avaliadores informaram não haver conflito entre eles e os editores ou os autores, e 31% se omitiram, o que pode ser interpretado como uma negativa de ocorrência. Quando existem conflitos, os editores assumem a solução, enviando o trabalho a outro parecerista para nova avaliação ou devolvendo o trabalho para ajustes, mas sempre intermediando o diálogo para proteger os avaliadores. Tanto os autores quanto os avaliadores entrevistados presencialmente informaram nunca terem tido conflito com os editores, nem com autores ou membros da coordenação da revista.

Na finalização do processo de avaliação, percebemos que os editores reservam para si e/ou para a comissão editorial a decisão final de quais trabalhos serão publicados. Os pareceres dos avaliadores subsidiam sua decisão, mas outros critérios podem ser acrescentados, como a vinculação do artigo com a temática do fascículo, a escolha por procedência (regional e/ou institucional) ou categorias dos autores (docentes, discentes com orientadores, discentes de doutorado, mestrado, profissionais, entre outros). Apenas um editor informou que todos os trabalhos aprovados são publicados, acrescentando que isso ocorre porque a revista não é monotemática, nem tem um número máximo de artigos em cada fascículo. Os autores e pareceristas que prestaram entrevista presencial dizem ignorar essa parte do processo.

A percepção dos autores sobre o processo de avaliação dos originais em relação a outras revistas em que já publicaram, em geral, foi positiva, pois eles assim se manifestaram: "adequado", "correto", "profissional", "sério", "efetivo", "preciso", "minucioso", "responsável", "mais transparente do que em outras", "melhores procedimentos", "mais bem organizado", "melhor feedback". No entanto, alguns autores assumiram uma posição mais neutra, informando: "não sei", "regular", "igual às outras", "semelhante", "acho difícil de responder", "suponho ser rígido, dado seu conceito", "tem pontos positivos e pontos negativos". Houve, ainda, opiniões mais críticas, como: "Os critérios poderiam ser mais rigorosos"; "Não há transparência e comunicação no processo"; "Há muita demora na avaliação e na comunicação com o autor". Na percepção dos avaliadores, também o processo é bem visto pela maioria: "Parece-me adequado e correto"; "Excelente"; "Considero o processo de avaliação adequado"; "É uma revista séria e respeitada na área"; "O processo de avaliação é equilibrado, pois os itens a serem avaliados permitem ao avaliador dar parecer científico e sensato"; "É extremamente cuidadoso. O formulário fornece uma plataforma sólida para o avaliador exercer sua função". Como cada um apresentou opinião sobre uma determinada revista, alguns avaliadores disseram achar o processo "muito informal"; ou: "Os critérios me parecem normais, usuais em todas as revistas científicas. No entanto, podem ser melhorados quanto ao rigor temático e o cumprimento das normas da ABNT". Mas o mais preocupante foi a expressão de três avaliadores, que disseram: "Minha avaliação restringe-se ao fato de não receber muitos originais";"Não posso emitir parecer, por não ter recebido solicitações para avaliação"; e "Como tem algum tempo que não recebo os originais, não posso emitir nenhuma opinião". Isso mostra a diferença de percepção e de condução do processo em diferentes revistas.

5 Conclusão

O estudo forneceu evidências de como é realizado o processo de avaliação dos originais pelos pares nas revistas brasileiras da área de Comunicação. A finalidade não foi apontar os procedimentos certos ou errados, nem nomear as revistas que agem desta ou daquela forma, mas verificar se estavam sendo seguidas as normas mais comuns adotadas pela Ciência. Nesse sentido, o objetivo foi alcançado. De qualquer forma, talvez seja a hora de alguns editores repensarem a maneira como as contribuições são avaliadas, especialmente aqueles que não quiseram expor os procedimentos de avaliação dos originais das revistas que editam.

Entre as verificações que o trabalho nos permitiu fazer, uma delas é a de que os procedimentos de avaliação estão fortemente vinculados à maneira como a produção da revista está organizada. Isso diz respeito a todas as etapas de avaliação, da pré-seleção dos trabalhos até a decisão das contribuições a serem publicadas em cada fascículo. A existência da fase de pré-seleção em todas as revistas é importante para que os avaliadores não tenham que se pronunciar sobre adequação temática ou pertinência de acordo com a política traçada para as revistas, ficando apenas com os critérios de consistência, correção e organização do texto.

A existência de uma comissão editorial formada por membros da própria instituição, como forma de organização da produção da revista, é importante porque a comissão divide as tarefas e as responsabilidades com o editor. Como todos os editores são professores e pesquisadores, assumir sozinhos a produção de um periódico toma-lhes muito tempo, com pouco retorno para sua vida acadêmica.

Essa comissão, quando existe, auxilia o editor na escolha dos avaliadores. A tarefa é facilitada quando a organização da revista prevê um conselho consultivo estável e diversificado, contando também com a indicação de pareceristas ad hoc. A existência de um conselho consultivo qualificado é motivo de orgulho do editor e também fator de qualidade para a revista. Além disso, em geral, esse conselho parece estar atuando adequadamente, produzindo pareceres em tempo hábil que subsidiam a decisão de quais trabalhos merecem ser publicados.

Como a coleta de dados foi feita principalmente mediante um formulário enviado por meio eletrônico aos editores, avaliadores e autores, e o retorno foi abaixo do esperado, consideramos difícil descrever de forma mais consistente a avaliação dos originais das revistas de Comunicação. Talvez pelo medo de expor sua opinião ou mesmo pela má formulação das questões, os atores se omitiram em relação a aspectos mais esclarecedores da avaliação dos originais. Nesse sentido, as seis entrevistas feitas na forma presencial foram mais esclarecedoras. Caso a pesquisa seja feita com outros títulos ou em outras áreas do conhecimento, fica a sugestão de quem passou pelo processo de coleta de dados e pôde avaliar os resultados a partir das duas opções.

Referências

ABELSON, P. Mechanisms for evaluating scientific information and the role of peer review. Journal of the American Society for Information Science, Washington, DC, v. 41, n. 3, p. 216-222, April 1990.

BEREZIN, A. A. Hampering the progress of science by peer review and by selecting funding system. Science Tribune,Dec. 1996. Disponível em: <http://www.tribunes.com/tribune/art96/bere/htm>. Acesso em: 12 Jun. 2002.

CAMPANARIO, Juan Miguel. El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, v.25, n.3, p. 267-285,2002. Disponível em: <http://bddoc.csic.es:8080/basisbwdocs-rdisoc/rev0001/2002-vol25-3/2002>. Acesso em 21 mar. 2006.

COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do julgamento pelos pares. Revista de Biblioteconomia de Brasília, Brasília, v. 20, n. 2, p. 227-236, jul./dez. 1996.

CRAWFORD, S.; STUCKI, L. Peer review and the changing research record. Journal of the American Society for Information Science, Washington, DC, v. 41, n. 3, p. 223-228, Apr. 1990.

DAVYT, A.; VELHO, L. A avaliação da ciência e a avaliação por pares: passado e presente. Como será o futuro? História, Ciência e Saúde,Rio de Janeiro, v.7, n.1, p.93-116, mar./jun. 2000.

GORDON, M. Running a refereeing system. Leicester: Primary Communication Center, University of Leicester, 1983. 56p.

HAMES, I. Peer review and manuscript management in scientific journals: guidelines for good practice. Malden: Blackwell, 2007. 293p.

HARNAD, S. The invisible hand of peer review. Exploit Interactive, n. 5, Apr. 2000. Disponível em: <http://exploit-lib.org/issue5/peer-review/>. Acesso em: 24 abr. 2003.

MADDEN, A. D. When did peer review become anonymous? Aslib Proceedings, London, v.52, n.8, p. 273-276, Sept. 2000.

MEADOWS, A. J. A Comunicação Científica. Brasília, DF: Briquet de Lemos/Livros, 1999. 268 p.

MESQUITA, R. M. A. Documentos eletrônicos on-line: análise das referências das teses e dissertações de Programas de Pós-Graduação em Comunicação do Rio Grande do Sul. 2006. Dissertação (Mestrado em Comunicação e Informação) - Programa de Pós-graduação em Comunicação e Informação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2006.

MUELLER, S. P. M. A seleção de artigos científicos para publicação em revistas brasileiras: um levantamento de práticas e procedimentos adotados pelas revistas científicas brasileiras financiadas pelo CNPq e FINEP 1995-1996. Revista de Biblioteconomia de Brasília, Brasília, v.21, n.2, p. 229-250, jul./dez. 1997.

O'CONNOR, M. Editing scientific books and journals. Tunbridge Wells: Pitman Medical, 1978. 218 p.

PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ciência da Informação, Brasília, v. 27, n. 2, p. 226-229, maio/ago.1998.

ROVNER, S. New journal offers open peer review. Chemical & Engineering News, v.84, n.8, p. 36, Feb. 2006.

ROWLAND, F. The peer-review process. Learning Publishing, v.15, n.4, p. 247-258, Oct. 2002.

STUMPF, I. R. C. (Org.). Catálogo de revistas acadêmicas em comunicação. Porto Alegre, PPGCOM/UFRGS, 2007. Disponível em: <http://www.ilea.ufrgs.br/ppgcom/nucleoinfo/revistas.htm>. Acesso em: 24 abr. 2003.

______. Avaliação de originais nas revistas científicas: uma trajetória em busca do acerto. In: FERREIRA, S. M. S.; TARGINO, M. G. (Orgs.). Preparação de revistas científicas. São Paulo: Reichmannn & Autores, 2005. p.103-121.

VANZ, S. A. S. A produção discente em comunicação: análise das citações das dissertações defendidas nos programas de pós-graduação do Rio Grande do Sul. 2004. 144 f. Dissertação (Mestrado) - Programa de Pós-graduação em Comunicação e Informação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2004.

VIA, B. J. Publishing in the journal literature of library and information science: a survey of manuscript review processes and acceptance. College and Research Libraries, Chicago, v. 57, n. 4, p. 365-376, Jul. 1996.

WILLIAMSON, A. What will happen to peer review? Learned Publishing, London, v.16, n.1, p. 15-20, Jan. 2003.

ZIMAN, J. Comunidade e Comunicação. In: _______. Conhecimento Público. Belo Horizonte: Itatiaia; São Paulo: Editora da Universidade de São Paulo, 1979. p. 115-138.

Recebido em 13.07.2007 Aceito em 06.03.2008

1

Versão preliminar apresentada no VII ENANCIB, Marília, nov. 2006.

Datas de Publicação

• Publicação nesta coleção
  05 Maio 2008
• Data do Fascículo
  Abr 2008

Histórico

• Aceito
  06 Mar 2008
• Recebido
  13 Jul 2007