PERCEPÇÕES DE EDITORES QUANTO À IMPLANTAÇÃO DA REVISÃO POR PARES ABERTA EM PERIÓDICOS CIENTÍFICOSRESUMO
Objetivo: O estudo tem como objetivo geral investigar os periódicos científicos indexados no DOAJ que fazem revisão por pares aberta, do ponto de vista da percepção dos seus editores. Como objetivos específicos foram delineados os seguintes: a) identificar os periódicos científicos indexados no DOAJ como adeptos da revisão por pares aberta; b) verificar o modelo de revisão por pares aberta utilizado por esses periódicos, e; c) descrever a percepção dos editores sobre suas experiências com a implementação desse método de avaliação.
Método: Tem como abordagem a quanti-qualitativa, sendo uma pesquisa documental e survey, concretizada pela aplicação de questionário junto aos editores de periódicos científicos indexados no DOAJ como revisão aberta. Os dados foram analisados por meio das técnicas de análise de conteúdo e de dados qualitativos.
Resultado: Sobre a caracterização do modelo adotado, as características identidades abertas e pareceres abertos são as mais utilizadas pelos respondentes. A maioria dos participantes adota a revisão aberta entre o intervalo de um mês a três anos, mas há respondentes que adotam por mais de uma década. Entre as justificativas para a adoção da revisão aberta foram mencionadas a contribuição que esta proporciona para a melhoria do trabalho, a promoção da transparência e da comunicação entre autores e avaliadores e o reconhecimento dos pareceristas. A maior parte dos respondentes não percebeu reações da comunidade acadêmica em razão de adotar a revisão aberta, mas percebeu alterações nos pareceres, no sentido de serem mais respeitosos, detalhados e menos agressivos.
Conclusões: Percebeu-se que a aplicação da revisão aberta é heterogênea, refletindo a diversidade do conceito e proporcionando flexibilidade na sua utilização para aumentar a transparência na avaliação. Conclui-se que os periódicos adotam a revisão aberta de forma variada: alguns há mais de uma década, outros recentemente, e alguns surgiram com esse modelo desde o início. A maioria adota a revisão aberta por acreditar que aumenta a transparência, qualidade e comprometimento nos pareceres. E, por fim, em contrapartida às preocupações discutidas na literatura, muitos não observaram as reações adversas da comunidade acadêmica ou nos pareceres.
PALAVRAS-CHAVE:
Revisão por pares aberta; Periódicos científicos; Directory of Open Access Journals; Editor de periódico
ABSTRACT
Objective: The study aims to investigate scientific journals indexed in DOAJ that perform open peer review, from the perspective of their editors. The following specific objectives were outlined: a) to identify scientific journals indexed in DOAJ that adopt open peer review; b) to verify the open peer review model used by these journals; and; c) to describe the editors' perception of their experiences with the implementation of this evaluation method.
Methods: This is a quantitative-qualitative approach, documentary and survey research, carried out by applying a questionnaire to the editors of scientific journals indexed in DOAJ as an open review. The data was analyzed using content analysis and qualitative data analysis techniques.
Results: Regarding the characterization of the model adopted, the characteristics open identities and open opinions are the most used by the respondents. The majority of participants adopt the open review between one month and three years, but there are respondents who adopt it for more than a decade. Among the justifications for adopting open review were the contribution it makes to improving work, the promotion of transparency and communication between authors and reviewers and the recognition of reviewers. Most of the respondents did not notice any reactions from the academic community as a result of adopting open review, but they did notice changes in the opinions, in the sense that they were more respectful, detailed and less aggressive.
Conclusions: It was noted that the application of open review is heterogeneous, reflecting the diversity of the concept and providing flexibility in its use to increase transparency in evaluation. It was concluded that journals adopt open review in a variety of ways: some for more than a decade, others recently, and some have been using this model since the beginning. The majority adopt open review because they believe it increases transparency, quality and commitment in reviews. And finally, in contrast to the concerns discussed in the literature, many have not observed adverse reactions from the academic community or in the reviews.
KEYWORDS:
Open peer review; Scientific journals; Directory of Open Access Journals; Journal editor
1 INTRODUÇÃO
A revisão por pares é considerada como um dos princípios basilares da comunicação da ciência, pois é o processo pelo qual as produções bibliográficas originadas a partir de investigações científicas são avaliadas, a fim de averiguar e atestar se atendem a critérios e pressupostos metodológicos que orientam o desenvolvimento da pesquisa científica. Apesar de ser amplamente adotada pelos periódicos científicos, não é um processo que acontece de forma absoluta e homogênea, uma vez que existem diferentes modalidades e variáveis adotadas de revisão por pares.
Pode-se inferir que o sistema de revisão por pares é um dos pilares da comunicação científica, e, por conseguinte, da ciência, e é por meio deste sistema que o conhecimento gerado por pesquisadores é validado e passa a compor conhecimento científico. Coimbra Júnior (2003) reitera que, apesar de três séculos desde os primórdios da concepção do sistema de revisão por pares, não se apresentou, até hoje, um modelo que se mostrasse mais satisfatório e que solucionasse as limitações, os dissensos e os pontos considerados frágeis discutidos acima. Porém, apesar do exposto, segundo o autor, parece ser indubitável que a comunidade científica não cogita abandonar o processo, mas buscar por estratégias e propostas que possibilitem o seu aperfeiçoamento e forneçam mais lisura e transparência ao processo de revisão por pares.
À medida em que este processo é estudado e aperfeiçoado, há influência direta no desenvolvimento da ciência, e é nesta perspectiva e em busca do constante aperfeiçoamento das práticas científicas, que a Scientific Electronic Library Online (SciELO) - uma biblioteca eletrônica que possui notória influência na comunicação científica nacional e internacional, fruto de uma parceria entre a Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp) e o Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde (Bireme) (Targino, 2007) - estabeleceu novos critérios para indexação de periódicos em sua coleção e incentiva as revistas para que estejam cada vez mais convergentes e alinhadas com os princípios da Ciência Aberta, abrangendo desde a adoção de práticas mais abertas e transparentes na revisão por pares, até a disponibilização dos dados e a reprodutibilidade das pesquisas, como afirmam Appel e Albagli (2019) e Packer et al. (2020).
Além da biblioteca SciELO, o Directory of Open Access Journals (DOAJ) é outra plataforma que está alinhada com as práticas da ciência aberta. O DOAJ indexa revistas de diversas áreas do conhecimento que estão disponíveis em acesso aberto e permite a busca de periódicos por meio de diferentes filtros, como avaliação por pares, incluindo a revisão por pares aberta, e licenciamento, abrangendo as licenças Creative Commons. Além disso, o DOAJ estimula a publicação em repositórios institucionais, apoia infraestruturas abertas e valoriza princípios como integridade, diversidade e equidade na comunicação científica.
Em vista disso, a pesquisa indagou quais as percepções dos editores de periódicos científicos indexados no DOAJ sobre a implantação da revisão por pares aberta. Para responder tal questionamento, o estudo teve como objetivo geral: investigar os periódicos científicos indexados no DOAJ que fazem revisão por pares aberta, do ponto de vista da percepção dos seus editores. Como objetivos específicos foram delineados os seguintes: a) identificar os periódicos científicos indexados no DOAJ como adeptos da revisão por pares aberta; b) verificar o modelo de revisão por pares aberta utilizado por esses periódicos, e; c) descrever a percepção dos editores sobre suas experiências com a implementação desse método de avaliação.
Dessa maneira, entende-se que é relevante apresentar para os periódicos brasileiros as possibilidades existentes para tornar o processo de revisão por pares alinhado ao movimento de Ciência Aberta, uma vez que, conforme Shintaku, Brito, Ferreira Júnior e Barraviera (2020), é importante discutir a revisão aberta, haja vista a escassez na literatura científica brasileira de estudos sobre esta temática, especialmente no que diz respeito à ausência de procedimentos metodológicos claros que orientem o processo de adoção da revisão aberta, conforme mencionado por Silva, Garcia e Targino (2021).
Este artigo está estruturado da seguinte maneira: a primeira seção, Introdução, explora os aspectos contextuais que motivaram a investigação, delineando os objetivos gerais e específicos, assim como a justificativa para sua realização. A segunda seção, Periódicos Científicos e Revisão por Pares Aberta, aborda o aporte teórico do estudo. A terceira seção, Metodologia, detalha a caracterização do estudo em termos de abordagem, tipos de pesquisa e técnicas de coleta e análise de dados. A quarta seção, Resultados, apresenta os principais achados da pesquisa survey. Por fim, a quinta seção, Considerações Finais, revisita os objetivos propostos, resume os resultados obtidos e discute as limitações identificadas, culminando nas conclusões da investigação.
2 PERIÓDICOS CIENTÍFICOS E A REVISÃO POR PARES ABERTA
Os periódicos científicos, também conhecidos como revistas científicas, se constituem como um dos principais canais formais de comunicação da ciência. São publicações que apresentam resultados de investigações conduzidas por pesquisadores e, por isso, possuem alta relevância para a comunidade científica, para a divulgação de pesquisas em andamento e concluídas e para a evolução do conhecimento. É em razão da revisão por pares, também conhecida como avaliação por pares, é o processo que visa garantir a confiabilidade e a veracidade das produções científicas, que o periódico científico garante sua credibilidade. A revisão por pares trata-se do processo em que especialistas de uma mesma área do conhecimento, também nomeados como pares, avaliam as produções científicas de outros pesquisadores quanto à sua originalidade, contribuição para a área, adequação, procedimentos metodológicos e outros critérios preestabelecidos.
Silva, Moreiro-González e Mueller (2016) acreditam que a tarefa de orientar os avaliadores sobre o que deve ser avaliado é responsabilidade do editor, de modo a otimizar a avaliação, evitar retrabalho e promover o alinhamento das revisões ao escopo editorial. Dessa forma, tais diretrizes podem ser enviadas diretamente para os avaliadores, ou estarem descritas na página do periódico, de modo a também deixar os autores da submissão cientes dos critérios que serão avaliados. Outrossim, os procedimentos relacionados ao processo avaliativo de cada periódico podem variar, desde o número de avaliadores por artigo, os critérios do formulário de avaliação, os prazos de avaliação e a forma como os pareceres são retornados para os autores (Werlang, 2013).
Há diferentes formas de classificar os processos de revisão por pares na literatura científica. É possível identificar o tipo de revisão por pares que acontece anteriormente a publicação, chamados de pré-publicação e processos de revisão que ocorrem após a publicação, denominados pós-publicação. Além disso, é possível categorizar entre modelos cegos, ou fechados, em que as identidades dos participantes dos processos são ocultas, e modelos abertos, ou transparentes, em que as identidades e outros aspectos intrínsecos à avaliação podem estar disponíveis para acesso.
Apesar da pluralidade de modelos existentes, os modelos pré-publicação cegos são largamente utilizados pela comunidade acadêmica. O modelo simples cego, também conhecido como blind peer review, é aquele em que durante o processo avaliativo o autor desconhece a identidade dos avaliadores do seu trabalho, mas os avaliadores conhecem a autoria do trabalho. O modelo duplo cego, também conhecido como double blind peer review, se baseia no desconhecimento mútuo das respectivas identidades de ambos os participantes, autores e revisores (Silva; Silveira; Mueller, 2015).
Já o modelo triplo cego, também conhecido como triple blind peer review, é aquele cujo as identificações dos envolvidos no processo, autores e revisores, só é conhecida pelo editor-chefe. Nassi-Calò (2015) afirma que esse modelo é incipiente nos periódicos brasileiros, e Silva (2016) assegura que sua presença se dá apenas no campo teórico, tendo em vista não ter identificado algum periódico sequer que utilizasse tal prática.
Porém, Brodie et al. (2021) afirmam que esse modelo de revisão já foi implementado por revistas acadêmicas, como Science Matters, BMJ Quality and Safety, British Journal for the Philosophy of Science, Philosophy and Phenomenological Research, mas que não foi realizada nenhuma avaliação formal de sua eficácia. Assim, os autores defendem que em razão do poder da revisão duplo-cega, torna-se provável que uma revisão tripla-cega proporcionaria um sistema de avaliação ainda mais justo para pesquisadores na comunidade acadêmica e científica.
Em decorrência disso, Pessanha (1998) acredita que o processo de revisão por pares tem se concentrado cada vez mais com os aspectos éticos, uma vez que casos de plágio, fraude e outras condutas antiéticas se repetem com frequência na comunidade científica, sendo o objeto de investigação de diversos estudos desenvolvidos com o intuito de minimizar a ocorrência dessas situações. Como mencionado anteriormente, uma das críticas a avaliação por pares diz respeito à possibilidade de ausência de ética no processo, que podem ser demonstradas por práticas antiéticas, que podem acontecer a partir dos diferentes atores que compõem o fluxo de comunicação científica, sejam autores, pareceristas, editores e até mesmo outros componentes da equipe editorial. Por essas razões, Shintaku, Brito, Ferreira Júnior e Barraviera (2020) reiteram que os periódicos têm cada vez mais a necessidade e a preocupação em prezar por fornecer mais transparência aos processos editoriais, a fim de promover um desenvolvimento científico mais equitativo, racional e equilibrado.
Ross-Hellauer (2017) entende a revisão aberta como um conceito abrangente e que comporta uma série de outros modelos, sobrepostos ou não, e que podem ser adaptados, a fim de alcançar os objetivos propostos pela Ciência Aberta. Para encontrar quais seriam esses modelos e práticas que caracterizam a avaliação aberta, Ford (2013) identificou em uma revisão de literatura oito características comuns entre os periódicos adeptos da revisão aberta. Tais características, apresentadas na figura 1 abaixo, foram divididas pela autora como relacionadas ao: processo de revisão - por trazer mais transparência e abertura ao processo propriamente dito; e ao tempo de publicação - diz respeito ao momento da publicação:
Nas características relacionadas ao processo há a revisão assinada, ou signed review, em que os pareceres recebidos pelos autores são assinados pelos avaliadores, e até publicados junto ao artigo. Na revisão divulgada, ou disclosed review, os autores e revisores conhecem suas respectivas identidades durante o processo de revisão, possibilitando a interação e a discussão entre as partes. A revisão mediada pelo editor, ou editor-mediated review, se refere a qualquer prática realizada pelo editor com o intuito de facilitar a revisão aberta, como por exemplo, a pré-seleção dos manuscritos submetidos, ou a decisão final para aceitação ou rejeição do manuscrito. A revisão transparente, ou transparent review, trata da abertura total do processo de avaliação, permitindo que a comunidade consiga acompanhar todo processo de revisão. Além disso, a identidade dos árbitros e autores são conhecidas por todos e os pareceres e as respostas dos autores aos comentários são públicos. A característica revisão coletiva, crowdsourced review, é considerada uma revisão pública em que qualquer membro da comunidade poderá colaborar para a revisão do manuscrito, sem limite de comentários ou revisões (Ford, 2013).
Já nas características relacionadas ao tempo de publicação, há a revisão pré-publicação, ou pre-publication review, onde ocorre antes da publicação oficial do manuscrito, comumente em espaços públicos, como os servidores de pré-impressão, a exemplo arXiv, bioRxiv, AgriRxiv, ChemRxiv, SSRN, SocArxiv, SciELO Preprints. A revisão síncrona, ou synchronous review, acontece simultaneamente à publicação do artigo. Ainda de acordo com Ford (2013) na literatura, esse tipo de avaliação é mencionado apenas no campo teórico, a exemplo de um modelo inovador interativo. A revisão pós-publicação, post-publication review, acontece após a publicação do artigo, a exemplo de comentários em uma postagem de blog.
Assim, cabe ressaltar também os próprios apontamentos de Ross-Hellauer (2017) ao corroborar a necessidade do desenvolvimento de novas pesquisas que atestem se há, de fato, algum incremento substancial na qualidade das avaliações ou o surgimento de novos vieses, como analisado por Thelwall et al. (2020).
Em uma pesquisa com editores de periódicos da área de Ciência da Informação (CI), Garcia e Targino (2017) buscaram avaliar a viabilidade da adoção da revisão aberta. Para isso, tiveram como objetivos específicos identificar e caracterizar o perfil dos editores, seu nível de conhecimento acerca da revisão aberta (conceito, características e modalidades), além de apontar as vantagens e as desvantagens percebidas pelos editores sobre o tema em questão.
Ao analisar a percepção de 15 editores, as autoras encontraram que a principal característica conhecida pelos respondentes sobre avaliação aberta trata da revisão mediada pelo editor, característica apresentada por Ford (2013) e que é parte intrínseca da revisão cega. Entre os respondentes, 67% afirmaram ter interesse em trabalhar com a revisão aberta e 60% acreditam que a adoção dessa modalidade de revisão pode contribuir para a qualidade dos periódicos científicos.
3 METODOLOGIA
Os alicerces teóricos da pesquisa foram elaborados a partir de revisão de literatura em bibliografias recuperadas nas principais bases de dados e bibliotecas científicas eletrônicas, como o Portal de Periódicos da Capes, dissertações e teses disponíveis na Biblioteca Digital de Teses e Dissertações, na coleção SciELO Brasil, Base de Dados em Ciência da Informação, Google Acadêmico, OasisBr e no SciELO em Perspectiva, com a busca por termos tais como: “comunicação científica”, “canais de comunicação”, “revisão por pares” e “revisão por pares aberta”.
Quanto aos procedimentos realizados, entende-se também essa pesquisa como documental, pois de acordo com Severino (2016), considerou como fontes documentos em um sentido amplo, sem restrições a documentos impressos, mas abrangendo também jornais, fotos, documentos legais ou conteúdos que não tiveram qualquer tipo de tratamento analítico, e constituem-se como recurso e matéria-prima para o pesquisador analisar e desenvolver sua pesquisa científica.
Diante disso, Pinto e Cavalcante (2015) reiteram que o foco dessa modalidade de pesquisa não se restringe ao livro e abrange outras tipologias de documentos. Segundo as autoras, o ciberespaço permitiu o surgimento de diferentes fontes que se mesclam, dificultando o processo de classificar de forma precisa o conceito de fontes detentoras de informação, de modo que, tudo é possível de ser compreendido como uma fonte de informação.
De grande relevância para a comunidade científica internacional, com periódicos de 134 países, em 80 idiomas, e com 10.393.441 artigos de ampla cobertura temática (DOAJ, 2024), o DOAJ é considerado uma das principais fontes de informação para a pesquisa em acesso aberto. O diretório indexa em sua base periódicos científicos disponíveis em acesso aberto e revisado por pares, e, a fim de garantir a qualidade das publicações indexadas, possui diferentes critérios básicos para inclusão, além de critérios adicionais para as diferentes modalidades de periódicos ex.: Periódicos de artes e humanidades, Periódicos de casos clínicos, Periódicos de conferências e Periódicos de dados (DOAJ, 2023a) e o DOAJ Seal, selo concedido às revistas que exercem as melhores práticas científicas de publicações em acesso aberto (DOAJ, 2023b).
No site do diretório está disponível uma planilha com os metadados de todas as revistas indexadas, de modo que é possível filtrá-las pelo tipo de revisão por pares adotado. O refinamento resultou em um total de 235 periódicos que utilizam a revisão aberta.
Após a visita aos sites das revistas, constatou-se que alguns periódicos da amostra foram descontinuados ou se fundiram com outros, de modo que ambos estavam no grupo amostral, a exemplo das revistas BMC Medical Genetics, que se fundiu com a Medical Genomics, a BMC International Health and Human Rights, a qual fundiu-se com a BMC Public Health, a Current Controlled Trials in Cardiovascular Medicine, que foi continuada pela revista Trials, o JRSM Short Reports, continuado pelo JSRM Open, e a BioéthiqueOnline, que se tornou Canadian Journal of Bioethics. Nessa situação, apenas as versões atuais dessas revistas são consideradas para amostra e análise, que resultaram em 230 periódicos.
A percepção dos editores dos periódicos foi coletada por meio de uma pesquisa survey. A pesquisa teve como instrumento para coleta de dados o questionário a fim de conhecer suas opiniões sobre o assunto estudado. Outrossim, foi realizado um pré-teste com um editor de periódico científico brasileiro, pois o preenchimento prévio do questionário permite que o pesquisador realize alterações e ajustes que se façam necessários para garantir o entendimento e a eficácia na aplicação do instrumento (Severino, 2016).
Após a realização das correções sugeridas, o primeiro contato com os editores ocorreu no dia 30 de março de 2023 via e-mail obtido nos sites dos periódicos. A mensagem introduziu o objetivo da pesquisa e convidou os editores a participar do estudo por meio de um questionário elaborado na plataforma Formulários Google e composto de 17 perguntas abertas e fechadas.
O instrumento tinha a finalidade de descobrir como aconteceu o processo de transição e abertura da modelo de avaliação, a reação da comunidade acadêmica à essa decisão, se conhecem a existência de diretrizes ou orientações de implementação, e em caso positivo, se elas contribuíram com o processo e, por fim, a percepção deles acerca da contribuição da mediação editorial para a implementação desse modelo de revisão por pares.
Havia revistas da editora BioMed Central que apenas possuíam o e-mail de contato geral da editora: info@biomedcentral.com, assim, quando enviado, junto ao texto padrão, incluiu-se um parágrafo que solicitava o encaminhamento do e-mail aos editores dos respectivos periódicos. Após o término dos envios, o formulário permaneceu aberto até 26 de abril, recebendo 34 respostas, o que representa uma taxa de retorno aproximada de 15%.
3.1 Métodos de análise de dados e amostra mapeada
Os dados obtidos por meio do questionário foram examinados à luz da análise de conteúdo de Bardin (2011), a partir das categorias a) Caracterização do modelo de revisão aberta adotado e b) Experiência utilizando a revisão aberta estabelecidas a partir de uma reflexão e da relação encontrada entre as perguntas dispostas no questionário e que visavam conhecer a percepção dos editores sobre os temas em questão. Por tratar de dados quanti-qualitativos, seguiu-se a correlação da análise de conteúdo de Bardin supracitada com os pressupostos da análise de dados qualitativos, proposta por Yin (2016) para explorá-los. O autor define um ciclo de procedimento de análise de dados qualitativos em cinco etapas: (1) compilar; (2) decompor; (3) recompor; (4) interpretar; (5) concluir. Cabe ressaltar que tais etapas não são estanques ou lineares, pelo contrário, possuem alta capacidade iterativa (Yin, 2016).
A etapa de compilação (primeira fase) é a reunião dos dados brutos em uma base de dados formal, exigindo uma organização meticulosa, conforme sugerido por Yin (2016). Os dados foram originalmente baixados de Formulários Google e condensados em uma planilha no formato nativo do Microsoft Excel (.xlsx), chamada "Dataset_Planilha de Respostas". Esta planilha foi então estruturada com cabeçalhos e outras identificações para facilitar a visualização dos dados, resultando em uma segunda planilha de tabulação denominada "Tabulação_Percepção_Planilha de Respostas". É relevante destacar que todos os dados coletados são gerenciados por um Plano de Gestão de Dados e estão acessíveis no repositório Zenodo.
A etapa de decomposição (segunda fase) envolve o processo de decompor os dados em elementos menores, podendo ser acompanhado de uma atribuição de novos rótulos ou códigos (Yin, 2016). Cada respondente foi codificado e representado por meio da letra R, seguida do numeral correspondente a ordem de preenchimento do questionário, exemplo: R5, R14, R21.
A recomposição (terceira fase) é o processo de identificar padrões emergentes. É a fase de utilização de “[...] temas substantivos (ou mesmo códigos ou aglomerações de dados) para reorganizar os fragmentos ou elementos em grupamentos e sequências diferentes das que poderiam estar presentes nas notas originais” (Yin, 2016, p. 167). Nesse sentido, a análise que é direcionada a partir de cada uma das 17 indagações inseridas no questionário, tem sua recomposição a partir dos demais elementos padrões percebidos nas respostas, dando origem a arranjos e combinações de respostas semelhantes, especialmente nas questões abertas ou discursivas. É durante essa fase que a análise de conteúdo de Bardin (2011) toma forma ao possibilitar o estabelecimento das categorias que balizaram a exploração dos dados obtidos.
A etapa de interpretação (quarta fase) é consolidada por meio do processamento dos dados recompostos e pela exposição visual, seja por meio de gráficos, quadros ou tabelas. Tais interpretações devem ser baseadas em uma percepção sistemática e integrada às demais indagações e a contextualização da pesquisa.
A etapa de conclusão (quinta fase) resulta nas inferências extraídas a partir das interpretações analíticas originadas na etapa anterior, finalizando as fases do ciclo, e por isso, não devendo apenas reafirmar o obtido na interpretação com outras palavras, uma vez que tal etapa deve perceber seus resultados de forma alinhada a todos os pressupostos teóricos e metodológicos do estudo (Yin, 2016).
O autor enfatiza que as fases e procedimentos de análise mencionados não seguem necessariamente uma ordem linear, pois uma etapa pode ser mais ou menos explorada dependendo da experiência prévia do pesquisador responsável pela estruturação teórica e prática da pesquisa, assim como pela condução da análise. A próxima seção apresenta a análise e discussão dos resultados advindos da pesquisa survey com os periódicos indexados no DOAJ e seus editores, ou membros da equipe editorial, com o intuito de compreender suas percepções sobre a adoção da avaliação aberta.
4 RESULTADOS
Devido ao caráter internacional da pesquisa, o questionário foi traduzido para o inglês, e todos os participantes preencheram o instrumento de coleta de dados nesse idioma. É importante destacar que a tradução e a citação das respostas a seguir foram transcritas para refletir com maior fidelidade as percepções dos respondentes. Ademais, apresentou-se primeiramente os aspectos relacionados à caracterização dos editores, como área de formação, tempo na função editorial e área de escopo dos periódicos aos quais estavam vinculados.
É relevante mencionar que, das 34 respostas obtidas, quatro participantes indicaram utilizar a revisão cega enquanto consideravam a adoção da revisão aberta. Embora tenham demonstrado interesse pelo modelo de revisão aberta, essas respostas foram excluídas da amostra, pois a avaliação aberta ainda não estava em prática.
A análise das áreas de formação dos respondentes revelou uma diversidade de campos do conhecimento, evidenciando uma abrangente cobertura temática. As formações incluíram áreas gerais, como Ciência da Informação, Ciência de Dados, Direito, Educação, Energia Nuclear, História e Psicologia, além de áreas mais específicas, como Ciência Gastronômica, Segurança Rodoviária, Estudos Bíblicos, Solo e Medicamentos, entre outras.
Ao analisar o tempo de atuação dos respondentes como editores da revista, observou-se uma ampla variação: alguns editores tinham apenas 17 meses de experiência, enquanto outros acumulavam 16 ou 23 anos na função. Essa diversidade de experiências foi significativa, pois os dados coletados refletiram as percepções de editores com diferentes níveis de vivência e áreas de atuação, garantindo uma amostra mais abrangente e representativa.
Além disso, é mister salientar que dois respondentes não eram editores do periódico que representavam. Um apresentou-se como administrador e o outro afirmou responder em nome do editor.
A partir deste momento, a análise focalizou a percepção dos editores em relação à caracterização e a experiência com a adoção da revisão aberta, utilizando as categorias de conteúdo predefinidas:
-
a) Caracterização do modelo de revisão aberta adotado;
-
b) Experiência utilizando a revisão aberta.
Na primeira categoria, a) Caracterização do modelo de revisão aberta adotado pela revista, buscou-se compreender quais foram as características da revisão aberta adotadas pelos periódicos.
Primeiramente, é importante destacar o ponto levantado pelo respondente R14, que sublinhou a importância de reconhecer a heterogeneidade na operação dos periódicos. Esses periódicos adotam diversos modelos, o que faz com que as funções e o papel do editor variem consideravelmente. Por essa razão, ao tratar e analisar os dados, optamos por nos referir aos participantes da pesquisa como "respondentes".
Ao investigar a utilização de modelos de revisão, verificou-se que a revisão aberta foi predominante na amostra. Especificamente, 24 periódicos, correspondendo a 80% da amostra, utilizam o modelo de revisão aberta, enquanto seis periódicos, ou 20%, adotam um modelo híbrido, combinando revisão cega e aberta. Para ilustrar alguns aspectos relacionados aos procedimentos de avaliação das revistas, apresentamos a seguir relatos obtidos.
Sobre o modelo de avaliação adotado, o respondente R1 destacou que a revisão aberta é a principal opção para sua revista, embora os pareceres dos artigos rejeitados não sejam divulgados. Por outro lado, R11 mencionou que sua revista atualmente utiliza apenas a avaliação aberta, mas está considerando experimentar um modelo de revisão "meio cega" no próximo número.
Na revista representada pelo R29, os pareceres são publicados junto com os artigos, e os avaliadores têm a opção de divulgar ou não sua identidade. O R31, por sua vez, descreveu que todos os comentários dos avaliadores e as respostas dos autores são públicos, e 90% das identidades dos avaliadores são visíveis, embora o anonimato ainda seja uma opção. Já o R34 relatou que a avaliação ocorre em um fórum aberto, no qual os avaliadores se conhecem, mas os autores permanecem anônimos.
A partir disso, compreendeu-se a heterogeneidade que há entre os modelos de revisão aberta, uma vez que existem dissensos acerca da implementação e da definição da avaliação aberta, como já explicitado nos estudos de Ford (2013), Ross-Hellauer (2017) e outros estudiosos da temática.
Ainda no sentido de caracterizar e entender a experiência com a revisão aberta, é relevante saber há quanto tempo o periódico adota tal modalidade de avaliação. Nesse sentido, apresentou-se os dados obtidos no quadro 1 abaixo:
De acordo com o apresentado, observou-se a seguinte distribuição: nove revistas adotam a revisão aberta por um período de um mês a três anos; sete revistas utilizam o modelo entre quatro a seis anos; nenhuma revista adota a revisão aberta no intervalo de sete a nove anos; duas revistas mantêm a prática por dez a doze anos; e três revistas utilizam o modelo há treze anos ou mais.
Nesse contexto, em relação ao menor tempo de adoção, cinco periódicos utilizam o modelo de revisão aberta há dois anos. No extremo oposto, três periódicos adotaram a revisão aberta por treze anos ou mais. Entre eles, o respondente R11, cujo periódico tem como escopo as Ciências Humanas, relatou utilizar o modelo desde 2007 (há 16 anos), o respondente R20, de um periódico que abrange a Oceanografia, afirmou que a revista adota a revisão aberta desde o início, há 25 anos, e o respondente R2, em que seu escopo é Multidisciplinar, mencionou que o modelo está em uso desde 1990 (há 33 anos).
É notório mencionar que dentre as 30 revistas da amostra, 20 adotaram a revisão aberta desde a sua criação, contudo, nove desses respondentes não especificaram a data de concepção do periódico, e por essa razão, os números apresentados no quadro não corresponderam à totalidade da amostra.
Além disso, indagou-se quais características da revisão aberta são praticadas, tendo como parâmetro as características: identidades abertas, pareceres abertos, interação aberta entre autor e avaliador e disponibilização em repositórios de preprints, apresentadas por Ross-Hellauer (2017). Além dessas características, foi possível que o respondente acrescentasse outras informações no campo ‘Outros’.
De acordo com o quadro 2, a característica preponderante é ‘identidades abertas’, adotada por 22 revistas e definida pela situação em que autores e avaliadores estão cientes da identidade um do outro. A característica pareceres abertos, definida como a publicação do relatório junto ao artigo, foi adotada por 21 revistas. A interação aberta, definida como a discussão entre autor/avaliador ou avaliador/avaliador esteve presente em 17 revistas e 10 revistas fizeram a disponibilização em repositórios de preprints (Ross-Hellauer, 2017).
Embora ‘identidades abertas’ tenha sido majoritária entre os periódicos analisados, o estudo de Ross-Hellauer, Deppe e Schmidt (2017), que obteve 3062 respostas, surpreendeu os pesquisadores ao apontar reações negativas dos participantes a respeito de tal característica. A pesquisa demonstrou que 50,8% dos respondentes acreditam que identidades reveladas podem desfavorecer e expor pesquisadores e cientistas em início de carreira a consequências de autores que se sintam ofendidos pelas críticas.
Para atenuar tal questão, Ross-Hellauer, Deppe e Schmidt (2017) sugerem que os periódicos permitam que avaliadores decidam se querem permanecer anônimos ou não e, nesse sentido, Bravo et al. (2019) concluem que o anonimato é condição fundamental, até mesmo para o funcionamento da revisão por pares aberta.
No que tange à ‘pareceres abertos’, Bravo et al. (2019) acreditam que a publicação dos relatórios pode ser considerada como a mais importante e menos problemática do espectro da revisão por pares aberta. Isso porque, além de não exigir aspectos tecnológicos complexos ou depender de recursos externos, os autores acreditam que a publicação dos relatórios é uma alternativa e uma iniciativa encontrada pelos editores e pelos periódicos para reconhecer e prestigiar o trabalho, o tempo e o esforço dos avaliadores e suas contribuições para as submissões. Além disso, Bravo et al. (2019) defendem que a publicação de um parecer bem elaborado é também percebida como uma espécie de modelo ou treinamento para jovens pesquisadores e futuros pareceristas, o que demonstra a relevância do relato frequente dos editores sobre a dificuldade de se encontrar pareceristas, independentemente do modelo de avaliação utilizado.
Sobre isso, R4 relatou que se o parecer for bem elaborado, o comitê editorial procura o avaliador e propõe que se transforme em um parecer crítico a ser publicado no número atual. Em relação à avaliação por pares adotada por sua revista, R25 afirmou que também permite a qualquer pessoa participar abertamente da revisão por pares de preprints, mesmo que não seja convidada pelo editor. Já R34 mencionou que, em seu modelo de avaliação, os avaliadores interagem uns com os outros no Discord, uma plataforma que permite a interação síncrona ou assíncrona entre seus usuários, bem como a realização de videochamadas e troca de mensagens de áudio e vídeo, o que facilita a rapidez na interação e no diálogo. Sobre a interação entre pareceristas, a pesquisa de Maia, Farias e Farias (2022, p. 9) apontou que, para os 29 dos 32 editores participantes, “o compartilhamento e a troca dos conhecimentos entre os avaliadores pode contribuir tanto para o aperfeiçoamento de seu desempenho enquanto revisor e de seus pareceres”. E3, editor participante dessa pesquisa aponta que:
E3: Compartilhar experiências; citar casos (no caso de avaliação cega não citar os nomes), porque isso colabora para a melhora de futuras avaliações dependendo a área de atuação do editor; buscar parcerias, focando na constituição de um banco de avaliadores especialistas para temáticas com grau de dificuldades de avaliação, etc.; construir redes sociais para trocas de ideias e experiências, por exemplo grupo de WhatsApp ou mesmo por e-mail (Maia; Farias; Farias; 2022, p. 10).
O editor respondente da pesquisa supracitada aponta para ações e iniciativas de compartilhamento e trocas entre avaliadores, que em sua percepção podem contribuir para o processo de avaliação por pares.
Já cientes da caracterização do modelo, o tempo de utilização e as características da revisão aberta que são praticadas pelo periódico, é relevante tentar compreender além disso, as vivências percalços dessas revistas com o modelo em questão.
Na categoria b) Experiência utilizando a revisão aberta buscou-se analisar qual a vivência dos respondentes e do periódico utilizando esse modelo de avaliação. Para isso, na primeira questão da categoria indagou-se o motivo pelo qual a revista decidiu adotar a revisão aberta. Optou-se por deixar o campo de resposta aberto, a fim de que os respondentes pudessem discorrer. Assim, as respostas foram tabuladas, categorizadas e estão apresentadas no quadro 3, com o código dos respondentes que mencionaram cada justificativa:
Os respondentes mencionaram diversas razões para adotar a revisão aberta, e por isso, alguns de seus comentários foram apresentados para ilustrar tais motivações. A justificativa mais citada foi por acreditarem que a avaliação aberta contribuiu para a melhoria do manuscrito submetido:
R2: Adotamos uma abordagem de desenvolvimento para ajudar os autores a melhorar seus artigos e acreditamos que a transparência da revisão aberta é a melhor maneira de gerenciar o processo editorial.
R12: Queremos promover uma abordagem formativa à produção de conhecimento científico, para promover a colaboração e a responsabilidade partilhada. O objetivo deste processo de revisão por pares é contribuir para a compreensão e esclarecimento do feedback dirigido ao(s) autor(es), para estimular a construção de um significado compartilhado sobre o projeto científico da contribuição (inclusive por meio de debates e controvérsias).
R13: Para que os autores possam obter feedback dos avaliadores diretamente, tornando o processo de revisão um esforço colaborativo para polir os manuscritos para publicação.
R33: Com base na decisão de um periódico ‘irmão’ feito cerca de 10 anos antes. Isso foi introduzido para encorajar sugestões mais positivas e construtivas para melhorias nos manuscritos.
A partir de suas experiências, os respondentes defenderam que a transparência proporcionada pela revisão aberta possibilitou o desenvolvimento de uma abordagem de feedbacks e de avaliações mais dialógicas, colaborativas e construtivas. A justificativa de promover o diálogo e a comunicação entre autor, editor e avaliadores foi mencionada por R32 ao afirmar que adotou a revisão aberta para possibilitar e incentivar a conversa direta entre autores, avaliadores e membros da comunidade:
R32: Porque acreditamos que é mais honesto, transparente e geralmente mais construtivo na abordagem e no conteúdo do que a revisão cega por pares (e muitas vezes falsa revisão cega, ou seja, é muito fácil identificar o revisor ou autor mesmo quando anonimizado). Também exige que todos assumam a responsabilidade pelo que escrevem, em vez de se esconder atrás de um véu.
A justificativa de valorizar, reconhecer e recompensar o trabalho dos avaliadores, um dos principais desafios encontrados pelos periódicos e pela comunidade científica, foi citada por três respondentes, em suas respostas mencionadas a seguir:
R1: Destacar o esforço dos revisores (eles são mencionados no artigo publicado) e elevar a qualidade dos pareceres (sabendo que seu nome pode ser divulgado, os revisores farão um trabalho melhor).
R4: Porque poderia fomentar melhores críticas e também seria uma forma de premiar os revisores.
R14: Maior transparência para ajudar a tornar o processo de revisão por pares mais responsável, criar oportunidades para treinamento de revisão por pares e permitir que os revisores reivindiquem reconhecimento específico e qualitativo por suas revisões.
Os respondentes acreditam que a menção da identidade dos avaliadores no artigo é uma forma de destacar, premiar ou reconhecer o esforço imbuído nessa atividade, além de estimular a elaboração de pareceres melhores. Essa ideia é confirmada por Ellwanger e Chies (2020, p. 203), pois esses reforçam que “vincular diretamente os nomes dos revisores a artigos com os quais contribuíram é uma interessante estratégia de reconhecimento. Essa já é uma prática comum em alguns periódicos, que acreditam que a reputação do revisor agrega valor ao artigo”.
Desenvolver e implementar iniciativas de reconhecimento dos avaliadores é fundamental já que o trabalho dos avaliadores científicos é, de modo geral, quase sempre feito em seu tempo livre, de forma voluntária e realizada por pessoas de renome, como pesquisadores com experiência na área em questão (Robaina Castellanos; Semper González, 2019).
Schmidt et al. (2018) acreditam que a revisão aberta pode contribuir para tal missão, tendo em vista ser possível tornar os pareceres visíveis, citáveis e facilmente reconhecidos. Essa iniciativa tem se tornado cada vez mais palpável, pois a Crossref, entidade responsável pela atribuição e gerenciamento do Digital Object Identifier (DOI) empenhou-se para ampliar sua infraestrutura e fornecer o identificador persistente para relatórios de avaliação (Hendricks; Lin, 2017).
Contudo, outras pesquisas constataram que a estratégia de vincular o nome dos avaliadores é pouco valorizada (Ellwanger; Chies, 2020) e, portanto, como cada campo científico possui particularidades próprias, conforme discutido ao longo deste estudo, é preciso conhecer e consultar a comunidade acadêmica e o corpo editorial quando se trata de instalar e oferecer mudanças que atendam às necessidades ou demandas específicas da revista.
Além disso, é importante reconhecer que embora a revisão aberta atue para atender algumas demandas da comunicação científica, não poderá solucionar todos os problemas e atender satisfatoriamente a todas as comunidades que produzem e disseminam o conhecimento científico (Schmidt et al., 2018).
A adoção da revisão aberta em razão de ser uma política do grupo editorial foi mencionada por três periódicos. A promoção de equidade e justiça foi mencionada por dois periódicos, de modo semelhante à justificativa de alinhamento aos princípios da Ciência Aberta. Além das razões elencadas, é relevante mencionar o apontado por outros respondentes:
R25: Fomos fundados especificamente com o objetivo de reformar a publicação acadêmica e, portanto, experimentamos uma ampla gama de novas abordagens. A revisão por pares aberta foi um desses recursos promissores que adotamos cedo e com o qual continuamos.
R26: Depois de desenvolver uma pesquisa de diferentes procedimentos de avaliação, o conselho editorial decidiu que a revisão aberta é a melhor forma de prevenir certas práticas nocivas na revisão e avaliação de artigos.
R27: Como a Dinamarca é um país tão pequeno, descobrimos que os revisores provavelmente conheciam o escritor e vice-versa. Portanto, decidimos que a revisão aberta seria a melhor maneira de garantir uma revisão justa e transparente.
Como mencionado, a maior parte dos periódicos já nasceu tendo a revisão aberta como seu principal modelo de avaliação. Tal qual explicitou o R25, a revista surgiu com o objetivo de testar abordagens alternativas aos modelos e procedimentos já consolidados e encontrou nessa modalidade de avaliação um recurso promissor que pretende continuar utilizando.
De modo semelhante, o R26 assegurou ter testado uma diversidade de procedimentos de avaliação, até que o conselho editorial decidisse manter a revisão aberta, supondo ser uma das possibilidades na experiência do conselho, a fim de evitar práticas nocivas na avaliação de manuscritos.
Já o R27 reiterou que, independentemente do modelo adotado, é provável que autores e avaliadores já se conhecessem e a revisão cega não surtiria efeito, portanto, optaram por aderir a revisão aberta e garantir que a avaliação fosse justa e transparente.
Ainda nessa perspectiva, questionou-se se houve algum tipo de reação da comunidade acadêmica em razão da adoção da revisão aberta pela revista. Os resultados obtidos foram apresentados no quadro 4:
Como apresentado, dois respondentes notaram maior número de recusas dos avaliadores para revisar artigos. Nenhum respondente apontou ter percebido menos submissão de manuscritos. A presença de elogios, comentários ou críticas foi mencionada por nove respondentes:
R28: Elogios, comentários ou críticas da comunidade, apenas positivos.
R32: Elogios, comentários ou críticas da comunidade. É difícil comparar, pois nunca tivemos um sistema diferente. Mas a aceitação e o feedback sobre o processo enxuto e aberto têm sido muito positivos (no sentido de que as revisões são construtivas, mas críticas e robustas) ao longo dos anos.
Cabe mencionar que 20 periódicos empregaram a revisão aberta desde sua concepção e, por essa razão, não são capazes de mensurar e apontar quaisquer tipos de reação decorrentes da implementação do modelo, mas apesar disso, como reitera o respondente R32, o feedback recebido pela comunidade foi positivo. Prosseguindo, 16 participantes afirmaram não ter percebido qualquer tipo de reação em razão da adoção da revisão aberta:
R23: [...] não notei nenhum tipo de reação, estamos operando há 5 anos e somos bastante nichados, então não tenho certeza se nossos baixos números de envios são devido a OPR ou não.
R29: Não notei nenhum tipo de reação, isso não foi relevante pois foi desde a concepção do jornal.
Destarte, os respondentes mencionaram outros aspectos relevantes e foram apresentados a seguir:
R14: Nenhuma reação significativa e um número mínimo de pessoas se recusando a revisar.
R25: A reação negativa ocasional dos revisores.
R33: Número muito pequeno de recusas do avaliador.
R34: É muito cedo para dizer. No geral, os autores parecem ter apreciado o sistema de revisão do fórum.
Uma das desvantagens comumente apontadas da avaliação aberta é a possibilidade de avaliadores se recusarem a aceitar revisar o manuscrito, em decorrência da divulgação de sua identidade, porém, como os participantes apontaram acima, na experiência de seus respectivos periódicos, tal reação existe, mas tem sido ocasional. Kowalczuk e Samarasinghe (2017) afirmam que evidências anedóticas sugerem ser mais difícil recrutar avaliadores para escrutinar um manuscrito nos moldes da revisão aberta, em comparação ao recrutamento de avaliadores para o modelo cego, e, por isso, decidiram realizar um estudo que determinasse se há diferença na ‘proporção de revisores que concordam em realizar a revisão por pares de manuscritos de periódicos que utilizam diferentes modelos de revisão por pares em diferentes áreas temáticas’.
Como resultado do estudo, as autoras constataram que uma parcela menor de pareceristas concordou em avaliar periódicos que operam sob modelos de revisão aberta e simples-cego, se comparados com periódicos que adotam a revisão duplo-cego (Kowalczuk; Samarasinghe, 2017). Dessa forma, demonstrou-se a necessidade dos periódicos com modelos de revisões abertas e simples-cego convidarem um número maior de avaliadores, contudo, as autoras reiteram que os periódicos analisados atuam sob seus respectivos modelos de avaliação há muitos anos, revelando que a diferença encontrada não demonstra ser prejudicial para o sucesso e manutenção da revista (Kowalczuk; Samarasinghe, 2017), pois como entendem Schmidt et al. (2018) essa dificuldade é superada pelas vantagens advindas da revisão aberta.
No caso da observação de reações da comunidade acadêmica em razão desse modelo visto na questão anterior, solicitou-se aos respondentes que descrevessem brevemente o tipo de reação indicada. Os participantes listados a seguir afirmaram que obtiveram, por parte da maioria, um retorno positivo para a adoção de mecanismos de avaliação aberta:
R2: Os autores relatam consistentemente sua satisfação com nosso processo de revisão aberta. Também adotamos uma postura positiva e solidária com nossos autores.
R3: Principalmente respostas positivas de avaliadores e autores. Há um diálogo criado em nível colegial, entre dois iguais - ao invés de uma estrutura hierárquica.
R12: Tanto os autores quanto os revisores parecem curiosos para experimentar o modelo de revisão aberta e colaborativa. Aqueles que experimentaram geralmente parecem apreciá-lo.
R25: Recebemos imensa resposta positiva para nosso processo de revisão por pares totalmente transparente. Ocasionalmente, os revisores ficam surpresos com isso e reagem negativamente. Isso é muito raro e talvez 2 revisores em várias centenas.
R31: Curiosamente, houve uma recepção positiva daqueles momentos em que um revisor solicita o anonimato, mas listamos suas áreas de especialização como um compromisso - especialmente para artigos interdisciplinares.
R33: No geral, a reação foi positiva tanto dos autores quanto dos revisores - e da equipe editorial.
De modo geral, segundo os relatos, a experiência dos periódicos, avaliadores e autores, nos casos analisados, foi positiva, e a reação negativa, quando ocorreu, foi em pequena escala. Foi perguntado aos respondentes se a adoção da revisão aberta influenciou ou alterou algum dos aspectos relacionados no quadro 5, no que diz respeito aos pareceres de avaliação:
Dois respondentes perceberam alterações no tempo de entrega e na extensão do parecer, quinze participantes mencionaram modificações na forma de elaboração, por exemplo: mais respeitoso, mais detalhado, menos agressivo e mais meticuloso e onze respondentes responderam que não perceberam alterações nesses aspectos.
Sobre essas mudanças, de modo semelhante às perguntas anteriores, quatro respondentes afirmaram não ter base de comparação, uma vez que a revista já foi concebida com o modelo aberto:
R1: Mais uma vez, não há comparação possível antes e depois, mas geralmente estamos muito satisfeitos com a qualidade das revisões, a política aberta de revisão por pares pode ter contribuído.
R20: A revista sempre foi baseada na revisão por pares aberta, junto com todas as revistas da EGU por mais de 20 anos, portanto, por definição, não houve "mudanças".
R21: Não podemos responder a essa pergunta, pois a revista foi criada com base na revisão aberta por pares. Então não temos nada para comparar,
O R1 afirmou que o periódico está satisfeito com a qualidade dos pareceres, embora não tenha base de comparação como os demais respondentes, e acredita que a revisão aberta contribuiu para isso. O R2, apresentado a seguir, mencionou que tais alterações propiciam um relacionamento positivo com os autores:
Valorizamos ajudar os autores a produzir artigos de qualidade. Nossas revisões são detalhadas, prescritivas e de suporte. A abertura contribui para criar um relacionamento positivo com os autores.
Conforme o exposto, a fala do respondente demonstrou que a transparência proposta pela abertura da avaliação cria um ambiente de confiança e gera um relacionamento positivo, não combativo ou competitivo entre autores e avaliadores, resultando na produção de artigos de qualidade.
No quesito de pareceres mais demorados que o normal, o estudo randomizado de Van Rooyen, Delamothe e Evans (2010) identificou que avisar aos pareceristas que seus relatórios poderiam ser publicados junto ao artigo fez com que os avaliadores do grupo de intervenção demorassem mais para finalizar sua avaliação em comparação com o grupo de controle.
Para os autores, esse era um efeito já esperado e corroborado pelos respondentes deste estudo, uma vez que R22 afirmou perceber um maior esforço por parte dos avaliadores na construção do parecer: “Definitivamente, vemos revisores esforçando-se mais para garantir que seus relatórios se adequem para apresentação ao público”. Essa seria a razão para avaliações mais demoradas.
Em contrapartida, o estudo conduzido por Bravo et al. (2019, p. 4), que publicava os relatórios de avaliação junto aos artigos durante um teste piloto com cinco periódicos da Elsevier, não notou mudanças significativas no tempo de conclusão do relatório, mas descobriu “[...] apenas que os árbitros com título de doutor tendem a demorar mais tempo para completar o seu relatório, mas as diferenças foram mínimas”. A respeito do quesito de elaboração de pareceres mais respeitosos, quatro respondentes apontaram:
R12: O tom dos avaliadores parece mais respeitoso e menos agressivo (mesmo que não seja o caso sempre). Mesmo com revisão por pares aberta, alguns relatórios carecem de detalhes e profundidade. Mas a maioria das revisões é meticulosa. Os revisores reconhecem que precisam de um pouco mais de tempo para concluir a revisão com este modelo do que com a tradicional revisão dupla cega por pares. No geral, as mudanças que os revisores descrevem são positivas. Uma afirmação recorrente é que a qualidade do texto melhora mais.
R33: Menos comentários indelicados ou críticos desnecessariamente e análises mais abrangentes.
R34: Ainda é um pouco cedo para avaliar com certeza. Nosso objetivo é fazer relatórios mais respeitosos e menos agressivos. A compilação de relatórios levou a um envolvimento mais respeitoso do trabalho dos autores. Geralmente também significa mais revisões. Ainda estamos trabalhando para que nossos revisores participem do novo sistema de revisão. Não é fácil mudar uma cultura muito acostumada com o double blind peer review, e sem interação entre revisores.
Na experiência de R12, em grande medida, a abordagem dos pareceristas é mais respeitosa, embora não seja via de regra. Além disso, embora a maioria das revisões sejam mais meticulosas, nem todas seguem tal padrão e esse modelo de avaliação costuma demandar mais tempo do que o modelo tradicional cego.
Isso leva a crer que nem sempre as vantagens da avaliação aberta serão percebidas de modo uniforme nos periódicos. Mas, apesar do exposto, a percepção geral é que há melhoria na qualidade dos manuscritos. Além disso, é relevante mencionar a visão de outros dois respondentes:
R23: a revisão por pares aberta definitivamente resultou em manuscritos sendo muito mais desenvolvidos no momento da publicação do que no momento da submissão. Tamanho e detalhamento, são ambos melhores.
R32: O tom é construtivo e a generosidade nas críticas está presente. O detalhe também é aprimorado, pois usamos o Google Docs e a função de comentários. Isso contribui para um feedback refinado e, às vezes, também incentiva autores e revisores a troca e o diálogo dentro do documento de revisão, levando todos mais a um modo de construção de comunidade do que a um modo competitivo/autoritário.
Na percepção do R23 a avaliação aberta resulta em manuscritos mais desenvolvidos e aprimorados no momento da publicação, em comparação ao momento da submissão, uma vez que tanto o tamanho como o detalhamento da avaliação melhoraram. De modo semelhante, R32 assegurou que a abordagem e as críticas foram mais construtivas e o uso de ferramentas adequadas propiciou e incentivou o diálogo e a construção da ciência de modo mais colaborativo e menos autoritário. R22 corrobora tais entendimentos ao afirmar: “[...] nunca vimos nenhuma desvantagem nos mais de onze anos em que o usamos em nossos dois periódicos [...] e só vimos aspectos positivos de feedback mais construtivo. Nessa perspectiva, mencionou-se os achados da pesquisa de Bravo et al. (2019, p. 1) em seu estudo, com a percepção de que:
[...] acadêmicos mais jovens e não acadêmicos estavam mais dispostos a aceitar a revisão e forneceram recomendações mais positivas e objetivas. Os árbitros do sexo masculino tenderam a escrever relatórios mais construtivos durante o piloto. Apenas 8,1% dos árbitros concordaram em revelar a sua identidade no relatório publicado.
O mencionado estudo mobilizou cinco periódicos da Elsevier, a fim de fazê-los publicar seus relatórios de avaliação. Apesar da pequena quantidade de participantes concordar em tornar a sua identidade pública, constatou-se que houve correlação entre a publicação dos pareceres e, por conseguinte, a publicação de pareceres com recomendações mais positivas e construtivas.
A partir do exposto, este tópico de discussão teve como objetivo explorar os periódicos indexados no Directory of Open Access Journals adeptos da revisão por pares aberta, explorando a discussão da percepção dos editores dos periódicos supracitados sobre suas experiências com a avaliação aberta, como: modelo e características adotadas, tempo de utilização, justificativas para adoção da revisão aberta, além de aspectos como reação da comunidade acadêmica e alterações percebidas nos processos e pareceres.
Ter acesso a essas informações é relevante, pois elas mostram os aspectos relacionados aos modelos de revisão aberta praticados tanto em nível nacional quanto internacional, além da percepção dos editores sobre a implementação desse modelo de avaliação. Esse conhecimento é essencial para que os membros da comunidade científica, em especial, a brasileira, compreendam as práticas de avaliação mais transparentes e estejam alinhados com as tendências e princípios da Ciência Aberta. Além disso, ajuda a atender às crescentes expectativas das agências e instituições de fomento e disseminação de pesquisas, que cada vez mais valorizam a adoção dessas práticas.
5 CONSIDERAÇÕES FINAIS
Ao longo das últimas décadas, diferentes modalidades de revisão por pares têm sido experienciadas e debatidas na literatura, desde modelos simples-cego, duplos-cego, triplos- cego, abertos, pré e pós-publicação, em busca de encontrar um modelo justo, eficiente e efetivo. Com o avanço das Tecnologias de Informação e Comunicação e, em especial, do acesso à internet, uma seara de movimentos em prol do acesso livre ao conhecimento científico estimulou a discussão acerca de implementar práticas mais abertas nas demais esferas que envolvem o ecossistema de produção científica, desde dados abertos, acesso aberto, métricas abertas, revisão aberta, entre outras.
Inicialmente, o intuito dessa pesquisa era investigar os periódicos científicos indexados no DOAJ que fazem revisão por pares aberta, do ponto de vista da percepção dos seus editores da área de Comunicação e Informação, contudo, compreendeu-se que a amostra deste estudo seria consideravelmente pequena, o que resultaria em uma parcela de baixa de representação estatística. Por essa razão, optou-se por ampliar o escopo para os periódicos que cobriam todas as áreas do conhecimento científico. Embora o estudo seja proposto a partir da ótica da Ciência da Informação (CI), discutiu-se e analisou-se os resultados ora apresentados sob as perspectivas das demais áreas do conhecimento, em razão da interdisciplinaridade que perpassa a CI e os outros campos de estudo e ensino, uma vez que refletiram as características e as percepções de diferentes editores e periódicos, nacionais e internacionais.
Nesse ínterim de mudanças paradigmáticas nos meios de produção e disseminação do conhecimento científico, esta investigação buscou compreender as características da revisão aberta que têm sido adotadas pelos periódicos científicos indexados no Directory of Open Access Journals e a experiência dos editores com a utilização dessas práticas.
Com o intuito de descrever o modelo de revisão aberta adotado, percebeu-se como a sua aplicação é heterogênea, isso pois, para entender a revisão por pares aberta foi essencial levar em consideração a pluralidade e a amplitude das diferentes características que envolvem o conceito, proporcionando a capacidade de gerar configurações distintas e maior flexibilidade no uso e combinação desses modelos que, de uma maneira geral, objetivam proporcionar maiores níveis de transparência ao processo de avaliação do conhecimento científico.
De forma igualmente heterogênea, há periódicos que adotam a revisão aberta há mais de uma década, há aqueles que decidiram adotar há poucos meses e há outros que já surgiram com o intuito de praticar a revisão aberta em seu campo científico. Ademais, percebeu-se que a maioria dos periódicos decidiu adotar a revisão aberta por acreditar que ela contribui para agregar maior transparência aos processos, mais qualidade e comprometimento na elaboração dos pareceres, e nesse sentido, os respondentes afirmam pretender continuar utilizando o modelo aberto, e que, na contramão do que é discutido na literatura, não perceberam reações adversas em razão da adoção desse modelo, seja nas atitudes da comunidade acadêmica ou nos pareceres.
Ao final de toda pesquisa, é possível identificar as limitações enfrentadas durante o desenvolvimento e explorar formas de dar continuidade ao estudo. Nesta investigação, uma das principais barreiras foi a dificuldade em estabelecer contato com o grupo investigado, incluindo editores e outros membros das equipes editoriais de periódicos científicos internacionais. Esses participantes frequentemente atuam de forma voluntária, dedicando parte do seu tempo à comunicação científica. Portanto, buscou-se manter o instrumento de coleta de dados o mais conciso possível para alcançar o maior número de representatividade de participantes.
Além disso, embora tenha sido tentado apresentar um contexto internacional, é importante reconhecer que o cenário brasileiro possui características próprias e específicas à sua comunidade científica. Dessa forma, é relevante continuar as investigações para compreender como os periódicos científicos brasileiros, sob as perspectivas editorial, de autores e de leitores, percebem a implementação da revisão por pares aberta. Uma ciência mais justa, transparente e diversa beneficiará não apenas seus membros e participantes, mas a sociedade civil como um todo.
REFERÊNCIAS
-
APPEL, A. L.; ALBAGLI, S. Acesso Aberto em questão: novas agendas e desafios. Informação & Sociedade: Estudos, Paraíba, v. 29, n. 4, p. 187-208, 2019. Disponível em: https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50113 Acesso em: 29 abr. 2022.
» https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50113 - BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011.
-
BRAVO, G. et al. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications, [S. l.], v. 10, n. 1, p. 1-8, 18 jan. 2019. Springer Science and Business Media LLC. Disponível em: https://www.nature.com/articles/s41467-018-08250-2 Acesso em: 20 set. 2023.
» https://www.nature.com/articles/s41467-018-08250-2 -
BRODIE, S. et al. Equity in science: advocating for a triple-blind review system. Trends In Ecology & Evolution, [S. l.], v. 36, n. 11, p. 957-959, nov. 2021. Elsevier BV. Disponível em: http://dx.doi.org/10.1016/j.tree.2021.07.011 Acesso em: 29 abr. 2022.
» http://dx.doi.org/10.1016/j.tree.2021.07.011 - COIMBRA JUNIOR, C. E. A. Desafios à avaliação da literatura científica: a revisão pelos pares. Caderno Saúde Pública, Rio de Janeiro, v. 5, n. 19, p. 1224-1225, 2003.
-
DOAJ. Guide to applying. 2023a. Disponível em: https://doaj.org/apply/guide/#basic-criteria-for-inclusion Acesso em: 07 ago. 2023.
» https://doaj.org/apply/guide/#basic-criteria-for-inclusion -
DOAJ. The DOAJ Seal. 2023b. Disponível em: https://doaj.org/apply/guide/#basic-criteria-for-inclusion Acesso em: 07 ago. 2023.
» https://doaj.org/apply/guide/#basic-criteria-for-inclusion -
DOAJ. Directory of Open Access Journals. 2024. Disponível em: https://doaj.org/. Acesso em 06 ago. 2024.
» https://doaj.org -
ELLWANGER, J. H.; CHIES, J. A. B. We need to talk about peer-review-Experienced reviewers are not endangered species, but they need motivation. J Clinical Epidemiology, [S. l.], v. 125, p. 201-205, set. 2020. Elsevier BV. Disponível em: http://dx.doi.org/10.1016/j.jclinepi.2020.02.001 Acesso em: 22 jul. 2023.
» http://dx.doi.org/10.1016/j.jclinepi.2020.02.001 -
FORD, E. Defining and Characterizing Open Peer Review: a review of the literature. Journal of Scholarly Publishing, Toronto, v. 44, n. 4, p. 311-326, jul. 2013. UTPress. Disponível em: http://dx.doi.org/10.3138/jsp.44-4-001 Acesso em: 11 abr. 2022.
» http://dx.doi.org/10.3138/jsp.44-4-001 -
GARCIA, J. C. R.; TARGINO, M. das G. Open peer review sob a ótica de editores das revistas brasileiras da ciência da informação. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 18., 2017, Marília. Anais [...]. Marília: Unesp, 2017. p. 1-21. Disponível em: https://brapci.inf.br/index.php/res/v/104007 Acesso em: 18 maio 2022.
» https://brapci.inf.br/index.php/res/v/104007 -
HENDRICKS, G.; LINS, J. Making peer reviews citable, discoverable, and creditable. 2017. Disponível em: https://www.crossref.org/blog/making-peer-reviews-citable-discoverable-and-creditable/. Acesso em: 23 abr. 2024.
» https://www.crossref.org/blog/making-peer-reviews-citable-discoverable-and-creditable -
KOWALCZUK, M.; SAMARASINGHE, M. Comparison of Acceptance of Peer Reviewer Invitations by Peer Review Model: Open, Single-blind, and Double-blind Peer Review. In: EIGHT INTERNATIONAL CONGRESS ON PEER REVIEW AND SCIENTIFIC PUBLICATION. Anais [...]. 2017. Disponível em: https://peerreviewcongress.org/abstract/comparison-of-acceptance-of-peer-reviewer-invitations-by-peer-review-model-open-single-blind-and-double-blind-peer-review/. Acesso em: 30 ago. 2023.
» https://peerreviewcongress.org/abstract/comparison-of-acceptance-of-peer-reviewer-invitations-by-peer-review-model-open-single-blind-and-double-blind-peer-review -
MAIA, F. C. de A.; FARIAS, G. B. de; FARIAS, M. G. G. Percepção sobre o compartilhamento de conhecimento entre avaliadores sob a ótica dos editores científicos. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, SP, v. 20, n. 00, p. e022003, 2022. DOI: 10.20396/rdbci.v20i00.8667456. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8667456 Acesso em: 9 ago. 2023.
» https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8667456 -
NASSI-CALÒ, L. Avaliação por pares: modalidades, prós e contras [online]. SciELO em Perspectiva, 2015. Disponível em: https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras Acesso em: 28 jun. 2022.
» https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras -
PACKER, A. L., et al. SciELO atualiza os critérios de indexação. Nova versão vigora a partir de maio de 2020 [online]. SciELO em Perspectiva, 2020. Disponível em: https://blog.scielo.org/blog/2020/05/13/scielo-atualiza-os-criterios-de-indexacao-nova-versao-vigora-a-partir-de-maio-de-2020/. Acesso em: 23 abr. 2024.
» https://blog.scielo.org/blog/2020/05/13/scielo-atualiza-os-criterios-de-indexacao-nova-versao-vigora-a-partir-de-maio-de-2020 -
PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., Brasília, DF, v. 27, n. 2, p. 226-229, 1998. Disponível em: https://www.scielo.br/j/ci/a/Ntch65p4YJf4rbckkGQ5fWz/abstract/?lang=pt Acesso em: 29 abr. 2022.
» https://www.scielo.br/j/ci/a/Ntch65p4YJf4rbckkGQ5fWz/abstract/?lang=pt - PINTO, V. B.; CAVALCANTE, L. E. Pesquisa bibliográfica e documental: o fazer científico em construção. In: BENTES PINTO, V.; VIDOTTI, S. A. B. G.; CAVALCANTE, L. E. Aplicabilidades metodológicas em Ciência da Informação. Fortaleza: UFC, 2015. p. 15-34.
-
ROBAINA CASTELLANOS, G. R.; SEMPER GONZALEZ, A. I. Ética de la revisión por pares en publicaciones científicas. Rev. Med. Electrón., Matanzas, v. 41, n. 6, p. 1533-1549, dez. 2019. Disponível em: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1684-18242019000601533&lng=es&nrm=iso Acesso em: 26 ago. 2023.
» http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1684-18242019000601533&lng=es&nrm=iso -
ROSS-HELLAUER, T. What is open peer review? A systematic review. [versão 2; revisão por pares: 4 aprovados]. F1000Research, v. 6, n. 588, 2017. Disponível em: https://doi.org/10.12688/f1000research.11369.2 Acesso em: 18 out. 2022.
» https://doi.org/10.12688/f1000research.11369.2 -
ROSS-HELLAUER, T.; DEPPE, A.; SCHMIDT, B. Survey on open peer review: attitudes and experience amongst editors, authors and reviewers. Plos One, [S. l.], v. 12, n. 12, p. 1-28, 13 dez. 2017. Public Library of Science (PLoS). Disponível em: https://doi.org/10.1371/journal.pone.0189311 Acesso em: 20 set. 2023.
» https://doi.org/10.1371/journal.pone.0189311 -
SCHMIDT, B. et al. Ten considerations for open peer review. F1000Research, [S. l], v. 7, 2018. Disponível em: https://f1000research.com/articles/7-969 Acesso em: 29 ago. 2023.
» https://f1000research.com/articles/7-969 -
SHINTAKU, M.; BRITO, R. F.; FERREIRA JÚNIOR., R. S.; BARRAVIERA, B. Avaliação aberta pelos pares no âmbito da ciência aberta: revisão e reflexão. BIBLOS - Revista do Instituto de Ciências Humanas e da Informação, Rio Grande, v. 34, n. 1, p. 161-175, 2020. Disponível em: http://dx.doi.org/10.14295/biblos.v34i1.11189 Acesso em: 15 jan. 2021.
» http://dx.doi.org/10.14295/biblos.v34i1.11189 - SEVERINO, A. J. Metodologia do trabalho científico. São Paulo: Cortez, 2016.
- SILVA, S. F. R. da. Revisão por pares e tecnologias eletrônicas: perspectivas paradigmáticas nos procedimentos da comunicação científica. 2016. 202 f. Tese (Doutorado) - Curso de Ciência da Informação, Instituto de Ciência da Informação, Universidade Federal da Bahia, Salvador, 2016.
-
SILVA, K. L. N.; GARCIA, J. C. R.; TARGINO, M. das G. Efetivação da open peer review frente aos editores do Portal de Periódicos da Universidade Federal da Paraíba. Revista Brasileira de Educação em Ciência da Informação, São Cristóvão, v. 8, 2021. Disponível em: https://portal.abecin.org.br/rebecin/article/view/281 Acesso em: 29 abr. 2022.
» https://portal.abecin.org.br/rebecin/article/view/281 -
SILVA, C. N. N. da; MOREIRO-GONZALEZ, J. A.; MUELLER, S. P. M. A revisão por pares a partir da percepção dos editores: um estudo comparativo em revistas brasileiras, espanholas e mexicanas. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, SP, v. 14, n. 1, p. 126-143, 2016. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8640579 Acesso em: 24 maio 2022.
» https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8640579 -
SILVA, C. N. N. da; SILVEIRA, M. A. A.; MUELLER, S. P. M. Sistema de revisão por pares na ciência: o caso de revistas científicas do Brasil, da Espanha e do México. Estudos em Comunicação, [S. l.], n. 21, p. 235-250, 2015. Disponível em: https://www.researchgate.net/profile/Suzana-Mueller/publication/289495909_Sistema_de_revisao_por_pares_na_ciencia_o_caso_de_revistas_cientificas_do_Brasil_da_Espanha_e_do_Mexico/links/56f5746808ae38d710a0d944/Sistema-de-revisao-por-pares-na-ciencia-o-caso-de-revistas-cientificas-do-Brasil-da-Espanha-e-do-Mexico.pdf Acesso em: 17 nov. 2022.
» https://www.researchgate.net/profile/Suzana-Mueller/publication/289495909_Sistema_de_revisao_por_pares_na_ciencia_o_caso_de_revistas_cientificas_do_Brasil_da_Espanha_e_do_Mexico/links/56f5746808ae38d710a0d944/Sistema-de-revisao-por-pares-na-ciencia-o-caso-de-revistas-cientificas-do-Brasil-da-Espanha-e-do-Mexico.pdf -
TARGINO, M. das G. O óbvio da informação científica: acesso e uso. Transinformação, Campinas, v. 19, n. 2, p. 97-105, ago. 2007. Disponível em: https://brapci.inf.br/index.php/res/v/115894 Acesso em: 11 maio 2022.
» https://brapci.inf.br/index.php/res/v/115894 -
THELWALL, M. et al. Does the use of open, non-anonymous peer review in scholarly publishing introduce bias? Evidence from the F1000Research post-publication open peer review publishing model. Journal of Information Science, [S. l.], v. 47, n. 6, p. 809-820, 5 jul. 2020. SAGE Publications. Disponível em: http://dx.doi.org/10.1177/0165551520938678 Acesso em: 27 jul. 2022.
» http://dx.doi.org/10.1177/0165551520938678 -
VAN ROOYEN S; DELAMOTHE T; EVANS S. J. W. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ, [S. l.], v. 341, n. 162, p. 1-16, 16 nov. 2010. BMJ. Disponível em: http://dx.doi.org/10.1136/bmj.c5729 Acesso em: 03 ago. 2022.
» http://dx.doi.org/10.1136/bmj.c5729 - WERLANG, E. Revisão por pares: um estudo da gestão de avaliadores nas revistas científicas brasileiras. Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Ciências da Educação, Programa de Pós-Graduação em Ciência da Informação, Florianópolis, 2013.
- YIN, R. K. Pesquisa qualitativa do início ao fim. Porto Alegre: Penso, 2016.
-
FINANCIAMENTO
Pesquisa financiada por meio de bolsa de formação acadêmica da Fundação Cearense de Apoio ao Desenvolvimento Científico e Tecnológico (Funcap).
-
CONSENTIMENTO DE USO DE IMAGEM
Não se aplica.
-
APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA
Não se aplica.
-
PUBLISHER
Universidade Federal de Santa Catarina. Programa de Pós-graduação em Ciência da Informação. Publicação no Portal de Periódicos UFSC. As ideias expressadas neste artigo são de responsabilidade de seus autores, não representando, necessariamente, a opinião dos editores ou da universidade.
Fonte: adaptado de