O Processo de avaliação por pares e a Ciência Aberta: um nó górdio para os periódicos na área de História?

Peer Review Process and Open Science: A Gordian Knot for Journals in History?

O processo de avaliação dos textos recebidos é das funções mais vitais de qualquer periódico acadêmico que prime pela qualidade e pela isonomia. Nele, a tarefa das equipes editoriais está longe de ser fácil. Primeiramente, pela dificuldade cada vez mais evidente de encontrarmos pareceristas qualificados que aceitem fazê-los nos prazos que temos que cumprir em nossas Revistas. O fato de ser uma atividade que gera um baixíssimo impacto de reconhecimento, frente ao alto trabalho especializado envolvido, faz com que a realização de pareceres seja praticamente uma atividade científica com certo caráter voluntário, dificultando em muito a tarefa das/os editoras/es, em face do nem sempre visível (e possível, diante da sobrecarga de trabalho) engajamento da comunidade para a realização dos mesmos. O que está longe de ser um problema apenas de nossa área: um editorial recente da Dados, revista de Ciências Sociais, aponta, a partir de pesquisa quantitativa, que a questão é crônica, haja vista a quantidade de convites emitidos em função da falta de respostas e mesmo a demora na sua realização (Campos; Candido, 2022).

Para além disso há o trabalho de decisão, a partir dos pareceres, a respeito da aprovação ou da denegação de um texto, da forma do encaminhamento das solicitações de modificações e da sua verificação após a reformulação. Tomando em conta que a imensa maioria dos nossos periódicos adota o sistema double blind (ou duplo-cego, segundo o qual os/as autores/as desconhecem os/ as pareceristas e vice-versa), as equipes editoriais têm a responsabilidade de acompanhar o processo da forma mais isonômica possível. A conjugação entre a transparência do conteúdo dos pareceres e, ao mesmo tempo, a avaliação dos mesmos - que variam desde os que aprovam os textos de forma lacônica até os que os denegam por meio de críticas excessivamente pesadas, que não condizem com o proposto no artigo -, é um dos permanentes desafios das equipes editoriais, tendo em vista a sempre esperada posição final da revista. Muitas vezes, as soluções caminham no sentido da busca de uma terceira avaliação, no caso de pareceres muito discordantes, o que termina alargando o tempo de espera para publicação - e não agrada a ninguém, diga-se de passagem. Tudo demonstra como os pareceristas possuem um peso determinante na aprovação dos textos e como as questões colocadas acima são ainda mais sentidas na tarefa editorial.

Ainda que praticamente todos os periódicos da área de História sigam esse modus operandi e lidem com os impasses dele advindos, há um cenário bastante ativo de proposição de mudanças no horizonte, a partir das discussões que envolvem a Ciência Aberta e, precisamente, o processo de avaliação¹. Trata-se da defesa de um paradigma de abertura de pareceres, ou Revisão Aberta pelo Pares (RAP) - em inglês, Open Peer Review (OPR). Sob a genérica defesa de que uma maior transparência seja recomendável e até mesmo salutar para a produção de nossas Revistas, a possibilidade do fim da avaliação duplo-cega tem gerado uma grande polêmica no mundo editorial, por mais que nosso campo ainda não a tenha encarado de frente. Mais que defender ou atacar a abertura, as palavras que se seguem aspiram ser apenas um chamamento à reflexão; igualmente para que a mesma não esteja circunscrita apenas às equipes editoriais, já que as revistas acadêmicas são frutos coletivos que envolvem a publicização dos saberes de cada campo².

Hoje, qualquer periódico que almeja fazer sua indexação na Rede SciELO Brasil, um dos indexadores mais importantes no país, e que termina ditando políticas editoriais para os periódicos científicos, precisa incorporar alguma dimensão de Ciência Aberta. Isso implica uma ampliação da transparência no processo avaliativo, entre outros procedimentos. Assim, devem ser esclarecidos os critérios adotados para esse processo, mesmo com a manutenção da opção pelo sistema duplo-cego. No entanto, o documento produzido pelo indexador aponta um caminho consciente para que esse sistema não seja mais unânime e conviva com outros de tipo single-blind - em que ou os/as autores/as ou pareceristas saibam a identidade de um ou do outro -, ou mesmo com a abertura total das identidades de ambos (SciELO, 2022). Entre os exemplos para isso está o incentivo que a SciELO atribui hoje aos preprints (que terminam tornando conhecida a identidade dos autores), bem como a sugestão de práticas para que os autores e pareceristas possam optar/permitir que os pareceres feitos aos seus textos sejam igualmente publicados.

Vale dizer que a RBH, como as demais revistas do campo, já adotam práticas de Ciência Aberta quando disponibiliza seu conteúdo de forma irrestrita aos usuários, com uma política de acesso aberto e sem cobrança de qualquer taxa para publicar e para acessá-lo, ou seja, na modalidade acesso aberto diamante. Mas seus protocolos vão muito além dessa questão nas últimas décadas, e englobam a discussão da transparência (na avaliação e nos dados de pesquisa), bem como formas colaborativas de produção, sobretudo após a difusão da web 2.0. (Albagli; Maciel; Abdo, 2015). Os primeiros movimentos em prol dos arquivos abertos (Open Archives) surgiram no final do século XX, com a disponibilização da biblioteca de teses e dissertações online; posteriormente teve início a defesa do acesso aberto (Open Access) para os artigos e os preprints e também a divulgação dos dados da pesquisa (Open Data). As primeiras manifestações pela Ciência Aberta propriamente dita teriam surgido no início de 1990, nos Estados Unidos, e abrangem um conjunto de iniciativas que teriam como finalidade “tornar a ciência mais democrática e participativa, por meio da valorização de todos que estão envolvidos em fazer ciência, mesmo aqueles que são considerados leigos” (Shintaku et al., 2020, p. 163). Seus defensores, desde então, articulam suas práticas a uma visível melhoria na própria qualidade das pesquisas acadêmicas. A Unesco (2022) recomenda, enfaticamente, uma política que vise a criação de uma cultura de Ciência Aberta, que é definida como um “constructo inclusivo que combina vários movimentos e práticas que têm o objetivo de disponibilizar abertamente o conhecimento científico multilíngue, torná-lo acessível e reutilizável para todos”. Essas recomendações valem para todos os Estados membros, seja o setor público ou privado, e para “todas as disciplinas científicas e todos os aspectos das práticas acadêmicas”. Entre os argumentos em prol da abertura estão: a promoção do desenvolvimento sustentável, a igualdade de acesso à ciência para todos os seres humanos, as inovações e parcerias econômicas.

No que toca aos periódicos no Brasil, e em especial à nossa área de História, não há controvérsias sobre a universalidade do acesso, bem como de que as fontes e/ou dados devam ser, de alguma maneira, apresentados - por mais que a comunidade ainda careça de uma discussão sobre o que consideramos “dados” para a História e de como podemos disponibilizá-los. O principal gargalo no que concerne aos protocolos de Ciência Aberta parece estar realmente no processo de avaliação em que o duplo-cego reina quase absolutamente. Vale lembrar que tal procedimento editorial remonta ao século XVIII - quando a Royal Society de Londres assumiu a incumbência de avaliar os impressos, que precisavam passar pelo crivo estatal antes de serem publicados - mas apenas se difundiu pelo mundo com a ampliação das submissões e maiores especializações das áreas científicas, após a década de 1940, sob o argumento de uma maior isonomia nas avaliações (Patrus; Dantas; Shigaki, 2016).

No Brasil, ainda que sua prática se dissemine somente décadas depois, pouquíssimo se conhece da história da avaliação por pares, sobre quando e como os pareceres passaram a ser emitidos - inclusive em papel e enviados pelos correios, como era o caso da RBH. Em especial na nossa área, a falta de informações sistematizadas relativas a essa prática não nos permite dizer muito sobre a forma como se deu a introdução do duplo-cego, bem como realizar uma avaliação mais detida da cultura acadêmica na criação e na manutenção dos nossos periódicos. Será apenas no século XXI que a publicação de normas editoriais com a descrição dos processos de avaliação passou a ser feita, demanda que parece ter sido muito mais exógena às nossas Revistas, sem uma reflexão coletiva da própria área sobre o mesmo.

No que diz respeito à ideia de open review, há que se destacar que hoje existe uma multiplicidade de níveis de abertura que vêm sendo testados, sobretudo em periódicos que não se vinculam diretamente às Humanidades. Desde 1) a simples publicação dos nomes dos/as avaliadores/as por números/ volumes, 2) a revelação dos/as autores/as aos pareceristas, ou vice-versa, no método simples-cego, 3) a revelação mútua dos/as autores/as e avaliadores/as, e mesmo a permissão de uma comunicação direta entre ambos na plataforma do periódico, até 4) a publicação dos pareceres conjuntamente ao artigo, há uma larga diferença. Muitas vezes, as revistas têm optado por criar uma seção específica para a implementação de alguma forma de abertura, sem deixar de consultar as partes envolvidas no processo acerca de seu consentimento para a divulgação de seu nome. Um argumento para que ao menos algum nível de abertura seja adotado está no fato de que, diante de um universo pequeno de pesquisadores especializados e, sobretudo, com o acesso à internet, a garantia do anonimato já não pode ser, hoje, totalmente assegurada.

Para os defensores da Ciência Aberta, suas principais vantagens estariam não apenas em fornecer transparência ao processo, mas em conferir uma maior visibilidade para o fundamental trabalho dos pareceristas e pela sua potencialidade em incrementar o espaço de qualificados debates acadêmicos. O que traria à tona o fundamental papel da avaliação por pares para a existência dos mesmos periódicos, conforme já apontado acima, e a eliminação de uma visão estereotipada da mesma como uma “caixa preta”. Não precisamos lembrar a utilidade de uma leitura crítica de um artigo científico para quem o escreveu: uma boa avaliação de um manuscrito pode contribuir levantando questões, sugerindo bibliografias e fontes, bem como apontando caminhos que propiciam uma maior qualidade e otimização dos resultados da pesquisa. Quem nunca recebeu algo semelhante, ou mesmo não pensou em agradecer ao parecerista, mesmo sem saber sua identidade? E o contrário poderia ser dito por seus defensores: alguma forma de abertura de identidade serviria para evitar pareceres lacônicos, fazendo com que os pareceristas fossem mais cuidadosos na avaliação. Teoricamente, a abertura também poderia contar para aprendizados recíprocos, além de estimular o diálogo entre pesquisadores de diferentes áreas e espaços geográficos, ampliando o intercâmbio de ideias.

No entanto, pontos negativos também são evocados, os quais passam igualmente pela crítica à adoção cega de critérios sem uma maior reflexão coletiva. Afinal, caberia perguntar: o que as Humanidades, e nossa área em particular, poderia ganhar com esse movimento de abertura no processo de avaliação? Ainda mais considerando ser de conhecimento do público acadêmico que os próprios protocolos de Ciência Aberta para os periódicos partem de áreas das ciências duras, que funcionam com maior rapidez na divulgação e na contestação de seus resultados, e cujo espaço de debate está longe de ocorrer igualmente em livros.

Comecemos pelos óbices. Diante do gargalo no processo de avaliação descrito desde o início destas páginas, devemos pensar se essa maior abertura científica nas políticas editoriais contaria com a adesão da comunidade. Como argumenta Jaime Teixeira da Silva (2019, p. 198), não obstante certos aspectos produtivos da transparência, o ambiente acadêmico é bastante sensível à crítica, de modo que a abertura poderia levar os pareceristas a temerem eventuais represálias, prejuízos em sua carreira e nas relações interpessoais, devido à emissão de uma avaliação que desagrade os seus pares. É igualmente evocada a constatação acerca da inexistência entre os/as pesquisadores/as de uma cultura acadêmica onde a crítica seja bem aceita e cultivada, sem mencionar a falta de isonomia de avaliações na área das ciências humanas, que, muitas vezes, aceitam apenas interpretações que dialoguem com as suas próprias referências epistemológicas e ideológicas. Pierre Bourdieu já dissecou melhor do que ninguém como o campo científico está permeado por “questões de poder” (2004). Poder que também está, sem dúvida, presente nas instituições que, ao orientarem as normativas científicas que desembocam nas avaliações e políticas de financiamento, terminam por impor determinadas demandas derivadas de outras áreas; o que faz com que a nossa comunidade evoque uma necessidade de resistir a determinadas inovações, mesmo que de forma silenciosa, antes mesmo de qualquer avaliação sobre possíveis vantagens.

Mesmo assim, caberia igualmente perguntar: será que tanto os pesquisadores quanto os pareceristas, sobretudo aqueles com menor cabedal intelectual, ficariam intimidados em dar publicidade às suas reflexões? Será que pesquisadores que já possuem um discurso acadêmico mais autorizado não seriam mais beneficiados com a transparência do processo de revisão por pares? Em que medida os pesquisadores do campo estariam dispostos a experimentar estas novas práticas? Será possível que criemos um debate profícuo a partir daí?

Há uma outra ordem de questões vinculadas à prática editorial que merece ser igualmente mencionada. Grande parte dos periódicos no nosso campo dependem de um trabalho hercúleo e dispendioso das equipes envolvidas na sua produção. Já destacamos em editorial passado o quanto o problema da sustentabilidade das revistas passa também pelo custeio humano, para além do financeiro, em que se depende dos departamentos, programas de pós-graduações e associações, mas igualmente do engajamento dos colegas nos projetos editoriais de cada periódico para sua sobrevivência (Slemian; Sousa, 2021). Não há como negar que inovações como a do processo de abertura da avaliação tocam na economia interna de sua produção, à medida que seria ampliada a carga de envolvimento de editores, conselhos e igualmente pareceristas. Mesmo que sua introdução fosse paulatina, ou tímida, sua qualidade acadêmica dependeria da criação de uma logística de comunicação (o que envolve igualmente a manutenção das plataformas digitais em que muitas estão inseridas), da implicação dos conselhos editoriais ou executivos no seu processo, da concepção de novas seções, do acompanhamento e da promoção de um diálogo produtivo entre os pesquisadores. Engajamento equivalente seria esperado dos pareceristas, obviamente. Os periódicos que possuem maior estrutura, recursos e renome, além de assistentes que se dedicam exclusivamente a eles, em tese, teriam mais facilidade de se adaptarem à abertura total de pareceres. E a comunidade deveria avaliar o quanto isso poderia também contribuir para ampliar as desigualdades entre os periódicos, ao invés de integrá-los, sobretudo se seguirmos com uma prática predatória de avaliação em que não se levam em conta as especificidades de nossas muitas revistas.

Parece-nos importante salientar que nenhuma inovação dessa ordem pode ser feita qualitativamente sem a valorização e a publicização do trabalho de todas e todos os envolvidos na produção editorial. Atualmente, ser editor/a, atuar nos conselhos executivos e mesmo ser avaliador/a gera muito pouco impacto na carreira docente e discente, nas formas de avaliação da pós-graduação e das agências de fomento, possuindo um significado muito mais simbólico, pelo bom trabalho realizado junto aos pares. No que toca especialmente à avaliação, o reconhecimento do trabalho dos envolvidos é vital, inclusive para que o incentivo a qualquer forma de abertura seja possível. Trata-se de uma questão que afeta toda a comunidade, e não apenas as equipes editoriais, conforme já demonstramos.

Partindo-se da premissa de que seria fundamental que cada um de nossos periódicos pudesse ser instrumento de debate e de capilarização de maneira ampla, a reflexão a partir dos desafios da produção editorial tem um efeito sumamente positivo. Produzir um periódico acadêmico hoje envolve saberes especializados que vão além dos conhecidos por todos nós enquanto historiadores e historiadoras, professoras e professores, os quais implicam lidar com os instrumentos digitais, com o crescimento de formas colaborativas e com a necessidade de divulgação e transparência. Nesse sentido, repensar os projetos editoriais existentes parece ser um profícuo caminho a ser trilhado a partir das equipes editoriais. Tendo em vista que a reflexão sobre o processo de abertura da avaliação é atualmente um verdadeiro nó górdio da nossa tarefa, talvez ela possa servir para fomentar novas propostas editoriais, dentro da economia de cada um dos periódicos. Nós diríamos que ensaios de abertura de pareceres deveriam ser bem-vindos, e ações que contribuam para a formação de um espaço produtivo de crítica e divergência de opiniões ainda mais.

Assim, estamos na RBH atualmente: com essa edição de número 90, renovamos nossa política editorial, a qual sinaliza para uma abertura de pareceres, desde que as partes envolvidas no processo assim o desejem. Igualmente, inauguramos a seção RBH: Debates, que tem a intenção de publicar textos a partir de temas e questões candentes que interpelam atualmente a comunidade historiadora a se posicionar. “Quando as eleições e os votos desafiam a democracia?” é a pergunta que foi feita a três colegas que, após o debate realizado no dia 02 de dezembro de 2021 (e que pode ser acessado no canal do Youtube da ANPUH, cf. https://www.youtube.com/watch?v=7VWeqijV-qo), produziram suas reflexões, agora publicadas. A qualidade do conjunto indica a importância de espaços plurais de divergência de ideias, como essa nova seção oportuniza. Com isso, esperamos persistir num papel de resistência aos espaços monolíticos e amorfos das revistas acadêmicas. Este deve ser sempre o propósito para a implementação de mudanças editoriais, mesmo que não tenhamos soluções prontas a questões como as levantadas aqui.

REFERÊNCIAS

• ALBAGLI, Sarita; MACIEL, Maria Lucia; ABDO, Alexandre Hannud (Orgs.). Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO, 2015.
• BOURDIEU, Pierre. Coisas ditas. São Paulo: Brasiliense, 2004.
• CAMPOS, Luiz Augusto; CANDIDO, Marcia Rangel. Transparência em DADOS: submissões, pareceristas e diversidade no fluxo editorial dos últimos anos [Editorial]. Dados, Rio de Janeiro, v. 65, n. 1, pp. 1-28, 2022.
• CUETO, Marcos. Novas instruções aos autores e o futuro do artigo científico em ciências humanas [Carta do Editor]. História, Ciência, Saúde - Manguinhos, v. 28, n. 1, pp. 7-9, 2021.
• LIEBEL, Silvia. 35 anos de Varia História: a mente do editor e os desafios na gestão de periódicos científico [Editorial]. Varia Historia, v. 36, n. 72, pp. 591-595, 2020.
• OHARA, João Rodolfo Munhoz. Podemos discutir a avaliação aberta em uma disciplina conservadora? [Editorial]. História da Historiografia, Ouro Preto, v. 14, n. 35, pp. 11-17, jan.-abr. 2021.
• PATRUS, Roberto; DANTAS, Douglas Cabral; SHIGAKI, Helena Belintani. Pesquisar é preciso. Publicar não é preciso: história e controvérsias sobre a avaliação por pares. Avaliação: Revista da Avaliação da Educação Superior, v. 21, n. 3, pp. 799-820, nov. 2016.
• REVISTA BRASILEIRA DE HISTÓRIA: Quando as eleições e os votos desafiam a democracia?. Disponível em: Disponível em: https://www.facebook.com/watch/live/?ref=watch_ permalink&v=1080559112775101 Acesso em: 20 abr. 2022.
  » https://www.facebook.com/watch/live/?ref=watch_ permalink&v=1080559112775101
• SCIELO. Critérios, política e procedimentos para a admissão e a permanência de periódicos na Coleção SciELO Brasil. mai. 2020. Disponível em: Disponível em: https://www.scielo. org/pt/sobre-o-scielo/metodologias-e-tecnologias/criterios-scielo-brasil-criterios-politicas-e-procedimentos-para-a-admissao-e-a-permanencia-de-periodicos-cientificos-na-colecao-scielo-brasil/criterios-scielo-brasil/ Acesso em: 20 abr. 2022.
  » https://www.scielo. org/pt/sobre-o-scielo/metodologias-e-tecnologias/criterios-scielo-brasil-criterios-politicas-e-procedimentos-para-a-admissao-e-a-permanencia-de-periodicos-cientificos-na-colecao-scielo-brasil/criterios-scielo-brasil/
• SHINTAKU, Milton et al. Avaliação aberta pelos pares no âmbito da Ciência Aberta: revisão e reflexão. BIBLOS, v. 34, n. 1, pp. 161-175, 2020.
• SILVA, Jaime A. Teixeira da. Challenges to open peer review. Online Information Review, v. 43, n. 2, pp. 197-200, 2019.
• SLEMIAN, Andréa; SOUSA, Marcos Eduardo de. Criar e manter um periódico científico: discutindo a sustentabilidade das revistas acadêmicas no campo da História [Editorial]. Revista Brasileira de História, v. 41, n. 88, pp. 7-12, 2021.
• UNESCO. Recomendação da UNESCO sobre Ciência Aberta. 2022. Disponível em: Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000379949_por Acesso em: 11 fev. 2022.
  » https://unesdoc.unesco.org/ark:/48223/pf0000379949_por

• 1
  O documento da UNESCO (2022) pode ser interessante nesse sentido.
• 2
  Alguns editoriais recentes de Revistas de nosso campo apontam para o desafio do tema: Cueto (2021); Ohara (2021); Liebel (2022).

Datas de Publicação

• Publicação nesta coleção
  01 Ago 2022
• Data do Fascículo
  May-Aug 2022