O PARECERISTA: PROTAGONISTA ANÔNIMO DA QUALIDADE

Em minha passagem pela editoria da Revista Direito GV, tive a oportunidade muito interessante de conhecer as engrenagens do sistema de dupla avaliação cega por pares. Entre os diversos desafios de um editor, um dos principais é zelar pela qualidade e pela rapidez do funcionamento desse sistema em relação aos textos submetidos à revista. Por um lado, temos o interesse de que a comunidade científica tenha acesso o mais rapidamente possível aos artigos que registram avanços na investigação do campo a que se dedica o periódico; por outro, é preciso que a decisão de publicação reflita uma avaliação imparcial que conclua pela qualidade do texto em variados sentidos. O que percebi é que promover esses dois nobres objetivos simultaneamente é um grande desafio na comunidade jurídica brasileira.

O processo de dupla avaliação cega por pares é o mecanismo determinado pelas regras da área do Direito na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), órgão regulador dos programas de pós-graduação no Brasil, para a avaliação de artigos pelos periódicos científicos no país.¹ Isso não significa que a Capes obriga os periódicos a adotar esse mecanismo. Contudo, significa que, se não adotam esse mecanismo, os periódicos são mal avaliados pela Capes, segundo os critérios Qualis.

Esse sistema de avaliação de artigos para periódicos acadêmicos não é o único modelo disponível ou praticado no universo científico. Existem outros modelos.² Cada um deles tem seus méritos e suas dificuldades. Para o bom funcionamento de cada um deles, é preciso compreender a sua lógica interna e os pontos nos quais podem apresentar fragilidades. Sendo o sistema de dupla avaliação cega por pares ubíquo entre periódicos científicos da área do Direito no Brasil, é importante analisar como ele funciona.

A ideia do sistema de avaliação é que a comunidade científica com a qual o trabalho dialoga se encarregue de ler o material submetido e de se engajar livremente com ele. A comunidade científica é aquela que irá, ao longo do processo de avaliação, julgar se o trabalho tem potencial para publicação, decidir se ele deve ou não ser aperfeiçoado como condição de publicação e, ao fim e ao cabo, decidir se o trabalho deve ou não ser publicado. Por isso se diz que a avaliação é feita por pares: são os próprios partícipes da comunidade científica que exercem o controle de qualidade dos textos encaminhados para publicação. Em outras palavras, os membros da comunidade científica são ora autores, ora pareceristas de artigos.

A avaliação é duplamente cega porque se garante, dessa maneira, que os pareceristas não conhecem a identidade do autor do trabalho enquanto realizam a avaliação do texto, assim como o autor do trabalho não saberá a identidade dos pareceristas que avaliaram o seu texto.

É claro que, para que haja anonimato entre autor e pareceristas, é preciso que exista alguém na gestão do processo. Essa função é exercida pelo editor do periódico e por sua equipe. São eles que irão garantir a anonimização dos artigos submetidos e dos pareceres. Uma vez verificado que o texto não revela a identidade do autor, o editor encaminha o artigo para pareceristas a fim de que eles o leiam e retornem um parecer. O parecerista poderá sugerir a rejeição do artigo, sua aprovação, ou poderá, ainda, indicar que o artigo seja modificado como condição para a publicação. Em posse dos pareceres, e a depender do conteúdo deles, o editor pode decidir por prosseguir com o processo de avaliação do trabalho, retornando aos autores com sugestões de modificação, determinar a publicação sem modificação do artigo, ou até mesmo rejeitar o texto. Ainda que a decisão do editor seja discricionária, ou seja, não esteja vinculada ao que dizem os pareceres, a ideia é que o editor possa se basear largamente no conteúdo dos pareceres para tomar a sua decisão e justificá-la ao autor do texto. Sempre que toma uma decisão, o editor costuma enviá-la ao autor acompanhada do conteúdo dos pareceres que o auxiliaram no processo.

Nesse ponto da reflexão, penso ser importante notar que, mesmo que o editor siga todos os passos descritos no parágrafo anterior, mesmo que cumpra todos os procedimentos impostos pelas regras da dupla avaliação cega por pares, ele não poderá garantir a qualidade da interlocução entre pareceristas e artigos/autores. Não há nada nas regras da dupla avaliação cega por pares, em si, que possa constranger os pareceristas a um engajamento bem feito e bem justificado em relação aos trabalhos avaliados. As regras garantem anonimato, o que, a princípio, permite um engajamento mais livre e menos enviesado dos pareceristas com os textos. No entanto, o parecerista precisa escolher exercer essa liberdade de engajamento. O sistema pressupõe o interesse coletivo da comunidade científica em estabelecer e manter uma interlocução robusta e produtiva no âmbito dos processos de avaliação de artigos para periódicos científicos. O sistema pressupõe que a comunidade valoriza essa interlocução e compreende a sua importância para o desenvolvimento do campo.

Em minha passagem na editoria da Revista Direito GV, o pressuposto, no entanto, nem sempre se verificou como fato. A falta de engajamento de qualidade do parecerista com os textos submetidos à sua avaliação impacta negativamente o processo de aperfeiçoamento e de seleção dos artigos para publicação e, em última instância, a qualidade substantiva dos textos publicados. Isso, porque a justificação do posicionamento do parecerista tem ao menos duas finalidades importantes. Em primeiro lugar, esclarece para o editor as razões dos méritos e deméritos que o parecerista identifica no trabalho. Como já mencionado, apesar de não ser vinculado aos pareceres, o editor conta com a contribuição da comunidade do campo de estudo para tomar posições as mais bem fundamentadas possível. Editores de revista normalmente têm experiência acadêmica. No entanto, não é razoável esperar que o editor e sua equipe tenham experiência em todos os campos de pesquisa contemplados pelo escopo do periódico sob sua gestão, principalmente no caso de periódicos generalistas. Assim, os editores tomam decisões melhores quando conseguem ter acesso às razões pelas quais leitores experientes encontram problemas e virtudes nos textos submetidos à publicação, assim como podem dar retorno mais bem fundamentado aos autores que procuram o periódico para a publicação dos resultados de suas pesquisas. Em segundo lugar, um parecer bem fundamentado indica para o autor como um leitor experiente no campo identifica forças e fragilidades no texto e na pesquisa a ele subjacente. O processo de avaliação de artigos consiste em uma oportunidade muito importante de livre interlocução entre pesquisadores. Os autores podem se beneficiar de uma leitura atenta de seus trabalhos por leitores qualificados e podem, com isso, aperfeiçoá-los de maneira relevante. É um espaço privilegiado de aprendizado.

Apresento, a seguir, algumas reflexões pessoais acerca de problemas que, a meu ver, podem contribuir para as dificuldades em garantir a qualidade da interlocução no processo de avaliação de artigos em periódicos científicos da área do Direito no Brasil.

Incentivos escassos

Em diversas ocasiões, atuando como editora-adjunta da Revista Direito GV, eu e a equipe editorial nos deparamos com a dificuldade de identificar pareceristas que fossem experientes no campo de problemas e metodologias estruturantes do trabalho submetido e que estivessem disponíveis para a elaboração dos pareceres. Muitas vezes, era necessário realizar mais de três convites até que dois pareceristas aceitassem realizar o trabalho. Essa dificuldade atrasa a avaliação dos artigos. Para não comprometer a qualidade do processo de avaliação, muitas vezes tivemos que sacrificar a rapidez na disponibilização dos artigos aos leitores.

Em outras muitas situações, ainda que o parecerista tenha aceitado realizar a avaliação, o parecer retorna “vazio”. Um parecer vazio significa uma avaliação pouco ou nada fundamentada. Em geral, formulários de avaliação estão divididos em duas partes: perguntas objetivas e um ou mais campos abertos para uma explanação qualitativa. Em pareceres vazios, os pareceristas normalmente respondem aos quesitos objetivos da avaliação. Por exemplo, escolhem entre as opções de que o artigo trouxe ou não trouxe contribuições originais (poderá haver ou não opções intermediárias, a depender do formulário de avaliação). Sinalizam também, em outro exemplo, que o resumo corresponde ou não corresponde ao conteúdo do artigo. Por fim, optam entre a rejeição, a aprovação ou a sugestão de modificação do artigo. No entanto, o parecer vem quase totalmente desprovido de justificativa para as opções selecionadas no campo objetivo dele. Em alguns casos, o parecer chega a ser enviado sem que o parecerista redija uma única linha de explicação do seu posicionamento. Nesses casos, o atraso do processo de avaliação do artigo é ainda maior, porque, se o editor quiser manter a qualidade do processo de avaliação por pares, ele terá que convidar um novo parecerista para que uma avaliação efetiva tenha lugar.

Essas dificuldades se refletem em um conjunto de dados interessantes relativos ao fluxo de avaliação da Revista Direito GV. Entre 1º de setembro de 2019 e 14 de fevereiro de 2020, período que corresponde, grosso modo, ao tempo em que estive envolvida nas atividades da revista, 68,89% dos artigos em relação aos quais foram enviados convites para pareceres foram objeto de convites extras em função de alguma (ou mais de uma) das seguintes razões: (i) falta de resposta por parte de parecerista quanto ao convite enviado; (ii) rejeição ao convite por parte do parecerista; ou (iii) falta de entrega de parecer depois de o convite ter sido aceito. É importante ressaltar que não foram computados os artigos que receberam convites extras por força da insuficiência dos pareceres emitidos para a fundamentação de tomada de decisão por parte da editoria.

Os números relativos ao período em que estive envolvida nas atividades da editoria não constituem evento isolado, mas, antes, refletem um padrão daquilo que acontece já há algum tempo. O Gráfico 1, a seguir, mostra as porcentagens dos artigos que foram objeto de convites extras por alguma das razões descritas para os anos de 2016,³ 2017, 2018 e 2019, e para os primeiros meses de 2020.⁴ Tendo em vista os últimos quatro anos, 2017 apresentou a menor porcentagem de artigos que receberam convites extras, no patamar de 64,9%, enquanto 2018 apresentou a maior das porcentagens, no patamar de 71,1%. Os três primeiros meses de 2020 mostraram aumento significativo dessa porcentagem, que ultrapassou 86%, sem que seja ainda possível definir se esse aumento se traduzirá em uma tendência para o ano de 2020.

GRÁFICO 1
Percentual de manuscritos com convites excedentes por ano (março de 2016 a março de 2020)

Esses dados não se prestam a uma denúncia pura e simples da nossa atitude de acadêmicos quando vestidos com o chapéu de pareceristas de periódicos. A vida acadêmica no Brasil pode ser bastante demandante. O acadêmico brasileiro normalmente está dividido entre preparação e consecução das aulas (e tudo que a condução de um curso envolve), atividades de pesquisa e, muitas vezes, também de gestão nas instituições em que atua. Somam-se a isso a organização e a participação em eventos, a orientação de alunos de iniciação científica, mestrado e doutorado, a participação em bancas de avaliação de trabalhos de graduação e pós-graduação, e a participação em bancas de concursos.

Em suma, o profissional da academia trabalha bastante. E, embora esse não seja um setor profissional que opera com metas propriamente ditas, à maneira de setores comerciais, é possível dizer que o profissional da academia tem, sim, uma direção objetiva a perseguir. Os programas de pós-graduação são avaliados com periodicidade, e parte importante dessa avaliação é baseada na quantificação da produção dos docentes. Essa avaliação tem repercussão relevante na manutenção ou não de boas condições de trabalho para a instituição e os profissionais que nela atuam.

Um dos fatores que os acadêmicos precisam levar em conta na reflexão de priorização das suas atividades, que são muitas, é a realização daquelas que irão reverter positivamente à avaliação da instituição em que trabalham. Nessa reflexão, a elaboração de pareceres para periódicos científicos terá um peso menor, porque, segundo as regras da Capes, a emissão de pareceres não é computada na produção dos profissionais. É verdade que a plataforma Lattes tem um campo para a inclusão da atividade de parecerista para periódicos, mas, por ora, esse trabalho não é pontuado na avaliação da área do Direito pela Capes.

Uma das possibilidades para aumentar o incentivo à elaboração de bons pareceres seria justamente a valorização dessa atividade pela Capes na avaliação dos programas de pós-graduação. A pontuação dos pareceres em si criaria um incentivo para que mais acadêmicos aceitassem os convites à elaboração deles e os enviasse às equipes editoriais dos periódicos. É verdade que, a curto prazo, essa regra de pontuação de pareceres não solucionaria por si mesma o problema da elaboração de bons pareceres. Isso, porque a regra contabilizaria a quantidade de pareceres emitidos, mas não incorreria em controle de sua qualidade. A médio ou longo prazo, no entanto, a regra poderia auxiliar também nesse ponto por meio de um mecanismo reputacional: um editor comprometido com a qualidade da avaliação, ao receber um parecer mal elaborado, evitará pedir um novo parecer para o mesmo parecerista. Isso, para o parecerista, em um cenário de valorização da elaboração de pareceres, seria prejudicial pela diminuição de convites por parte dos editores.

A valorização dos pareceres pela métrica de avaliação da Capes não é a única lógica de incentivo a nortear o trabalho de acadêmicos. O reconhecimento pelos pares é também importante. Acontece que, no caso da emissão de pareceres no sistema de dupla avaliação cega por pares, o anonimato prejudica a criação de mecanismos de reconhecimento e prestígio. A autoria de pareceres específicos não pode ser publicada, sob a pena de comprometer o caráter anônimo do processo. Uma possível solução seria a criação de listas periódicas dos melhores pareceristas pelos editores das revistas. O fato de que um pesquisador emitiu um parecer para determinado periódico já é correntemente publicável, tal como é feito no campo do Currículo Lattes para a inserção dessa informação. Uma lista com os melhores pareceristas do ano em nada ampliaria o nível de publicidade hoje já existente em relação à participação de acadêmicos na emissão de pareceres para periódicos específicos - e poderia ser um mecanismo interessante de valorização do esforço de interlocução de qualidade no processo de avaliação dos artigos nos periódicos jurídicos no Brasil.

Cultura de avaliação

Os problemas observados não se restringem à pouca disponibilidade de pareceristas ou ao tempo e à atenção exíguos dedicados por alguns pareceristas aos pareceres. Em alguns casos, mesmo pareceres constituídos por longos comentários deixam de cumprir com o objetivo de um bom parecer.

Às vezes o avaliador se dedica a fazer críticas muito pontuais a palavras específicas utilizadas pelos autores. Outras vezes, ele observa com cuidado erros gramaticais ou ortográficos. Há casos de críticas longas ao autor por deixar de citar uma obra. Essas podem ser contribuições úteis, mas não dizem respeito ao que é central no artigo. Editor e autor esperam que o parecerista dê um retorno acerca dos aspectos estruturais de um trabalho acadêmico.

Pesquisadores, em geral, têm familiaridade com os critérios que definem um bom trabalho acadêmico. Como já tratado em outro editorial (BARBIERI e PASQUA, 2018), o trabalho deve se construir em torno de uma ou mais perguntas claramente formuladas. As perguntas precisam ser relevantes para o campo de estudo no qual se inserem. A metodologia de pesquisa e/ou argumentação adotada no trabalho deve ser pertinente para enfrentar a pergunta ou as perguntas norteadoras dele. O estudo deve trazer alguma contribuição original ao campo, ou seja, precisa mostrar relevância tendo em vista o estado do debate e das investigações na área. Se essas são características centrais de um bom trabalho acadêmico, um bom parecer deverá apresentar uma avaliação, precisamente, sobre essas questões. Desse modo, um bom parecer necessita endereçar os seguintes pontos:

Fazer um juízo sobre a qualidade da pergunta ou das perguntas enfrentadas no trabalho. A pergunta está clara? A pergunta é original e relevante para o campo de estudo no qual se insere o trabalho?

Fazer um juízo sobre a adequação da metodologia de pesquisa e de argumentação para enfrentar a pergunta norteadora do trabalho. Os passos de investigação e de reflexão são adequados para solucionar os problemas colocados pela pergunta?

Fazer um juízo sobre a estrutura do trabalho. As partes do trabalho estabelecem relação adequada entre si? A argumentação entre as partes do trabalho se desenvolve de maneira lógica? A argumentação conduzida no trabalho justifica suas conclusões?

Esses não são os únicos pontos importantes. É preciso também, por exemplo, avaliar se a bibliografia utilizada é suficiente e relevante. O texto deve estar bem escrito. No entanto, as contribuições substantivas do trabalho e a qualidade de sua estrutura são o que, de modo mais fundamental, definem a pertinência dele para o debate no campo ao qual visa contribuir. O parecer deve se pronunciar de maneira justificada sobre o que é mais relevante.

Um parecer vazio que avalia negativamente o artigo é pouco útil tanto para o editor quanto para o autor. Quando recebe um parecer vazio, o editor tem pouco subsídio para decidir se o caso é de rejeição pura e simples do artigo, ou se o parecerista identifica potencial no texto. Com um parecer vazio em mãos, o editor tem poucas possibilidades de promover uma interlocução produtiva entre parecerista e autor. Já o autor perde a oportunidade de receber um retorno substantivo sobre o seu trabalho. Esse retorno é importante tanto nos casos em que o editor decide a rejeição direta do artigo quanto naqueles em que decide prosseguir com a avaliação.

Um parecer substantivo é crucial mesmo se o parecerista faz uma avaliação positiva do trabalho. Muitas vezes, o parecerista entende que, quando julga que o trabalho tem boa qualidade e não necessita de muitas modificações, o parecer precisa apenas dizer que o artigo é bom e deve ser aprovado. Para o editor, no entanto, esse posicionamento é insuficiente, até porque o outro avaliador pode ter posição diferente. A justificativa do posicionamento do parecerista permite ao editor fazer uma relação entre a força que o parecerista enxerga no artigo e o perfil do periódico, assim como oferece ao editor elementos para comparar a posição do parecerista com aquela de outro avaliador. Para o autor, um parecer positivo e justificado do texto também é útil: auxilia-o a compreender em que e por que está acertando, na perspectiva de um leitor qualificado. Em síntese, pareceres justificados, apontando um juízo favorável ou desfavorável do artigo, são úteis a editores e autores. Mais do que isso, são centrais para o aperfeiçoamento daquilo que a comunidade acadêmica entende como qualidade e para a promoção dessa qualidade nas pesquisas da área.

Conclusão

O trabalho do parecerista no sistema de dupla avaliação cega por pares é praticamente invisível. No entanto, constituiu uma das oportunidades centrais de livre interlocução entre os membros da comunidade acadêmica. Apesar de o anonimato do parecerista ser importante para a preservação da lógica da dupla avaliação cega por pares, estratégias como valorização dos pareceres pelas regras da Capes de avaliação da produção acadêmica e enaltecimento daqueles que contribuem com bons pareceres para os periódicos podem criar incentivos à elaboração de bons pareceres.

Pareceres bem feitos que visam trocas genuínas acerca da qualidade dos elementos centrais do trabalho fazem muito pela reflexão em torno do próprio sentido da qualidade na área e pela promoção dessa qualidade. Essa troca fortalece a consistência dos trabalhos e eleva de maneira geral a qualidade das produções. Quase todo acadêmico é, em algum momento, chamado a ser também parecerista. Além das contribuições devidamente reconhecidas que oferece como autor, o acadêmico deve saber o tanto que também faz pela qualidade da reflexão em sua área quando serve de modo anônimo do outro lado do balcão.

• 1
  O Relatório da Avaliação Quadrienal 2017 (CAPES, 2017, p. 12-13), que avaliou os programas de pós-graduação em Direito no quadriênio compreendido entre 2013-2016, indica a adoção da dupla avaliação cega por pares como requisito mínimo para a classificação de um periódico no sistema Qualis.
• 2
  Ross-Hellauer (2017) realizou estudo de investigação das diversas acepções de avaliação aberta por pares (open peer review). O estudou defende que avaliação aberta por pares é uma noção guarda-chuva que designa diferentes inovações quanto a um ou mais elementos característicos da avaliação cega por pares, inovações essas alinhadas com o movimento mais amplo da ciência aberta (open science). Ross-Hellauer identificou 22 modelos designados pela noção de avaliação aberta por pares, constituídos por combinações distintas de uma ou mais das seguintes características: (i) abertura da identidade dos pareceristas para os autores combinada com a abertura da identidade dos autores para os pareceristas; (ii) publicação dos informes de revisão junto com os artigos, de modo que os informes também possam ser citados e referenciados; (iii) possibilidade de a comunidade em geral contribuir para o processo de revisão; (iv) permissão e fomento de discussão direta entre pareceristas e/ou entre pareceristas e autores; (v) disponibilização pública dos manuscritos imediatamente à sua submissão para avaliação; (vi) abertura da versão final dos artigos para comentários públicos; e (vii) avaliação oferecida por entidade distinta daquela da publicação.
• 3
  Os dados de 2016 correspondem a convites para parecer enviados entre março e dezembro do referido ano. Isso, porque, em março de 2016, houve troca do sistema de gestão de avaliação dos artigos na Revista Direito GV. Os dados de janeiro e fevereiro de 2016 não foram computados.
• 4
  Os dados para 2020 correspondem a convites para parecer enviados entre janeiro e março deste ano.

REFERÊNCIAS

• BARBIERI, Catarina Helena Cortada; PASQUA, Juliana Silva. O que buscamos em um artigo científico? Revista Direito GV, v. 14, n. 3, São Paulo, p. 810-813, set./dez. 2018. Disponível em: https://www.scielo.br/scielo.php?pid=S1808-24322018000300810&script=sci_arttext Acesso em: 11 maio 2020.
  » https://www.scielo.br/scielo.php?pid=S1808-24322018000300810&script=sci_arttext
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Relatório da Avaliação Quadrienal 2017 Direito, 2017. Disponível em: https://capes.gov.br/images/documentos/Relatorios_quadrienal_2017/20122017-Direito_relatorio-de-avaliacao-quadrienal-2017_final.pdf Acesso em: 11 maio 2020.
  » https://capes.gov.br/images/documentos/Relatorios_quadrienal_2017/20122017-Direito_relatorio-de-avaliacao-quadrienal-2017_final.pdf
• ROSS-HELLAUER, Tony. What is open peer review? A systematic review.F1000Research, v. 6, p. 588, 2017. Disponível em: https://doi.org/10.12688/f1000research.11369.1 Acesso em: 11 maio 2020.
  » https://doi.org/10.12688/f1000research.11369.1

Datas de Publicação

• Publicação nesta coleção
  11 Set 2020
• Data do Fascículo
  2020