SE PUBLICAR É PRECISO, AVALIAR TAMBÉM É!

PREÂMBULO

O tema “revisão de artigos” é relevante e faz parte do cotidiano de todo pesquisador. Entretanto, a minha experiência como editor e revisor em periódicos brasileiros e internacionais torna evidente que o comprometimento dos pesquisadores na função de revisores, em geral, é muito menor do que quando estão na posição de autores. O prestígio de publicar em um top journal não é o mesmo de ser um revisor de destaque no mesmo periódico. Tal assimetria é contraditória, uma vez que a revisão por pares é o principal sistema de aferição da qualidade da produção científica e é tão importante quanto a submissão de artigos para a sobrevivência de um periódico. A qualidade dos revisores e das revisões precisa ser de nível igual ou maior do que a dos artigos publicados para garantir a credibilidade do sistema.

Eu busco apresentar uma reflexão sobre os desafios na revisão de artigos científicos em Administração no Brasil, assim como contribuir com algumas ideias para melhorar a formação de revisores. Eu lanço mão de dois aspectos que entendo serem relevantes para levar a cabo o objetivo proposto. O primeiro é discutir a postura do revisor durante a revisão de artigos. O segundo é buscar refletir sobre quais são as competências técnicas necessárias para a condução de uma boa revisão. Além desses dois pontos, eu ainda apresento, no final, uma reflexão de como os atuais critérios de avaliação dos cursos de mestrado e doutorado, assim como das concessões de auxílio de pesquisa no Brasil, têm prejudicado a formação de revisores e desestimulado o trabalho de revisão.

BREVE CONTEXTO BRASILEIRO

A área de Administração no Brasil vem, nos últimos anos, buscando ampliar a sua internacionalização, assim como o impacto da sua produção científica. Em um processo “mimético tropicalizado” (ou seja, uma cópia com contornos brasileiros), tem como referência de excelência as práticas científicas dos países do Norte, especialmente os Estados Unidos e o Reino Unido (Faria, 2011). A principal prática de mensuração científica adotada naqueles países é a quantidade de publicação de artigos nos periódicos considerados de alto impacto. Publicar artigos em periódicos de referência assumiu o protagonismo na definição do que é qualidade na produção de conhecimento.

Tal situação fez com que crescesse significativamente o número de periódicos no Brasil e de pesquisadores brasileiros buscando publicar artigos. A consequência do aumento de periódicos e submissões é a ampliação da demanda por pessoas aptas a revisar toda essa produção científica. O processo de revisão de artigos busca garantir a qualidade do conteúdo publicado por meio de processos editoriais rigorosos (Chrisman, Sharma, & Chua, 2017). Porém, quando há carência de revisores por indisponibilidade em avaliar, ou mesmo pela falta de conhecimento de como conduzir uma boa revisão, o processo editorial fica comprometido no tempo de retorno aos autores e na qualidade do conteúdo publicado.

O processo de revisão de artigos científicos é algo complexo, que envolve um conjunto de elementos comportamentais e técnicos. No contexto brasileiro, o comportamento e a técnica de avaliação precisam ser debatidos e incorporados nos currículos dos programas de pós-graduação em Administração com a mesma atenção dada atualmente à produção de artigos científicos. A ânsia por “publicar” está tornando os cursos de mestrado e doutorado laboratórios de produção de artigos, em vez de formar mestres e doutores. Com isso, até o objetivo-fim de uma disciplina de pós-graduação tornou-se uma busca por textos de trabalho final que possam tornar-se um “artiguinho” (Bispo & Costa, 2016).

ASPECTOS COMPORTAMENTAIS DA REVISÃO DE ARTIGOS

É muito comum pensar a revisão de artigos científicos apenas a partir de uma perspectiva técnica de como realizar esse tipo de trabalho (Shigaki & Patrus, 2016). Contudo, está no comportamento do revisor a base para que se possa realizar revisões de alto nível. Entre os principais aspectos que envolvem um comportamento adequado para a revisão, estão a) a consciência da importância do processo avaliativo e b) a postura desenvolvimentista de quem avalia em relação aos autores do texto avaliado. Apesar de parecer algo óbvio, e aparentemente banal, é muito comum pesquisadores não perceberem que a relevância de escrever e publicar artigos é a mesma de estar disponível para revisar artigos em proporção equivalente à em que eles são produzidos.

A consciência de que a disponibilidade para escrever um artigo tem que ser a mesma para avaliar os escritos por outros colegas é fundamental para que seja estabelecido um equilíbrio no sistema de revisão. É importante lembrar que, para cada artigo submetido, são demandadas, pelo menos, outras duas pessoas (sem contar os editores) para revisá-lo. Portanto, é essencial que cada autor, ao submeter um artigo, esteja disponível para avaliar, no mínimo, dois manuscritos de outros colegas. A indisponibilidade em revisar os artigos na proporção necessária leva a uma sobrecarga no sistema de avaliação. Em tempos de produtivismo acadêmico (Alcadipani, 2011; Faria, 2011; Rigo, 2017), não é raro encontrar pesquisadores com um número enorme de publicações e, ao mesmo tempo, com poucas ou até mesmo nenhuma revisão registrada nos seus currículos. Essa postura sinaliza egoísmo e falta de comprometimento com a área e com os pares.

Outro aspecto muito importante em relação à consciência da importância do processo de revisão é o cumprimento dos prazos determinados para realizar as revisões. Em geral, muitos pesquisadores colocam a atividade de revisão como secundária nas suas agendas. Ao fazer isso, é comum haver artigos que demoram meses para serem avaliados, e a primeira resposta aos autores só é dada após um ou dois anos. Não considerar a revisão uma prioridade é contribuir para a lentidão do processo editorial. As revisões precisam ter a mesma prioridade da escrita dos artigos.

Em relação à postura desenvolvimentista, é preciso destacar que a revisão é um processo em que não se deve estabelecer uma hierarquia entre quem avalia e quem é avaliado. É comum que o revisor de hoje seja o autor de amanhã. Assim, devemos avaliar os artigos que nos sãos designados com a mesma cordialidade e respeito que gostaríamos de receber dos revisores dos nossos artigos. Não é incomum encontrarmos pareceres com soberba ou mesmo desdenho com o trabalho em revisão, assim como com seus respectivos autores (Clair, 2015; Gondim, 2004; Rigo, 2017). Um bom revisor e uma boa revisão sempre têm uma postura cordial e desenvolvimentista. Os revisores que adotam essa perspectiva buscam ajudar os autores a melhorarem os seus trabalhos, e não apenas criticá-los e desqualificá-los.

Essa postura desenvolvimentista independe da qualidade do trabalho em revisão. Ainda que se tenha recebido “o pior trabalho do mundo”, isso demanda que o revisor seja respeitoso e busque ajudar o autor a evoluir com as suas ideias. É importante destacar que, no sistema brasileiro de publicações, há uma quantidade grande de pessoas em formação (alunos) que são pressionadas (ao meu ver, erroneamente) a publicar, seja para obter os seus diplomas (o que é um absurdo) ou mesmo porque a existência do critério de produção discente na avaliação que o governo brasileiro faz da “qualidade” dos cursos de mestrado e doutorado (outro absurdo) leva um conjunto de professores a pressionar os seus alunos para publicar artigos. Nesses casos, mais do que cordial, o processo de revisão deve ser didático e educativo, ou seja, não traumático para os jovens autores. Não é raro encontrarmos pesquisadores seniores que travam debates raivosos e apresentam críticas duras a alunos, postura que não se repete muitas vezes quando o debate é com os pares. Afinal, um bom revisor reconhece o nível de maturidade do autor ao ler o manuscrito.

Um outro ponto importante a ser mencionado é o revisor não terceirizar a revisão, especialmente com os seus alunos. Muitos revisores, com o pretexto de iniciar os seus estudantes no mundo da revisão de artigos, terminam delegando a responsabilidade da avaliação para os seus orientandos que ainda estão em fase de descoberta do mundo acadêmico. Esses revisores argumentam que uma boa forma de aprender a avaliar é conduzir um processo de revisão real. Dizem, ainda, que pedem aos alunos para revisar o texto e que depois eles “revisam” a revisão feita pelos alunos. Qualquer editor com um pouco mais de experiência percebe quando a revisão foi feita por alguém que ainda não conhece bem o processo. Essa postura compromete a qualidade da revisão e demonstra a falta de ética do revisor. Uma forma simples de iniciar os alunos na revisão é instruí-los primeiro sobre como o processo funciona e pedir que eles façam revisões de textos já revisados pelos revisores seniores e enviados para o periódico que demandou o trabalho.

ASPECTOS TÉCNICOS DA REVISÃO DE ARTIGOS

Não é algo comum, nos programas de pós-graduação em Administração brasileiros, a adoção no currículo do tema revisão de artigos. Em geral, trata-se de um processo de aprendizagem heurístico em que as pessoas são convidadas a revisar artigos sem ter nenhuma preparação prévia. Tal situação faz com que cada revisor avalie o texto de acordo com aquilo que pensa ser adequado, algo indesejável por apresentar oscilações nos padrões de avaliação, sem a garantia de que realmente a revisão possa ajudar os autores a melhorarem os seus trabalhos.

Ainda que não exista modelo único para realizar a revisão de artigos científicos, é possível apontar diretrizes do que deve consistir em uma boa revisão (Clair, 2015; Gondim, 2004; Shigaki & Patrus, 2016). Os aspectos mais relevantes para mim são: a) avaliar o que foi feito, e não o que eu faria; b) focar a contribuição do texto; c) postura crítica-propositiva; d) listar ações em sequência; e) indicar literatura pertinente; e f) apresentar perguntas quando não souber ou tiver dúvidas.

O primeiro ponto fundamental em uma revisão é realizar o processo respeitando as opções do autor. Isso significa conduzir a revisão considerando o que o autor fez, e não como eu teria feito aquele trabalho. Esse ponto refere-se principalmente às opções epistemológicas, teóricas, metodológicas e de estilo do autor. Ainda que as opções do autor não sejam as minhas, é dever do revisor respeitá-las e conduzir a avaliação seguindo a linha de pensamento do autor. Isso inclui respeitar, inclusive, as escolhas do autor sobre a estrutura do texto e como utiliza a linguagem (por exemplo, a adoção da primeira pessoa do singular para redigir o manuscrito). Ao fazer isso, além de abrir oportunidade para conhecer novas abordagens, o revisor garante ao autor a autonomia e originalidade na produção do texto.

O segundo ponto trata-se de focar a contribuição do manuscrito. São muito comuns revisores que, em vez de focar o conteúdo do artigo, ficam investindo a maior parte da sua revisão em apontar inconsistências gramaticais e de formatação. Ainda que isso possa ser mencionado em algum momento da revisão, o mais importante é buscar avaliar qual é a real contribuição daquele trabalho para área e se o conteúdo apresentado é capaz de ser convincente nesse sentido. Perceba que eu utilizo a palavra “contribuição” em vez de “inovação”. Essa escolha é para destacar que um texto científico pode ser relevante mesmo sem apresentar uma “inovação” no seu conteúdo, podendo trazer uma boa “contribuição” quando foca questões práticas, didáticas ou, ainda, traz interpretações novas sobre um determinado assunto, teoria ou método.

O terceiro ponto sobre a postura crítica-propositiva estabelece toda a base de qualquer revisão. Trata-se de o revisor apresentar as críticas que entende necessárias, mas sempre acompanhadas de sugestões que orientem o autor a como superar as fragilidades encontradas no texto (Clair, 2015; Gondim, 2004). Essa postura garante que o autor compreenda não apenas a crítica lançada sobre o trabalho, mas qual o caminho a ser seguido para poder aprimorar o manuscrito. Ela também facilita a revisão do artigo por parte dos autores, assim como dos editores, e aponta caminhos claros de como desenvolver o trabalho em avaliação.

O quarto aspecto trata de listar as ações em sequência, nada mais do que organizar o parecer de avaliação em tópicos e em sequência de ações. Ao fazer isso, o revisor deixa claro ao autor, de modo pontual, o que está sendo considerado fragilidade e, ao mesmo tempo, já deixa encaminhada, naquele ponto, a sugestão de melhoria. Essa técnica facilita a compreensão do autor do que precisa ser feito de maneira exata, além de ajudá-lo na elaboração da carta-resposta ao editor durante o processo de revisão.

O quinto ponto diz respeito à indicação de literatura pertinente, apesar de não ser um item que eu considere obrigatório. Indicar leitura complementar ao autor sobre determinado ponto criticado ajuda a dar profundidade à discussão e melhorar a compreensão do autor sobre a crítica realizada. Contudo, muitos avaliadores aproveitam esse momento para indicar textos seus e aumentar suas citações. Mesmo não sendo proibido indicar textos próprios, essa ação deve ser adotada apenas quando realmente a literatura indicada for contribuir significativamente na melhoria do trabalho.

Por fim, mas não menos importante, fazer perguntas ao autor quando não souber algo ou estiver em dúvida é sempre uma boa maneira de estabelecer um diálogo cordial e oportunizar ao autor explicações adicionais. O revisor, ainda que sendo um especialista do tema, não deve significar uma posição de “dono da verdade” ou mesmo de detentor de todo o conhecimento sobre determinado assunto. Fazer perguntas contribui sensivelmente para que os autores melhorem as explicações de conceitos e ideias que eventualmente ainda não estejam claros na versão atual do texto.

O QUE PRECISA SER FEITO PARA MELHORAR AS REVISÕES?

Os aspectos comportamentais desenvolvimentistas, quando somados ao domínio das técnicas, fazem da revisão de um artigo científico um processo de aprendizagem mútuo, tanto para revisores quanto para autores, que facilita significativamente o avanço do conhecimento científico. Mais do que uma “publicação”, um artigo científico deve ser um instrumento de promoção de novos conhecimentos. Vou aproveitar esta parte final do texto para apresentar algumas sugestões de como trabalhar com a formação de novos revisores nos cursos de doutorado em Administração. Além disso, aproveito também para tecer algumas críticas sobre a corrida por pontos oriundos de publicação que trazem impactos diretos no sistema de revisão de artigos e outros tipos de textos acadêmicos, como os projetos de pesquisa.

Em relação à formação de novos revisores, defendo ser fundamental a inclusão desse tema nos cursos de doutorado em Administração. Não se trata de sugerir a criação de uma disciplina específica para esse assunto, mas que ele esteja presente nas ementas de disciplinas em que o tema possa ser envolvido. A criação de oficinas que tratem sobre revisão por meio de discussões e atividades práticas pode ser uma boa maneira de inserir os alunos de doutorado no mundo da avaliação de artigos.

Uma observação relevante é que bons avaliadores terminam aprimorando significativamente suas habilidades como autores. Tal fato dá-se pelo exercício de buscar compreender o que compõe um bom artigo científico, assim como encontrar meios de melhorá-lo. Sem contar que conhecer os bastidores dos processos editoriais dos periódicos amplia a compreensão do que deve ser feito para lograr êxito na publicação de um artigo, especialmente em periódicos de alto impacto. Além disso, quem costuma avaliar com frequência, principalmente em periódicos renomados, termina tendo acesso aos trabalhos que buscam consolidar-se como estado da arte, além de oportunizar uma autoavaliação da própria produção de pesquisa do revisor.

Por fim, e, do meu ponto de vista, extremamente relevante, quero abrir uma discussão sobre como tanto o sistema de avaliação dos programas de pós-graduação brasileiros, sob responsabilidade da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), quanto a concessão de bolsas e auxílios de pesquisa pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) terminam sendo coniventes com práticas, no mínimo, questionáveis, que evidenciam a deletéria prática do produtivismo acadêmico.

Isso fica evidente quando a CAPES, na avaliação dos programas de pós-graduação, e o CNPq, nos processos de auxílio financeiro a pesquisadores, adotam como principal critério de avaliação a quantidade de artigos publicados e diminuem o valor da contribuição dos pesquisadores em outras atividades para o sistema de ensino e pesquisa como um todo. Ao ter um foco quase exclusivo na publicação de artigos, temos uma realidade em que já é possível encontrar pesquisadores com mais de uma publicação por mês (fico imaginando como é possível escrever tanto assim diante de todas as atividades que são demandadas dos pesquisadores diariamente). O ponto-chave nessa discussão é a premiação de quem tem produção acadêmica questionável. Tal questionamento dá-se pelo número excessivo de artigos publicados ou mesmo pelo número de autores e pela posição de autoria destes no texto. O foco exclusivo em publicações leva alguns pesquisadores a não contribuírem no nível esperado de quantidade e qualidade nas avaliações de artigos, projetos de pesquisa ou outras demandas a eles dirigidas.

Um exemplo disso é que, em todas as atas recentes do Comitê de Assessoramento da área de Administração e Contabilidade do CNPq para julgamento dos pesquisadores bolsistas de produtividade em pesquisa, foi mencionado que há sempre um contingente de projetos que foram designados e não avaliados por alguns pesquisadores. O Comitê vem insistentemente cobrando da direção do CNPq, por meios dessas atas, que se tomem providências sobre o assunto. Esse exemplo evidencia o quanto é necessário o aprimoramento das regras de avaliação dos programas de pós-graduação, assim como da concessão de auxílios de pesquisa de modo a valorizar as revisões, especialmente as de artigos científicos.

É preciso adotar urgentemente um critério que force o equilíbrio entre o número de submissões e de publicações dos pesquisadores em Administração no Brasil. Tal ação faz-se necessária por duas razões. A primeira é simplesmente para garantir a sustentabilidade do sistema em termos de submissões e avaliações com prazos adequados de devolutivas e a qualidade do feedback aos autores. A segunda é assegurar que os recursos investidos nos programas de pós-graduação, assim como nos periódicos e nos auxílios de pesquisa, sejam efetivamente transformados em conhecimento útil. Conhecimento capaz de melhorar a qualidade de vida da sociedade como um todo, que não seja apenas um videogame onde vence aquele que faz mais pontos.

REFERÊNCIAS

• Alcadipani, R. (2011). Resistir ao produtivismo: Uma ode à perturbação acadêmica.Cadernos EBAPE.BR, 9(4), 1174-1178.
• Bispo, M. S., & Costa, F. J. (2016). Artigos como avaliação discente em disciplinas de pós-graduação: Instrumento educativo ou subsistema de linha de montagem?Cadernos EBAPE.BR, 14(4), 1001-1010. doi: 10.1590/1679-395141927
  » https://doi.org/10.1590/1679-395141927
• Chrisman, J. J., Sharma, P., & Chua, J. (2017). The mind-set of editors and reviewers. Family Business Review, 30(3), 211-218. doi:10.1177/0894486517708377
  » https://doi.org/10.1177/0894486517708377
• Clair, J. A. (2015). Procedural injustice in the system of peer review and scientific misconduct. Academy of Management Learning & Ed­ucation, 14(2), 159-172. 10.5465/amle.2013.0243
  » https://doi.org/10.5465/amle.2013.0243
• Faria, A. (2011). Repensando produtivismo em gestão no (e a partir do) Brasil.Cadernos EBAPE.BR, 9(4), 1164-1173.
• Gondim, S. (2004). A face oculta do parecerista: Discussões éticas so­bre o processo de avaliação de mérito de trabalhos científicos. Orga­nizações e Sociedade, 11(31), 195-199.
• Rigo, A. S. (2017). Comunidade acadêmica, produtivismo e avaliação por pares.RAE-Revista de Administração de Empresas, 57(5), 510-514. doi: 10.1590/s0034-759020170508
  » https://doi.org/10.1590/s0034-759020170508
• Shigaki, H. B., & Patrus, R. (2016). Avaliação de artigos científicos em administração: Critérios e modelos de avaliadores experientes.Teoria e Prática em Administração, 6(2), 107-135. doi:10.21714/2016_v6i228445
  » https://doi.org/10.21714/2016_v6i228445

Datas de Publicação

• Publicação nesta coleção
  Jul-Aug 2018