UM GUIA DE AVALIAÇÃO DE ARTIGOS CIENTÍFICOS EM MARKETING

"Trate todos os manuscritos da mesma maneira que você gostaria que o seu fosse tratado" (Benos, Kirk, & Hall, 2003)

INTRODUÇÃO

A ciência avança por meio das descobertas e avaliação da qualidade destas por outros cientistas. Nos congressos e periódicos científicos, essa avaliação se dá por meio de pares (peer review) no processo blind review, existente desde os primeiros journals nos anos 1660 (Mulligan, Hall, & Raphael, 2013). Quanto mais qualificados os cientistas envolvidos - editores, revisores e autores - e mais maduro, detalhado e criterioso for esse processo, maior a chance de avanço do respectivo campo de conhecimento.

No campo científico, não existem regras determinísticas e inflexíveis sobre o que é um bom artigo e sobre como avaliá-lo. Regras surgem por consenso, tradição e convenções estabelecidas entre cientistas. Em seguida, elas são aprendidas e aplicadas pelos cientistas mais jovens. No campo científico do marketing no Brasil, isso também ocorre. Tratando-se de área de conhecimento menos madura que em países desenvolvidos (Mazzon & Hernandez, 2013), é natural que haja menos consenso e mais incerteza sobre o que é um bom artigo científico, como ele deve ser avaliado e se é mais importante a quantidade ou a qualidade da produção (i.e., contribuição concreta para o avanço do conhecimento). Com o objetivo de auxiliar os pareceristas a adotarem parâmetros mais claros e objetivos para as revisões, nesta Pensata propomos um conjunto de elementos e critérios de análise - um guia para avaliação de artigos científicos de marketing.

POR QUE UM GUIA?

A relevância de um guia para avaliação de artigos científicos de marketing está ancorada em fatos. Primeiro, ao lado da tenure (estabilidade no emprego que um professor tem como resultado de produção científica de alto nível), o peer review é a característica mais distintiva do sistema acadêmico (Biagioli, 2002). Como na academia de marketing brasileira não existe formalmente a figura da tenure, a avaliação por pares continua sendo a maior garantia para o avanço científico da área.

Segundo, apesar do enorme crescimento nas últimas décadas, a comunidade científica de marketing ainda é jovem e pouco experiente (Brei, Mazzon, Farias, & Matos, 2016). Há poucos dados sobre artigos de marketing submetidos aos periódicos de Administração e Marketing no Brasil. Assim, é razoável avaliar o crescimento da produção pelo número de submissões de artigos nos eventos científicos nacionais da área patrocinados pela Associação Nacional de Pós-graduação e Pesquisa em Administração (ANPAD). Por exemplo, Sampaio e Perin (2006) mostraram que, de 1990 a 2005, em 16 EnANPADs e 1 EMA, ocorreram 527 submissões de artigos de marketing. Apenas no ano de 2016, foram submetidos 723 artigos (ANPAD, 2016), o recorde histórico da área.

Terceiro, em paralelo ao aumento da quantidade de autores e submissões, também cresceu a quantidade de pareceristas. No EnANPAD de 2016, 191 pareceristas participaram do processo de revisão. Essa quantidade não se traduz automaticamente em aumento da qualidade dos pareceres. A participação regular nos eventos científicos da área evidencia que há grande variabilidade na qualidade dos artigos aprovados e apresentados, comentário usual dos pesquisadores mais seniores e assíduos.

Quarto, apesar do aumento de submissões aos congressos da ANPAD, existem apenas três periódicos científicos de marketing no Brasil (um quarto periódico foi lançado em 2017), todos com baixa avaliação no Qualis/CAPES. Isso motiva autores a submeterem seus melhores artigos de marketing a periódicos internacionais ou a periódicos nacionais genéricos de Administração com melhor conceito no Qualis. Nestes, nem sempre há um editor ou editor-associado especializado no tema abordado de marketing (alguns periódicos adotam um action editor, especialista em um tema, designado como editor para um artigo específico).

Quinto, nos casos em que periódicos nacionais fazem algum tipo de avaliação formal sobre a qualidade dos pareceres, os resultados não são divulgados. Os periódicos também não disponibilizam nos seus sites versões das rodadas de avaliação anteriores e os pareceres que um artigo publicado recebeu ao longo do processo de revisão. Essa é uma prática comum (e didática) de alguns top journals de marketing, como o Journal of Consumer Research (2016).

Sexto, a baixa inserção internacional dos pesquisadores brasileiros de marketing (Brei et al., 2016) faz com que a maioria dos pareceristas não pratique e aprenda com comitês de revisão de artigos de periódicos internacionais de marketing de reputação inconteste.

Sétimo, apesar de existirem trabalhos que abordaram o tema de como revisar artigos científicos (por exemplo, Drummond & Jefferson, 1996; Ferraz & Navas, 2016; Kirschbaum & Mascarenhas, 2009; Krüger, 2005; Pinho, 2003), não identificamos publicação com o propósito de auxiliar pareceristas de artigos de marketing submetidos a periódicos científicos, da forma aqui proposta. A jovialidade da comunidade científica, quantidade e variabilidade na qualidade das pesquisas em marketing produzidas no Brasil demandam preocupação extra com treinamento dos pareceristas, elemento fundamental de melhoria da ciência de marketing produzida no Brasil.

Por fim, para testar a validade externa da nossa percepção como autores e revisores a respeito da baixa qualidade média dos pareceres da área, enviamos uma versão anterior deste paper para todos os editores dos periódicos científicos de Administração Qualis A brasileiros. Os editores ratificaram a dificuldade em manter elevado padrão do processo de revisão, dada a variabilidade de qualidade dos pareceres que recebem dos revisores de marketing.

OS PERIÓDICOS DE MARKETING NO BRASIL E NO EXTERIOR

A academia brasileira de marketing ainda está distante do padrão de qualidade da comunidade internacional, o que é refletido nos periódicos científicos, os quais possuem baixos fatores de impacto. Em 2015, enquanto havia 153 journals de marketing com fator de impacto no mundo todo (Scimago Journal & Country Rank, 2016), no Brasil há apenas quatro periódicos exclusivos de marketing: a Revista Interdisciplinar de Marketing (RIMAR, Qualis B4), a Revista Brasileira de Marketing (REMark, Qualis B2), a Revista Brasileira de Pesquisas de Marketing, Opinião e Mídia (PMKT, Qualis C) e a Consumer Behavior Review (CBR, ainda não avaliada no Qualis), todas sem fator de impacto nos rankings internacionais. Enquanto journals internacionais são editados em inglês, esses periódicos são editados majoritariamente em português (algumas edições e artigos são traduzidos para o inglês).

Os principais periódicos internacionais de marketing possuem posicionamento claro na comunidade científica (Hult, Reimann, & Schilke, 2009). Por exemplo, o Journal of Marketing - periódico mais antigo e reconhecido da área (Rust, 2008) - tem como objetivo promover o conhecimento científico, fazendo ponte entre a academia e pratictioners de marketing (American Marketing Association, 2016b). O Journal of Marketing Research concentra-se em avanços em métodos de pesquisa (American Marketing Association, 2016a); o Journal of Consumer Research (2016) foca a explicação do comportamento do consumidor; o Marketing Science busca responder questões relevantes de marketing por meio de modelagem matemática (Informs, 2016).

No Brasil, os periódicos de marketing possuem posicionamento abrangente e genérico. Por exemplo, a REMark (2016a) tem o objetivo de "divulgar a produção intelectual na área de marketing, organizacional e de mercado" e a RIMAR (2016b), de "publicar resultados de pesquisas envolvendo ideias e novas propostas científicas em marketing". Tradicionais periódicos de Administração brasileiros - Revista de Administração Contemporânea (RAC), Brazilian Administration Review (BAR) e Revista de Administração (RAUSP) - sequer mencionam "marketing" em suas linhas editoriais. A falta de posicionamento claro e de notas de avaliação pode ser a explicação para o número menor de submissões que recebem. Enquanto a Divisão de Marketing recebeu 723 submissões em 2016 (ANPAD, 2016), a REMark (2016b) recebeu 293 submissões em 2015 e a RIMAR (2016a), apenas 23 submissões.

Analisando 1.272 artigos de marketing publicados nos anais do EnANPAD e EMAs e nos principais periódicos de Administração brasileiros no período de 2000 a 2009, Mazzon e Hernandez (2013) mostraram que o número médio de citações foi de 2,5 artigos publicados em anais e periódicos brasileiros e de 18,2 artigos publicados em periódicos internacionais. Isso suscita uma questão: Por que autores brasileiros de marketing publicam praticamente a quase totalidade de seus artigos em revistas brasileiras, ma-s citam quase exclusivamente artigos de periódicos internacionais? Seria razoável suscitar a dúvida de que autores brasileiros que publicam nos periódicos nacionais consideram os artigos de qualidade inferior aos publicados em periódicos internacionais? Se isso for plausível, é possível deduzir que o processo de avaliação de artigos no EnANPAD e nos periódicos nacionais de Marketing e de Administração é, no mínimo, deficiente.

O PARECER CIENTÍFICO EM PERIÓDICOS DE MARKETING

O parecer científico por pares é um processo pelo qual a ciência se autorregula, por meio de julgamentos racionais e de decisões (Biagioli, 2002). É tão utilizado na academia que alguns autores ressaltam que ele evita a adoção de outros sistemas mais inovadores de publicação (Fitzpatrick, 2011). Trata-se de trabalho voluntário, geralmente não remunerado, no qual um pesquisador (o revisor) oferece seu tempo e conhecimento em prol do avanço da ciência, ao avaliar um artigo de outro pesquisador (o autor). O fato de o trabalho ser voluntário tem implicações, pois, ao não ser remunerado, não se estabelece um contrato de trabalho nem um prazo inflexível para entrega do "produto" (a avaliação). Entretanto, estabelece-se aquilo que Pinho (2005, p. 170) denomina "contrato moral". Quando o parecerista aceita contribuir, entende-se que está se comprometendo a entregar seu parecer, com qualidade, no prazo estabelecido.

Na academia internacional, há três formas de avaliação por pares: single-blinded, double-blinded e open peer review (Mulligan et al., 2013). No primeiro caso, a autoria é conhecida pelos avaliadores, mas os autores desconhecem os revisores. No segundo, autores e avaliadores permanecem anônimos. O terceiro surge como alternativa para "mitigar viés ideológico e ataque pessoal (ad hominem). Neste caso, ambos, autor e revisor, são conhecidos, em uma tentativa de aumentar a transparência e encorajar uma resposta honesta aberta" (Mulligan et al., 2013, p. 133).

Nos periódicos científicos de Marketing e de Administração nacionais é seguido processo semelhante àquele adotado nos principais periódicos internacionais, com algumas diferenças decorrentes da falta de tempo, treinamento, maturidade científica da comunidade de pareceristas e estrutura exígua das revistas (Kirschbaum & Mascarenhas, 2009). Há um editor-chefe - pesquisador renomado de um determinado campo do conhecimento - que tem a prerrogativa de indicar dois possíveis destinos para um artigo:

• Desk-rejection: rejeição imediata de artigo decorrente de baixa qualidade e/ou inadequação à linha editorial.

• Revise and resubmit: artigo que deve ser remodelado a partir dos ajustes solicitados pelos revisores em cada uma das rodadas (rounds) de revisão. Em cada uma delas, pode haver aprovação ou rejeição definitiva do artigo.

Os critérios de julgamento variam de acordo com o periódico, mas geralmente têm relação estreita com a linha editorial e contribuições apresentadas. A qualidade do processo de revisão depende do editor-chefe, editor-associado, action editor e revisores especialistas. Segundo Rupp (2011, p. 482), o editor decide qual manuscrito é adequado para a revista, podendo rejeitar o artigo de imediato (desk-rejection) ou indicar um editor-associado (ou um action editor), que indicará revisores (geralmente de dois a quatro especialistas) para fazerem a análise do artigo. Cerca de um terço das submissões é rejeitado de imediato nos periódicos mais competitivos (Rupp, 2011, p. 482).

É importante notar que editores não aceitam decisões dos revisores de maneira "cega" (Bergh, 2004, p. 6), podendo divergir das recomendações dos revisores. Para tomar a decisão, o editor se depara com a questão da convergência dos pareceres, além da amplitude e profundidade das análises. A preferência dele deve ser por pareceres que busquem equilíbrio entre esses aspectos (Krüger, 2005). O editor foca principalmente a seguinte questão: O manuscrito traz uma contribuição interessante e importante?

Além da baixa qualidade dos pareceres em geral, há enorme concentração de pesquisadores brasileiros na área de comportamento do consumidor (Brei et al., 2016), o que limita a possibilidade dos editores em identificar especialistas em outros temas de marketing (por exemplo, em modelagem e econometria). Comunidades reduzidas de especialistas comprometem a aplicação do blind peer review, barreira para institucionalização de uma disciplina científica (Biagioli, 2002).

Nossa experiência como editores, editores-associados e revisores indica que periódicos com classificação A tendem a receber revisões mais cuidadosas. Sugerimos que, ao final do processo blind review dos periódicos nacionais, os pareceristas tenham acesso aos pareceres dos demais revisores, consoante ao que acontece em vários periódicos internacionais de marketing.

Apesar de gerar bastante trabalho para editores e revisores, o peer review parece ser a melhor possibilidade de análise da produção científica. A razão repousa em decisões racionais (idealmente), baseadas num processo justo, aberto e transparente (Hebert, 2007). Mulligan et al. (2013) reforçam essa conclusão: autores consideram que seus artigos melhoraram após um processo de revisão criterioso.

PROPOSTA DE UM GUIA PARA AVALIAÇÃO DE ARTIGOS DE MARKETING

Para compor elementos e critérios de análise, consultamos editores dos periódicos brasileiros de Administração Qualis A e a literatura de marketing (por exemplo, Cornelissen & Lock, 2005; Katsikeas, Robson, & Hulbert, 2004; Lee & Greenley, 2009; Piercy, 2002; Summers, 2001; Varadarajan, 1996, 2003). Analisamos instruções aos autores existentes nos sites do Journal of Marketing (AMA, 2016b), Journal of Marketing Research (AMA, 2016a), Journal of Consumer Research (2016) e Marketing Science (Informs, 2016). Como avaliar artigos científicos tem similaridades, analisamos literatura de outras subáreas da Administração, como Organizações, Estratégia e Sistemas de Informação (Bedeian, 2003; Hempel, 2014; Hoppen, 1997; Lepak, 2009; Meneghetti, 2011; Pinho, 2003; Tsang, 2013). Finalmente, comparamos critérios de avaliação de artigos de marketing com de outras ciências (Allen, 2013; Benos et al., 2003; Hames, 2007; Kunnath, 2006; Rogelberg, Adelman, & Askay, 2009). Visando maior solidez, restringimos o guia aos dois tipos principais de manuscritos de marketing submetidos a congressos e periódicos: artigos teórico-empíricos e ensaios teóricos.

Recomendações sobre aspectos técnicos do artigo para um bom parecer

Os resultados apresentados no Quadro 1 sintetizam critérios importantes identificados na literatura que abordou o processo de pareceres para manuscritos de marketing submetidos a periódicos científicos. Importante observar que tivemos a preocupação em construir a proposta do guia de maneira analítica e detalhada, proporcionando uma espécie de checklist didático e instrumental para os revisores. Nosso objetivo é que o guia seja útil especialmente para aqueles menos experientes.

Quadro 1
Proposta de um guia de análise de artigos científicos na área de marketing

Item	Aspectos a serem avaliados	Tipo de artigo
		Teórico- empírico	Ensaioteórico
Avaliação geral do artigo	• O título é adequado e reflete o conteúdo do manuscrito?	x	x
	• O artigo é inédito/original e oferece contribuição relevante que justifique sua publicação?	x	x
	• A escolha do objeto de análise (material ou imaterial, concreto ou abstrato) está clara e bem definida?	x	x
	• Quais são as maiores forças e fraquezas do artigo? As fraquezas são superáveis (possível corrigir falhas/erros do artigo)?	x	x
	• Existem seções que podem ser eliminadas/condensadas?	x	x
	• O autor atinge o objetivo a que se propôs (contribuição)?	x	x
	• O autor atinge a contribuição com rigor metodológico?	x	x
	• O artigo é interessante para o público-alvo de marketing?	x	x
	• O artigo deixa claro para qual subárea de marketing colabora (exs.: estratégia, branding , precificação etc.)?	x	x
	• A contribuição do artigo está alinhada com a linha editorial do periódico?	x	x
	• A linguagem adotada demonstrou que o autor refletiu crítica e aprofundadamente sobre o conteúdo?	x	x
	• O artigo está bem escrito (linguagem clara, direta, evitando termos ambíguos, expressões do senso comum, em português/inglês correto) e estruturado?	x	x
	• A organização do artigo é coerente com seu posicionamento epistemológico?	x	x
Abstract ou Resumo	• É sintético e contém o propósito e contexto da pesquisa, método, resultados, conclusões e implicações?	x
	• É sintético e contém o propósito, síntese da reflexão teórica, conclusões e implicações do estudo?		x
	• O abstract /resumo atrai a atenção do leitor?	x	x
	• O abstract /resumo realmente sintetiza todo o trabalho?	x	x
Contribuição (Introdução)	• Existe uma questão ou objetivo da pesquisa/estudo claramente definido?	x	x
	• O autor explicita a relevância ou justificativa da pesquisa/estudo e discute sua importância?	x	x
	• O foco da contribuição é teórico?	x	x
	• O foco da contribuição é metodológico ou prático?	x	x
	• O autor informa o que vai abordar (e o que não vai)?	x	x
	• A contribuição é original/inédita e aborda problemas contemporâneos de marketing?	x	x
	• As variáveis dependentes são relevantes?	x
	• A relevância do artigo é prejudicada ou aumentada em função de alguma característica da pesquisa (ex.: ser uma replicação)? Há justificativa para isso?	x
	• É possível identificar claramente de que tipo de artigo se trata (pesquisa teórico-empírica ou ensaio teórico)?	x	x
	• O autor explicita a estrutura/organização do artigo?	x	x
Fundamentação teórica	• O autor explicita limites do estudo e mostra onde está a fronteira do conhecimento da(s) teoria(s) de marketing central(is) à sua pesquisa?	x	x
	• A fundamentação teórica é precisa e objetiva? A justificativa para a(s) teoria(s) e construto(s) é feita de maneira lógica, rigorosa e integrada?	x	x
	• O texto evidencia, discute e articula a evolução teórica e a(s) teoria(s) mais recente(s) de marketing?	x	x
	• Há análise/citação das obras clássicas (livros e artigos) e das mais recentes sobre o tema?	x	x
	• Há análise de como essas obras contribuíram para a formação de uma ou mais teorias abordadas na pesquisa?	x	x
	• As teorias mencionadas são adequadas ao problema?	x	x
	• Há identificação dos limites, lacunas, virtudes, problemas, consensos e divergências em torno de uma determinada teoria?	x	x
	• Há apresentação e sustentação das hipóteses a serem testadas, a partir da fundamentação teórica?	x
	• Foram consideradas relações de moderação e mediação para os construtos/variáveis de marketing em estudo?	x
	• As hipóteses a serem testadas são explicitadas (textualmente ou num framework conceitual)?	x
	• O referencial teórico atende ao objeto analisado, sua organicidade e contemporaneidade?	x	x
Abordagem, desenho de pesquisa e método	• A estratégia metodológica e passos para sua implementação estão suficientemente claros, detalhados e são suficientemente robustos?	x
	• O posicionamento epistemológico (positivista, interpretativo etc.) está claro (mesmo que não explicitado no texto)?	x	x
	• O método é coerente com o posicionamento epistemológico?	x
	• O texto busca compreender o objeto de estudo por meio de associações, analogias, ou por outra maneira não atrelada ao método científico tradicional?	x	x
	• A abordagem (quantitativa, qualitativa, mista) e seus passos para implementação estão adequadamente descritos?	x
	• O(s) método(s) implementado(s) (survey , experimento, modelagem, análise documental, entrevista, grupo focal, etnografia etc.) está(ão) adequadamente descrito(s), respeitando a literatura específica recente?	x
	• Os métodos empregados permitem generalização dos resultados?	x
	• É necessária triangulação metodológica?	x
	• A fundamentação teórica serviu para a instrumentalização/ operacionalização dos construtos/conceitos?	x
	• As propriedades psicométricas das medidas foram respeitadas?	x
	• As escalas de marketing utilizadas são válidas e confiáveis?	x
	• Os tipos de dados coletados estão adequadamente descritos?	x	x
	• O estudo considera os stakeholders que deveria envolver (e.g., gerentes de marketing, consumidores, consultores etc.)?	x
	• Os procedimentos relativos à coleta e análise de dados estão detalhados, permitindo a outro pesquisador replicar a pesquisa?	x
	• Foram usadas técnicas analíticas de marketing adequadas e mais avançadas?	x
	• Princípios e práticas éticas foram obedecidos?	x	x
Proposições, resultados e discussão	• Proposições e argumentações teóricas são apresentadas e discutidas de maneira lógica, consistente?	x	x
	• Os resultados da pesquisa são apresentados de maneira objetiva, de fácil visualização e compreensão, sem esconder informações essenciais e sem apresentar resultados em excesso ou que não estejam relacionados ao objetivo?	x
	• Os resultados são discutidos, levando-se em consideração a teoria apresentada na fundamentação teórica?	x
	• A teoria guiou as análises? Há discussão sobre como os resultados encontrados avançam, complementam, alteram ou contradizem a teoria vigente?	x
	• Os autores analisam os testes das hipóteses, tamanhos de efeitos, intervalos de confiança, nível de significância e poder estatístico dos testes realizados?	x
	• Os resultados encontrados evidenciam uma regularidade empírica, generalizável para outros contextos?	x
	• As reflexões no decorrer do artigo são profundas e minuciosas, instigando o leitor a tirar suas próprias conclusões?	x
	• As questões levantadas no artigo orientam o leitor para reflexões teóricas mais profundas e integrativas?	x
Conclusões	• As conclusões são sucintas e robustas, aproveitando o que de mais importante foi encontrado na pesquisa?	x	x
	• O objetivo do trabalho foi adequadamente atingido? Se não, o que não foi atingido e por quê? Como isso interfere sobre a contribuição/relevância final do artigo?	x	x
	• Há síntese dos principais achados do estudo, tendo como foco a contribuição do trabalho para o avanço teórico?	x	x
	• Há síntese de possíveis contribuições metodológicas e implicações práticas para o marketing?	x
	• As conclusões avançam substantivamente o conhecimento sobre o assunto?	x
	• A conclusão retoma as hipóteses testadas e sintetiza sua discussão, mostrando se o que foi encontrado está de acordo com a previsão inicial e, quando não estiver, quais são as possíveis explicações para a discordância?	x	x
	• Os autores apresentam como o artigo aprimora, redefine ou questiona uma dada teoria?	x
	• É possível detectar conclusões, mesmo que na forma de questionamentos, que estimulem a reflexão do leitor?	x
	• São apresentadas implicações para as organizações e/ou para outros stakeholders de marketing envolvidos com o estudo?	x	x
	• As implicações gerenciais evidenciam como os resultados do estudo podem impactar gestores, estratégia e implementação de marketing nas organizações?	x	x
	• São discutidas possíveis implicações do estudo para os consumidores, sua relação com os produtos/serviços e com as empresas?	x
	• As limitações da pesquisa são apresentadas e discutidas? Como elas podem ter afetado os resultados e a contribuição inicialmente desejada?	x
	• Os autores apresentam sugestões de estudos futuros, conectando-os aos achados/proposições do artigo?	x	x
Referências	• As referências selecionadas são relevantes, recentes e pertinentes, no formato exigido pelo periódico?	x	x
Material complementar	• Tabelas, figuras, quadros e anexos são apresentados de modo a sintetizar, simplificar e facilitar a compreensão por parte dos leitores?	x	x

Para avaliadores mais experientes, esse guia poderia ser sintetizado em questões-chave:

1. Qual é o problema de pesquisa? Ele é relevante, e a contribuição da pesquisa para marketing é evidente? Está claro o porquê da contribuição?

2. A teoria usada é adequada ao problema de marketing?

3. Como o problema foi respondido? O método é robusto diante da tradição da área de marketing?

4. Há outras explicações alternativas para o problema abordado?

5. Quais as implicações para a área de marketing?

Recomendações sobre comportamento/postura do revisor

É possível lembrar o primeiro artigo que recebemos para avaliar, talvez ainda quando da realização do doutorado. Certamente nos sentimos honrados e desafiados, e o esforço nessa tarefa foi imenso, considerando a primeira experiência de "ser um avaliador". É provável que todos que vivenciaram essa situação adotaram uma perspectiva construtiva. Nossa recomendação nesta Pensata segue sempre essa perspectiva.

É desejável que se inicie a leitura de um artigo a ser avaliado com uma perspectiva positiva, ou, pelo menos, com ausência de um quadro negativo. Certamente, a questão de o manuscrito não estar bem escrito pode direcionar para um viés inicial de rejeição. Daí o porquê de a submissão prematura ser um risco, principalmente para autores noviços. Para Schwab (1985), o modelo que editores encorajam é que revisores elaborem comentários de maneira construtiva, sendo rigorosos e o mais completos possível nas recomendações. Há diferença entre ser crítico em uma avaliação e ser destrutivo. Editores percebem que alguns avaliadores parecem ter prazer em destruir (não desconstruir) um manuscrito, de uma forma negativa. Diante de tais características e peculiaridades da função, sugerimos alguns padrões de comportamento e postura desejados do revisor.

Quadro 2
Recomendações sobre comportamento/postura do revisor

Item	Aspectos a serem avaliados	Tipo de artigo
		Teórico-empírico	Ensaioteórico
Competência	• Usei todo conhecimento que tenho sobre o tema para criticar o artigo, com rigor científico?	x	x
	• Detalhei como o artigo pode ser melhorado, a partir da fronteira do conhecimento teórico e metodológico, sem esconder informações que possam ajudar os autores?	x	x
	• Adaptei meus critérios de análise ao tipo de artigo submetido?	x	x
Abrangência	• Procurei limitar minha contribuição àqueles aspectos sobre os quais tenho domínio?	x	x
	• Informei o editor quando não tinha capacidade de avaliar determinado aspecto do artigo?	x	x
	• Concentrei minha avaliação em relação à contribuição proposta pelos autores?	x	x
Forma	• Apresentei críticas e sugestões usando uma linguagem clara, objetiva, identificando quando e como os comentários se referem a aspectos gerais ou específicos do artigo?	x	x
	• Evitei comentários genéricos (por exemplo, “o manuscrito está muito longo”), apresentando onde ele poderia ser melhorado?	x	x
	• Apresentei sugestões e caminhos, não apenas críticas, sejam genéricos ou específicos?	x	x
	• Priorizei críticas e sugestões, distinguindo problemas possíveis e impossíveis de serem corrigidos? E as correções mais importantes e menos importantes?	x	x
	• Apresentei explicações alternativas para os achados empíricos? O quão relevante é essa explicação alternativa? Ela é consistente com os dados?	x
	• Procurei fazer reflexões teóricas a partir do que o artigo sugere?		x
Postura	• Independentemente da qualidade do artigo, adotei uma postura e linguagem respeitosas, generosas e inspiradoras, ajudando os autores a melhorar seu trabalho, atuando como um comentarista, não como um crítico destrutivo?	x	x
	• Avaliei o artigo da maneira mais equitativa, imparcial, anônima e construtiva possível?	x	x
	• Se a imparcialidade não for possível por qualquer motivo, recusei o convite para avaliar?	x	x
	• Informei o editor a respeito de qualquer problema ou conflito de interesse envolvido com a revisão do artigo?	x	x
Comprometimento	• Respondi ao convite do editor para fazer (ou não fazer) a avaliação no prazo?	x	x
	• Terminei minha avaliação dentro do prazo, usando os critérios estabelecidos pelo editor?	x	x

Em suma, o revisor deve adotar uma postura proativa e respeitosa, identificando onde e como o artigo pode ser melhorado, a partir do conhecimento mais avançado que detém sobre o campo, sempre a partir da identificação clara dos limites de sua competência. Em um processo típico, os revisores devem ser encarados como co-criadores do conhecimento científico, mantendo o comprometimento com o processo (que pode demorar) e estabelecendo bom relacionamento com editores e autores. Não seria exagero constatar que, uma vez submetido o artigo, os revisores e o(s) editor(es) passam a ter o poder de mudar o trabalho (sendo, num sentido lato, partícipes ativos de sua construção). Além disso, tornam-se gatekeepers daquele trabalho, definindo se ele merece ser publicado. Nesse sentido, uma pergunta pode resumir nossas recomendações: Fui o revisor que eu gostaria de ter?

CONCLUSÕES

A pós-graduação brasileira foi implantada com o objetivo de formar professores para atender à expansão do ensino superior e preparar caminho para o desenvolvimento da pesquisa científica. Só recentemente, em 1996/1997, a CAPES implementou um sistema de avaliação que passou a valorizar as atividades de pesquisa e de formação de pesquisadores (Kuenzer & Moraes, 2005). Desde então, o significativo crescimento da quantidade (e, em menor proporção, da qualidade) da produção científica nacional demandou a criação e o amadurecimento dos periódicos e, consequentemente, de suas equipes editoriais.

Uma das consequências da expansão da pós-graduação e da mudança no sistema de avaliação é aquilo que Rego (2014) chama de produtivismo acadêmico. Esse produtivismo pode levar a vários comportamentos antiéticos, como manipulação, autoplágio, fatiamento de resultados de pesquisa e até coautoria de fachada. Ele pode levar pesquisadores a comprometerem suas reputações em situações de pressão para resultados. Além disso, inexistem regras fixas para definir quando uma colaboração deve ser considerada coautoria (Chen, 2011). Em última instância, os responsáveis pela qualidade e contribuição do artigo são os autores, que devem ter comportamento ético na pesquisa e elaboração do paper.

A proposta deste guia visa auxiliar não apenas avaliadores, mas também autores, como forma de evitar que o produtivismo leve à publicação de manuscritos que pouco contribuam com a ciência de marketing ou que não sigam princípios éticos da pesquisa acadêmica. A contribuição central desta Pensata ancora-se no fato de que inúmeras pesquisas já analisaram o processo de peer review (lista detalhada pode ser obtida em Mulligan et al., 2013), mas poucas se propuseram a sugerir como se deve elaborar um parecer científico, especialmente considerando as especificidades da área de marketing. Diversos questionamentos podem ser colocados acerca do papel do parecerista de periódicos científicos da área. Ainda na década de 1970, Jacoby (1978) ironizava, afirmando que "uma grande proporção da literatura sobre a pesquisa do consumidor (incluindo marketing) não vale o papel em que é impressa ou o tempo que se leva para ler" (p. 87). Será que essa afirmação seria válida no Brasil de hoje?

A qualidade da pesquisa é fundamental para o avanço de uma ciência, que só pode ser construída com base num domínio de objetos de estudo, métodos, proposições definidas e testadas por meio de investigações empíricas (Brei, Rossi, & Evrard, 2007). Artigos científicos são o instrumento para esse processo de maturação. É fundamental refletir e agir para que tenhamos mais qualidade nas avaliações e publicações, de modo a fazer com que também os autores avaliem a qualidade das pesquisas que estão produzindo.

Por fim, é importante ter consciência sobre o que não sabemos. Nesse sentido, procuramos oferecer uma contribuição para que novos pesquisadores passem a realizar pareceres mais qualificados e a escrever melhores papers.

REFERÊNCIAS

• Allen, T. W. (2013). Peer review guidance: How do you write a good review? JAOA: Journal of the American Osteopathic Association, 113(12), 916-920. doi:10.7556/jaoa.2013.070
  » https://doi.org/10.7556/jaoa.2013.070
• American Marketing Association. (2016a). Editorial guidelines. Journal of Marketing Research Recuperado de https://www.ama.org/publications/JournalOfMarketingResearch/Pages/JMREditorialGuidelines.aspx
  » https://www.ama.org/publications/JournalOfMarketingResearch/Pages/JMREditorialGuidelines.aspx
• American Marketing Association. (2016b). Editorial statement and policies. Journal of Marketing Recuperado de https://www.ama.org/publications/JournalOfMarketing/Pages/jm-editorial-guidelines.aspx
  » https://www.ama.org/publications/JournalOfMarketing/Pages/jm-editorial-guidelines.aspx
• Associação Nacional de Pós-graduação e Pesquisa em Administração. (2016). Submissões EnANPAD 2016 Recuperado de http://www.anpad.org.br/
  » http://www.anpad.org.br/
• Bedeian, A. G. (2003). The manuscript review process: The Proper roles of authors, referees, and editors. Journal of Management Inquiry, 12(4), 331-338. doi.org/10.1177/1056492603258974
  » https://doi.org/10.1177/1056492603258974
• Benos, D. J., Kirk, K. L., & Hall, J. E. (2003). How to review a paper. Advances in Physiology Education, 27(2), 47-52. doi:10.1152/advan.00057.2002
  » https://doi.org/10.1152/advan.00057.2002
• Bergh, D. D. (2004). Does the editor matter? Academy of Management Journal, 47(1), 6-9. doi:10.5465/AMJ.2004.12691436
  » https://doi.org/10.5465/AMJ.2004.12691436
• Biagioli, M. (2002). From book censorship to academic peer review. Emergences: Journal for the Study of Media & Composite Cultures, 12(1), 11-45. doi:10.1080/1045722022000003435
  » https://doi.org/10.1080/1045722022000003435
• Brei, V. A., Mazzon, J. A., Farias, S. A., & Matos, C. A. de. (2016). 1^o Censo Brasileiro dos Pesquisadores Acadêmicos de Marketing. EnANPAD, ANPAD, Costa do Sauípe, Bahia. Recuperado de http://www.anpad.org.br/~anpad/eventos.php?cod_evento=1&cod_evento_edicao=83&cod_edicao_subsecao=1302&cod_edicao_trabalho=21976
  » http://www.anpad.org.br/~anpad/eventos.php?cod_evento=1&cod_evento_edicao=83&cod_edicao_subsecao=1302&cod_edicao_trabalho=21976
• Brei, V. A., Rossi, C. A. V., & Evrard, Y. (2007). As necessidades e os desejos na formação discursiva do marketing: Base consistente ou retórica legitimadora? Cadernos EBAPE, 5(4), 1-21.
• Chen, X.-P. (2011). Author ethical dilemmas in the research publication process. Management and Organization Review, 7(3), 423-432. doi.org/10.1111/j.1740-8784.2011.00229.x
  » https://doi.org/10.1111/j.1740-8784.2011.00229.x
• Cornelissen, J. P., & Lock, A. R. (2005). The uses of marketing theory: Constructs, research propositions, and managerial implications. Marketing Theory, 5(2), 165-184. doi:10.1177/1470593105052469
  » https://doi.org/10.1177/1470593105052469
• Drummond, M. F., & Jefferson, T. O. (1996). Guidelines for authors and peer reviewers of economic submissions to the BMJ. BMJ, 313(7052), 275-283. doi:10.1136/bmj.313.7052.275
  » https://doi.org/10.1136/bmj.313.7052.275
• Ferraz, É. de C., & Navas, A. L. G. P. (2016). Publicação de artigos científicos: Recomendações práticas para jovens pesquisadores Faculdade de Ciências Médicas da Santa Casa de São Paulo. Retrieved from http://www.abecbrasil.org.br/arquivos/recomendacoes_publicacao_jovens_pesquisadores.pdf
  » http://www.abecbrasil.org.br/arquivos/recomendacoes_publicacao_jovens_pesquisadores.pdf
• Fitzpatrick, K. (2011). Planned obsolescence: Publishing, technology, and the future of the academy New York, USA: NYU Press.
• Hames, I. (2007). Peer review and manuscript management in scientific journals: Guidelines for good practice New Jersey, USA: Wi ley-Blackwell Publishing.
• Hebert, P. C. (2007). Peer review or barbecue? The choice is clear. Canadian Medical Association Journal, 176(10), 1389-1389. doi:10.1503/cmaj.070506
  » https://doi.org/10.1503/cmaj.070506
• Hempel, P. (2014). The developmental reviewer. Management and Organization Review, 10(2), 175-181. doi:10.1111/more.12060
  » https://doi.org/10.1111/more.12060
• Hoppen, N. (1997). Avaliação de artigos de pesquisa em sistemas de informação: Proposta de um guia. Anais do EnANPAD, ANPAD, Rio de Janeiro.
• Hult, G. T. M., Reimann, M., & Schilke, O. (2009). Worldwide faculty perceptions of marketing journals: Rankings, trends, comparisons, and segmentations. Global Edge Business Review, 3(3), 1-23.
• Informs. (2016). Marketing Science Editorial statement. Recuperado de http://pubsonline.informs.org/page/mksc/editorial-statement
  » http://pubsonline.informs.org/page/mksc/editorial-statement
• Jacoby, J. (1978). Consumer research: A state of the art review. Journal of Marketing, 42(2), 87-96. doi:10.2307/1249890
  » https://doi.org/10.2307/1249890
• Journal of Consumer Research. (2016). General information. Journal of Consumer Research Recuperado de http://www.ejcr.org/general.htm
  » http://www.ejcr.org/general.htm
• Katsikeas, C. S., Robson, M. J., & Hulbert, J. M. (2004). In search of relevance and rigour for research in marketing. Marketing Intelligence & Planning, 22(5), 568-578. doi:10.1108/02634500410551941
  » https://doi.org/10.1108/02634500410551941
• Kirschbaum, C., & Mascarenhas, A. O. (2009). Nos limites da autonomia: Reflexões sobre práticas de blind review e editoria de revistas científicas em Administração no Brasil. RAE-Eletrônica, 8(1). doi:10.1590/S1676-56482009000100006
  » https://doi.org/10.1590/S1676-56482009000100006
• Krüger, H. (2005). Avaliação de trabalhos científicos. Organizações & Sociedade, 12(33), 179-182. Recuperado de http://www.portalseer.ufba.br/index.php/revistaoes/article/view/10785
  » http://www.portalseer.ufba.br/index.php/revistaoes/article/view/10785
• Kuenzer, A. Z., & Moraes, M. C. M. de. (2005). Temas e tramas na pós-graduação em educação. Educação & Sociedade, 26(93), 1341-1362. doi:10.1590/S0101-73302005000400015
  » https://doi.org/10.1590/S0101-73302005000400015
• Kunnath, S. K. (2006). Reviewing papers for JSE: A plea to authors, potential reviewers, and readers. Journal of Structural Engineering, 132(9), 1333-1333. doi:10.1061/(ASCE)0733-9445(2006)132:9(1333)
  » https://doi.org/10.1061/(ASCE)0733-9445(2006)132:9(1333)
• Lee, N., & Greenley, G. (2009). Being a successful and valuable peer reviewer. European Journal of Marketing, 43, 5-10. doi:10.1108/03090560910923193
  » https://doi.org/10.1108/03090560910923193
• Lepak, D. (2009). Editor's comments: What is good reviewing? Academy of Management Review, 34(3), 375-381.
• Mazzon, J. A., & Hernandez, J. M. da C. (2013). Produção científica brasileira em marketing no período 2000-2009. Revista de Administração de Empresas, 53(1), 67-80. doi:10.1590/S0034-75902013000100007
  » https://doi.org/10.1590/S0034-75902013000100007
• Meneghetti, F. K. (2011). O que é um ensaio-teórico? Revista de Administração Contemporânea, 15(2), 320-332. doi:10.1590/S1415-65552011000200010
  » https://doi.org/10.1590/S1415-65552011000200010
• Mulligan, A., Hall, L., & Raphael, E. (2013). Peer review in a changing world: An international study measuring the attitudes of researchers. Journal of the American Society for Information Science and Technology, 64(1), 132-161. doi:10.1002/asi.22798
  » https://doi.org/10.1002/asi.22798
• Piercy, N. F. (2002). Research in marketing: Teasing with trivia or risking relevance? European Journal of Marketing, 36(3), 350-363. doi:10.1108/03090560210417165
  » https://doi.org/10.1108/03090560210417165
• Pinho, J. A. G. de. (2003). Uma investigação na avaliação de artigos submetidos à revista Organizações & Sociedade. Organizações & Sociedade, 10(28), 79-82.
• Pinho, J. A. G. de. (2005). Brevíssimo manual do editor: Considerações sobre submissão e avaliação de artigos, o papel dos pareceristas e do editor de revistas científicas. Organizações & Sociedade, 12(34), 169-173.
• Rego, T. C. (2014). Produtivismo, pesquisa e comunicação científica: Entre o veneno e o remédio. Educação e Pesquisa, 40(2), 325-346. doi:10.1590/S1517-97022014061843
  » https://doi.org/10.1590/S1517-97022014061843
• Revista Brasileira de Marketing. (2016a). Políticas editoriais Recuperado de http://www.revistabrasileiramarketing.org/ojs-2.2.4/index.php/remark/about/editorialPolicies#focusAndScope
  » http://www.revistabrasileiramarketing.org/ojs-2.2.4/index.php/remark/about/editorialPolicies#focusAndScope
• Revista Brasileira de Marketing. (2016b, October 7). REMark Dados ReMARK 2013-2015. Comunicação pessoal com o editor.
• Revista Interdisciplinar de Marketing. (2016a). Informações editoriais e nominata de avaliadores: Ano 2015. RIMAR - Revista Interdisciplinar de Marketing, 6(1), 81-82.
• Revista Interdisciplinar de Marketing. (2016b). Políticas editoriais Recuperado de http://periodicos.uem.br/ojs/index.php/rimar/about/editorialPolicies#focusAndScope
  » http://periodicos.uem.br/ojs/index.php/rimar/about/editorialPolicies#focusAndScope
• Rogelberg, S., Adelman, M., & Askay, D. (2009). Crafting a successful manuscript: Lessons for 131 reviews. Journal of Business Psychology, 24, 117-121.
• Rupp, D. E. (2011). Ethical issues faced by editors and reviewers. Management and Organization Review, 7(3), 481-493. doi:10.1111/j.1740-8784.2011.00227.x
  » https://doi.org/10.1111/j.1740-8784.2011.00227.x
• Rust, R. T. (2008). From the editor: The state of the journal. Journal of Marketing, 72(6), 1-2. doi:10.1509/jmkg.72.6.1
  » https://doi.org/10.1509/jmkg.72.6.1
• Sampaio, C. H., & Perin, M. G. (2006). Pesquisa científica da área de marketing: Uma revisão histórica. Revista de Administração Contemporânea, 10(2), 179-202. doi:10.1590/S1415-65552006000200010
  » https://doi.org/10.1590/S1415-65552006000200010
• Schwab, D. P. (1985). Reviewing empirically based manuscripts: Perspectives on process. Publishing in the Organizational Sciences, 171, 181.
• Scimago Journal & Country Rank (SJR) (2016). Journal Rankings on Marketing Recuperado de http://www.scimagojr.com/journalrank.php?category=1406
  » http://www.scimagojr.com/journalrank.php?category=1406
• Summers, J. O. (2001). Guidelines for conducting research and publishing in marketing: From conceptualization through the review process. Journal of the Academy of Marketing Science, 29(4), 405-415. doi:10.1177/03079450094243
  » https://doi.org/10.1177/03079450094243
• Tsang, E. W. K. (2013). Is this referee really my peer? A challenge to the peer-review process. Journal of Management Inquiry, 22(2), 166-171. doi:10.1177/1056492612461306
  » https://doi.org/10.1177/1056492612461306
• Varadarajan, P. R. (1996). From the editor: Reflections on research and publishing. Jounal of Marketing, 60(4), 3-6.
• Varadarajan, P. R. (2003). Musings on relevance and rigor of scholarly research in marketing. Journal of the Academy of Marketing Science, 31(4), 368-376. doi:10.1177/0092070303258240
  » https://doi.org/10.1177/0092070303258240

Datas de Publicação

• Publicação nesta coleção
  Jul-Aug 2017