Motivos de rejeição dos artigos nos periódicos de administração

Motives for rejection in management journals

Resumo

Os índices de rejeição dos periódicos de administração clamam pela análise dos motivos que levam editores e revisores a rejeitarem artigos submetidos. Este artigo investiga quais as lacunas mais frequentes nos artigos submetidos aos periódicos das áreas de “administração, ciências contábeis e turismo”, que podem conduzir à rejeição. Metodologicamente, o estudo empírico foi sustentado por dados coletados por questionário feito com 82 editores-chefes de periódicos, questionando-os sobre quais motivos os levam a rejeitar artigos em desk review e quais os principais aspectos que seus revisores apontam como motivos para a rejeição dos artigos que avaliam. Os resultados revelam que a contribuição científica é um dos principais fatores para conseguir a publicação do artigo, e que o método é a seção que tende a apresentar mais problemas. Analisamos os resultados e discutimos implicações no debate sobre produtivismo acadêmico, proveniente do “publish or perish”, proporcionando uma perspectiva abrangente dos cuidados a ter para conseguir a publicação.

Palavras-chave
Editores; Revisores; Pesquisa em administração; Processo editorial; Publicação

Abstract

The high rejection rates of papers submitted to management journals warrant an analysis of the motives underlying why reviewers and editors recommend rejecting papers. This article investigates what are the most common flaws in the papers submitted to journals of “management, accounting and tourism” that may lead to rejection. Methodologically, this study relied on data collected by survey to 82 scientific journal chief-editors questioning the editors about the motives that lead them to reject articles in desk review and which are the key factors that their reviewers point out as reasons for the rejection of the articles. The results reveal that contribution is one of the crucial factors for achieving acceptation, and that the method is the section that tends to have more problems. We analyze the results and discuss their implications to the debate on academic productivism, providing a perspective on aspects to attend towards having the paper published.

Keywords
Editors; Reviewers; Management research; Editorial process; Publication

Introdução

No Brasil, o volume de produção científica em administração tem aumentado, acompanhando o maior número de programas de pós-graduação stricto sensu, de pesquisadores ativos, de periódicos (MORITZ et al., 2013), e as mudanças nos critérios de avaliação dos pesquisadores e das instituições (MACCARI et al., 2011). As pressões institucionais para publicar (KIRSCHBAUM; MASCARENHAS, 2009; FARIA, 2011; MILLER; TAYLOR; BEDEIAN, 2011), o reconhecimento dos pesquisadores mais prolíficos (BEDEIAN; VAN FLEET; HYMAN, 2009), a importação da cultura do publish or perish (MASCARENHAS; ZAMBALDI; MORAES, 2011; MILLER; TAYLOR; BEDEIAN, 2011) e a incorporação de sistemas financeiros de incentivos à publicação (GOMES, 2010) desafiam, e pressionam, os pesquisadores a publicar mais e em melhores periódicos (MILLER; TAYLOR; BEDEIAN, 2011).

Para que sejam publicados, os artigos precisam passar por um processo editorial com revisão pelo editor e pelos pares (revisores ou pareceristas) (FERREIRA, 2013). O objetivo da revisão pelos pares consiste em selecionar os artigos melhores e mais relevantes para publicação (BORNMANN, 2010). Os editores e os revisores são, portanto, os gatekeepers do conhecimento (BEDEIAN, 2003), com a incumbência de avaliar os méritos e a qualidade dos artigos e da pesquisa que os sustenta (CLARK; FLOYD; WRIGHT, 2006). A rejeição é um dos desfechos possíveis, e talvez o mais provável, do processo de revisão (FERREIRA, 2013). Na realidade, as taxas de rejeição dos artigos são altas em periódicos nacionais (SERRA et al., 2006) e internacionais de impacto (BORNMANN; WEYMUTH; DANIEL, 2009). Segundo Diniz (2013) e Ferreira (2013), a taxa de rejeição pode ser superior a 95% dos artigos submetidos entre as mais reputadas revistas científicas. Então, a rejeição parece ser o destino mais comum dos artigos submetidos a periódicos, tornando a publicação um processo muitas vezes frustrante para os pesquisadores. Essas evidências tornam-se ainda mais relevantes quando percebemos que a própria reputação dos pesquisadores está em jogo (BEDEIAN, 2003), bem como a das instituições. Assim, alguns pesquisadores se debruçaram sobre aspectos da publicação científica, como os problemas mais frequentes nos artigos (TSANG; FREY, 2006; BORNMANN; DANIEL, 2010; BORNMANN, 2010; KUMAR; RAFIQ; IMAM, 2010) e motivos para a rejeição (RADFORD; SMILLIE; WILSON, 1999; BYRNE, 2000; BORNMANN; DANIEL, 2007; BORNMANN, 2010). No Brasil, essa linha de questionamento tem sido menos frequente, mas é relevante por contribuir para elevar a qualidade da produção científica e alavancá-la para periódicos internacionais.

Neste estudo, procuramos compreender quais as lacunas mais comuns, ou problemas mais frequentes, presentes nos artigos submetidos aos periódicos brasileiros da área de administração. Esses problemas e lacunas fundamentam os motivos que podem conduzir à rejeição. Metodologicamente, coletamos dados por meio de questionário passado por e-mail aos editores-chefes de periódicos científicos brasileiros da área. O instrumento de pesquisa foi adaptado de Byrne (2000) à realidade brasileira, e inquiriu sobre diversos aspectos, erros e lacunas mais comumente presentes nos artigos submetidos aos periódicos. Em uma amostra de 82 editores-chefes que participaram da pesquisa, pudemos observar lacunas que contribuem para a rejeição direta pelos editores e os problemas mais frequentes apontados pelos revisores em seus pareceres.

Os resultados mostram que os pesquisadores brasileiros ainda têm dificuldade em comunicar eficazmente qual a contribuição dos seus trabalhos. A contribuição é o aspecto mais valorizado por editores e revisores, e o principal motivo de rejeição. Os resultados também apontam que a seção de método apresenta as lacunas mais severas. A partir dos resultados, discutimos implicações dessas questões para a pesquisa, o ensino nos programas de stricto sensu e a publicação científica nacional em administração. É possível que os nossos resultados possam ser debatidos face à política do publish or perish, amplamente difundida na comunidade científica, que parece priorizar a quantidade e o impacto dos artigos em detrimento de contribuições mais criativas e inovadoras (MILLER; TAYLOR; BEDEIAN, 2011).

Este artigo tem duas contribuições principais para a pesquisa e publicação em administração que importam apontar. Primeiro, apesar da importância de publicar, muitos pesquisadores – talvez em especial os estudantes de mestrado e doutorado – compreendem mal o processo editorial e de revisão pelos pares. Poucos estudos se debruçam sobre os fatores que os editores dos periódicos usam na avaliação (desk review) e quais os problemas mais frequentes nos artigos submetidos para avaliação em periódicos da área. Este estudo tem, assim, o potencial de contribuir para melhorar a produção e a publicação científica nacional na área, ao examinar quais os fatores mais valorizados por editores e revisores em seus pareceres, bem como quais são as lacunas mais frequentes. Assim, contribuímos para a aprendizagem dos requisitos fundamentais na preparação de um artigo para submissão a um periódico. Segundo, os resultados deste estudo podem ser explorados por editores para melhorar as diretrizes de avaliação dos artigos submetidos aos seus periódicos. Observamos que há, ainda, vários periódicos da área no Brasil que não disponibilizam aos revisores quaisquer guias para os seus pareceres.

O artigo está organizado em quatro partes. Primeiro, apresentamos uma breve revisão de literatura focada na revisão e nos critérios de avaliação. A metodologia, na segunda parte, inclui a descrição dos procedimentos metodológicos, do instrumento e da amostra. A terceira parte inclui os resultados, que são apresentados de forma eminentemente descritiva das respostas obtidas. Concluímos com uma discussão dos resultados obtidos, apontando limitações e sugestões para pesquisa futura.

Revisão da literatura

Revisores

A avaliação por pares é um processo da ciência para a própria ciência, cuja origem data da revolução científica no século XVI, em que os pesquisadores necessitavam de patronos para sua pesquisa (DAVYT; VELHO, 2000). Esses patronos, que não detinham o conhecimento científico, contratavam outros pesquisadores para avaliar a validade das propostas de trabalhos do pesquisador proponente. Assim, o objetivo da avaliação pelos pares (ou peer review) é chegar, por meio de julgamento, a um veredito sobre os méritos do trabalho (ou artigo) científico, em uma prática baseada no julgamento por especialistas da área (MILLER et al., 2013).

Nos últimos 50 anos, o número de publicações científicas cresceu exponencialmente (vide:LARSEN; VON INS, 2010). No Brasil, por exemplo, a produção científica tem aumentado em relação à maioria dos países, atingindo a 13ª posição no ranking mundial (MORITZ et al., 2013). No entanto, apesar da evolução em quantidade de artigos, a qualidade da produção científica brasileira está, ainda, aquém da realizada pelos pares internacionais (BERTERO et al., 2013). Um elemento que pode ser crucial para melhorar a qualidade da produção científica nacional para conseguir penetrar em esferas internacionais está em uma revisão do processo editorial dos periódicos do país (BERTERO et al., 2013).

Os revisores científicos têm a função de auxiliar o editor na decisão sobre quais artigos publicar. A face visível dessa função é o parecer que elaboram, em que avaliam a qualidade dos artigos e apontam limitações, falhas e lacunas, mas, também, propondo sugestões e comentários construtivos para melhoria (PAVAN; STUMPF, 2009), dentro do prazo, de maneira imparcial, correta, educada e cordial (BEDEIAN, 2003; FERREIRA, 2013). O processo de revisão por pares já recebeu a atenção de vários pesquisadores (vide:HAMERMESH, 1994; BEYER; CHANOVE; FOX, 1995; STARBUCK, 2003; SEIBERT, 2006), sendo que o fundamental é que um trabalho, para ser publicado, precisa ser “validado” pelos pares. Essa validação assenta em uma avaliação dos méritos do artigo, e indiretamente da pesquisa subjacente realizada, em aspectos como o rigor metodológico e conceitual, a relevância, a capacidade de comunicar a mensagem e a contribuição. Os editores buscam revisores com expertise nas diferentes áreas abrangidas pelo escopo editorial dos periódicos que dirigem para compor seus quadros de pareceristas (MOOS; HAWKINS, 2009). Na seleção dos revisores são considerados diversos aspectos, como a relevância do pesquisador em sua área de estudo (que pode ser avaliada pela notoriedade e histórico de publicações), a nacionalidade (assumindo uma vertente internacional da pesquisa e do conhecimento), a rapidez na devolução e a qualidade dos pareceres (BEDEIAN; VAN FLEET; HYMAN, 2009). A seleção criteriosa dos revisores é uma garantia da qualidade do seu trabalho. No entanto, a heterogeneidade de características dos revisores aumenta a relevância de entender quais os critérios usados na avaliação dos artigos.

O processo de revisão decorre, na maioria dos casos, no sistema de double blind review (FERREIRA, 2013). Esse sistema significa que os pesquisadores não sabem quem são os revisores, e os revisores não conhecem a identidade dos autores dos artigos que são solicitados a avaliar (MOOS; HAWKINS, 2009; MILLER et al., 2013). Apesar de alguns autores (vide:JUSTICE et al., 1998; HOJAT; GONNELLA; CAELLEIGH, 2003) defenderem que há uma inabilidade de efetivamente dar anonimidade aos pesquisadores mais famosos em suas áreas, esse tipo de revisão tenta fornecer uma imparcialidade para os pareceres, o que se estima contribuir para melhorar a qualidade do processo editorial (LAZAROIU, 2009). Em todo o caso, o processo de avaliação pelos pares não é perfeito e diversas limitações e disfunções têm sido apontadas (STARBUCK, 2005). Entre elas lentidão, dificuldade em detectar fraudes e erros estatísticos, rejeição de novas ideias, possibilidade de plágio, dupla submissão, subjetividade, conservadorismo e favorecimento às redes elitistas (PAVAN; STUMPF, 2009).

Critérios de avaliação e rejeição

Um dos desfechos possíveis de um artigo submetido à avaliação em periódico é a rejeição (EHARA; TAKAHASHI, 2007; DINIZ, 2013; FERREIRA 2013). Obviamente, a rejeição é um desfecho indesejado por todos os pesquisadores (RADFORD; SMILLIE; WILSON, 1999). Há vários motivos que influenciam a decisão de aceitação ou rejeição dos artigos. A rejeição direta pelo editor-chefe do periódico, ou em desk reject, está comumente associada à falta de adequação ao escopo ou à proposta editorial do periódico (CLARK; FLOYD; WRIGHT, 2006). Mas a rejeição pode ser motivada por uma diversidade de outros aspectos, como um design inadequado do estudo (BORNMANN; WEYMUTH; DANIEL, 2009); conclusões não apoiadas pelos dados; resultados pouco originais, previsíveis e triviais; falhas metodológicas (KASSIRER; CAMPION, 1994; BYRNE, 2000; EHARA; TAKAHASHI, 2007); a ausência de contribuição e uma redação de fraca qualidade (FISKE; FOGG, 1990; HUFF, 1990). Efetivamente, a ausência de contribuição para a ciência, inovação, ou novidade, pode ser uma falha letal para o artigo (RADFORD; SMILLIE; WILSON, 1999; BYRNE, 2000; TURCOTTE; DROLET; GIRARD, 2004; CLARK; FLOYD; WRIGHT, 2006; BORNMANN; WEYMUTH; DANIEL, 2009).

A forma como os artigos são avaliados, ou os critérios seguidos, respeitam normas comuns definidas explicita ou tacitamente pela comunidade científica, mas mantém alguma subjetividade que manifesta as preferências pessoais de cada revisor (BEDEIAN; VAN FLEET; HYMAN, 2009). Na academia brasileira, Bertero, Caldas e Wood Junior (1999) constataram existir uma grande heterogeneidade nos critérios de avaliação da produção científica, tanto da parte das próprias publicações quanto pelos revisores científicos. Bertero, Caldas e Wood Junior (1999), tratando especificamente o contexto brasileiro, concluíram que as variáveis mais importantes na opinião dos avaliadores científicos são a consistência e a coerência, contribuição teórica, atualidade, nível de informação, rigor metodológico, concepção, legibilidade, utilidade para pesquisa futura, originalidade e inovação, oportunismo, eficácia da execução, atratividade para o público-alvo, concisão, atratividade do texto e utilidade prática. Diante da diversidade de critérios, Bornmann, Weymuth e Daniel (2009) delimitaram nove aspectos que estão usualmente presentes nos pareceres dos revisores e que são aspectos determinantes para o aceite ou a rejeição do artigo (vide também: FERREIRA, 2013): (1) contribuição teórica; (2) escrita e apresentação do artigo; (3) design e conceito de pesquisa; (4) método e estatística; (5) discussão dos resultados; (6) qualidade das referências; (7) linha teórica utilizada; (8) reputação e filiação institucional do autor; e, por fim, (9) alinhamento com os preceitos éticos. Delineamos a apresentação de cada um dos aspectos postulados por Bornmann, Weymuth e Daniel (2009) em seguida.

A relevância do artigo em sua contribuição para a ciência é um dos fatores mais importantes na avaliação (vide:RADFORD; SMILLIE; WILSON, 1999; BYRNE, 2000; TURCOTTE; DROLET; GIRARD, 2004; CLARK; FLOYD; WRIGHT, 2006; BORNMANN; WEYMUTH; DANIEL, 2009; KUMAR; RAFIQ; IMAM, 2010). Geralmente, esse critério define se o artigo será enviado à avaliação dos pareceristas, pois falhas técnicas podem ser corrigidas, porém, um artigo sem contribuição não apresentará grandes melhoras nas rodadas de revisão.

A qualidade da redação é composta pela clareza na argumentação, didática, estilo de escrita, gramática, formalidade e apresentação inequívoca dos resultados. Esse critério está entre os principais alvos de comentários dos revisores em seus pareceres. Na maioria das vezes, o processo de revisão contribui fortemente para uma melhor legibilidade e clareza dos artigos (BORNMANN; WEYMUTH; DANIEL, 2009; KUMAR; RAFIQ; IMAM, 2010). O design, ou conceito dos artigos, é pautado pela estrutura conceitual, a adequação do estudo aos seus objetivos, sua consistência e plausibilidade. O design da pesquisa inclui a formulação de hipóteses e a construção de proposições e precisa ser bem construído para suportar as hipóteses/proposições criadas e promover sua observação (BYRNE, 2000).

A seção de método, por sua vez, representa como o pesquisador operacionalizou o seu estudo, contendo a forma de coleta dos dados, tratamentos estatísticos e de interpretação dos dados (BORNMANN; WEYMUTH; DANIEL, 2009). Alguns dos problemas metodológicos podem ser contornados por novos tratamentos de dados, mas problemas mais profundos, como amostra inadequada dos dados, podem invalidar todo o artigo. O método precisa ser adequado ao estudo e corretamente empregado, pois essa é a seção que mais comumente leva à rejeição dos artigos (BYRNE, 2000).

A discussão dos resultados dos artigos costuma compreender uma explicação detalhada e com base teórica dos resultados obtidos. Essa seção necessita ser clara, objetiva e correta para a compreensão dos estudos (BORNMANN; WEYMUTH; DANIEL, 2009). Essa discussão precisa se utilizar dos trabalhos anteriores para ser considerada adequada. O referencial teórico utilizado determina a qualidade e a atualidade da discussão proposta pelo pesquisador. Referências atuais, de alto impacto e relevantes são essenciais para que a revisão de literatura seja adequada (BORNMANN; WEYMUTH; DANIEL, 2009). Além do referencial teórico, Bornmann, Weymuth e Daniel (2009) destacam um fator específico para a linha teórica utilizada. A “teoria” que permeia o artigo precisa estar alinhada com as linhas teóricas estudadas por outros autores, mas também é relevante que os artigos busquem adicionar alguma contribuição para essas linhas teóricas.

Quando observadas as publicações que não correm no sistema de double blind review, a reputação do autor e sua filiação institucional tornam-se critérios que podem determinar a publicação ou rejeição de um artigo. Apesar da grande maioria dos periódicos nacionais correrem no sistema de revisão às cegas, alguns pesquisadores (JUSTICE et al., 1998; HOJAT; GONNELLA; CAELLEIGH, 2003) apontam que esse sistema pode falhar em mascarar a identidade dos autores. Assim, a reputação e a filiação institucional tornam-se fatores relevantes.

O último aspecto apontado por Bornmann, Weymuth e Daniel (2009) é a ética. A ética representa a compatibilidade do artigo com os preceitos éticos acordados pela academia. Problemas éticos na pesquisa em administração podem envolver, por exemplo, o uso de dados sigilosos ou informações privilegiadas sem o consentimento das empresas pesquisadas.

Método

O estudo empírico realizado incidiu sobre a identificação de quais são os principais problemas identificados nos artigos submetidos à avaliação em periódicos de administração no Brasil e que conduzem à rejeição de publicação.

Instrumento e variáveis

O estudo empírico foi assente em dados empíricos coletados por questionário feito com editores-chefes dos periódicos. O questionário foi adaptado de Byrne (2000), sobre os fatores de rejeição nos periódicos de medicina, tendo sido traduzido para português – por meio de tradução e retradução (usualmente designado por translation and back translation) – e adaptado para o campo da administração e para a realidade brasileira. Manteve-se o foco em buscar entender e captar em detalhes quais são os erros e problemas mais comumente cometidos pelos pesquisadores que prejudicam a aceitação do artigo para publicação. O questionário foi alvo de um pré-teste com três editores de periódicos da área, com ajustamentos realizados.

O questionário final ficou composto por 86 itens, organizados nas oito partes seguintes: a primeira, sobre os dados do editor do periódico; a segunda, para identificar quais as seções dos artigos em que as lacunas mais comumente levam à rejeição; e as partes restantes questionam sobre os problemas mais frequentes nas principais seções do artigo (introdução, revisão, desenvolvimento conceitual e das hipóteses e proposições, metodologia nos estudos quantitativos, metodologia nos estudos qualitativos, resultados, discussão e conclusão). Os participantes foram convidados a responder as seções sobre problemas que levam à rejeição em uma escala tipo Likert de cinco pontos, que indicam a frequência com a qual o problema relatado costuma levar à rejeição do artigo. Essa escala foi ancorada em: 1 – nunca; 2 – raramente; 3 – às vezes; 4 – muitas vezes; 5 – sempre. Utilizando essa escala, foram calculadas frequências, médias e desvios padrão. A última seção questionou sobre aspectos da qualidade da redação nos artigos. Incluiu-se um espaço final para comentários livres. Foi garantido o anonimato das respostas, que foram tratadas de forma estatística agregada.

Amostra

Primeiramente, para definir a amostra, foram levantados todos os periódicos brasileiros classificados na área de “administração, ciências contábeis e turismo” no sistema Qualis CAPES. A lista resultante passou por um crivo de dois professores pesquisadores e também editores de periódicos da área de administração, para determinar quais os periódicos listados que efetivamente publicam artigos da área de “administração, ciências contábeis e turismo”. Assim, foram excluídos da amostra periódicos exclusivos de áreas como, por exemplo, a saúde e as engenharias, que também publicam artigos de pesquisadores de administração, mas não necessariamente da disciplina. Foram identificados 216 periódicos da área de administração.

Um questionário foi enviado por e-mail (na forma de um hyperlink para um formulário no Google Drive) para o editor-chefe (ou principal editor) dos 216 periódicos identificados. Foi tomado um cuidado especial para que os respondentes fossem os editores-chefes e não um(a) secretário(a) ou editor associado, pois esses têm maior experiência sobre seus periódicos, além da maioria do processo editorial passar por sua atenção. Obtivemos 82 respostas, para uma taxa de resposta de 38%. Essa é uma taxa de resposta alta, permitindo obter uma amostra que corresponde a uma parte considerável dos periódicos nacionais existentes classificados no Qualis em administração (no Apêndice 1 está a lista dos periódicos participantes da pesquisa).

Observando a distribuição dos periódicos da amostra pelo estrato Qualis, a maioria está concentrada nos estratos B2 (26,8% da amostra) e B3 (37,8% da amostra), mas a dispersão corresponde, de modo geral, à distribuição dos periódicos classificados no Qualis, ainda que com menor representação nos estratos mais baixos, B5 (4,9% da amostra) e C (1,2% da amostra). Os estratos mais altos, A2 e B1, corresponderam a 7,3% e 13,4% da amostra total, respectivamente. Em termos de valores absolutos, participaram seis editores de periódicos A2, 11 de B1, 22 de B2, 31 de B3, 7 de B4 e apenas 1 do estrato C. Quanto à experiência, a maioria (63,4%) dos editores ocupa o cargo há quatro anos ou menos, e 31,7% há dois anos ou menos. Apenas 12,2% ocupa o cargo de editor há mais de 10 anos.

Resultados

Em face da evidência de que a taxa de rejeição imediata pelo editor (desk rejection) é superior a 50% na maioria das publicações internacionais (CLARK; FLOYD; WRIGHT, 2006; FERREIRA, 2013), entre os periódicos brasileiros analisados essa taxa é comparativamente mais baixa. As respostas ao item “Em 2013, qual, aproximadamente, a porcentagem média de rejeição direta – desk rejection – dos artigos submetidos ao seu periódico?” revelou que, em quase metade dos periódicos, apenas cerca de 20% dos artigos submetidos têm rejeição direta pelo editor, sendo o restante enviado para avaliação por revisores. No entanto, as taxas de rejeição totais (somando as rejeições diretas pelo editor e pelos revisores) são relativamente altas, com a maioria dos periódicos com um percentual de rejeição superior a 40%. Como era esperado, as taxas de rejeição variam com o estrato do periódico, sendo que os periódicos em estratos mais altos têm índices de rejeição superiores (corroborando FERREIRA, 2013). Por exemplo, a maioria dos periódicos do estrato A2 apresenta taxas de rejeições (por editores e revisores) superiores a 81%, enquanto os periódicos dos estratos B1 apresentam taxas de 41-60%, e os dos estratos mais baixos (B4, B5, C) apresentam taxas de 21-40% com maior frequência. Ainda assim, os níveis de rejeição globais nos periódicos brasileiros da área são inferiores à média mundial de 57%, identificada por Bornmann, Weymuth e Daniel (2009).

Motivos para rejeição

A primeira análise incidiu sobre as seções que levam à rejeição pelos editores no desk review. Os resultados indicam que há problemas identificados em todas as seções dos artigos, mas que são mais proeminentes em algumas seções. Especificamente, a seção que mais tende a contribuir para a rejeição direta (desk rejection) por editores é a de método (M = 3,86) (Tabela 1), sendo o item que atingiu também o menor desvio padrão, revelando uma maior unanimidade entre os editores de que essa é a seção com mais falhas. As seções de discussão (M = 3,77), de desenvolvimento conceitual e de hipóteses/proposições (M = 3,76) e de resultados (3,69) também têm pontuações altas. A análise da distribuição das respostas identifica que as seções que “muitas vezes” levam à rejeição são revisão de literatura (53,2%), desenvolvimento conceitual (63,8%), método (59,3%), resultados (53,8%) e discussão (58%). O título e o resumo são as seções que menos conduzem à rejeição direta.

Tabela 1
Seções dos artigos que mais frequentemente levam à rejeição direta.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Título	32,1	45,7	19,8	2,5	-	1,93	0,79
Resumo	17,3	35,8	32,1	14,8	-	2,44	0,95
Introdução	7,4	27,2	44,4	18,5	2,5	2,81	0,91
Revisão da literatura Desenvolvimento	1,3	10,4	28,6	53,2	6,5	3,53	0,82
conceituai e hipóteses/ proposições	-	5,0	22,5	63,8	8,8	3,76	0,68
Método	-	-	27,2	59,3	13,6	3,86	0,63
Resultados	-	5,0	31,3	53,8	10,0	3,69	0,72
Discussão	-	6,2	23,5	58,0	12,3	3,77	0,75
Conclusão	1,2	13,6	37,0	44,4	3,7	3,36	0,81

• Fonte: Dados da Pesquisa.

Esses dados suportam os resultados de Byrne (2000), que indicou a seção de método como a que mais conduz à rejeição. O segundo escore mais alto foi discussão, apontada por Bornmann, Weymuth e Daniel (2009) como uma seção de grande importância para a qualidade do artigo. Importa referir que nessa seção os pesquisadores integram resultados com a teoria, apontam limitações, pesquisa futura e esclarecem a contribuição.

Em segunda instância, questionamos sobre os principais problemas que fundamentam a rejeição direta pelos editores (Tabela 2). Os dados mostram que a contribuição do estudo à ciência e conhecimento (M = 3,78) é o principal fator na decisão de aceitação ou rejeição. As deficiências no método utilizado (M = 3,69) e nas hipóteses e argumentações (M = 3,62) também são áreas nas quais tende a haver problemas. Foi apontado por 21% dos editores que “sempre” há problemas de contribuição insuficiente nos artigos rejeitados. É possível também perceber que os problemas são transversais a todos os itens, pois observamos escores altos na maioria das respostas.

Tabela 2
Problemas gerais que mais comumente levam à rejeição direta.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Conceito (design) do estudo inadequado	3,8	13,8	36,3	33,8	12,5	3,38	1
Tópico pouco importante ou irrelevante	4,9	17,3	30,9	33,3	13,6	3,33	1,07
Problemas na qualidade da revisão da literatura	1,3	5,1	35,4	51,9	6,3	3,57	0,75
Hipóteses e argumentações pobres	1,2	4,9	32,1	54,3	7,4	3,62	0,75
Deficiências no método Questão de pesquisa e	2,5	7,4	21,0	56,8	12,3	3,69	0,88
problematização pouco clara ou inexistente	2,5	12,3	32,1	37,0	16,0	3,52	0,99
Contribuição insuficiente ou pouco clara	-	8,6	25,9	44,4	21,0	3,78	0,88
Apresentação confusa dos resultados	2,5	6,2	34,6	50,6	6,2	3,52	0,81
Interpretação insatisfatória dos resultados	2,5	5,0	41,3	45,0	6,3	3,48	0,8
Problemas de redação	4,9	23,5	35,8	30,9	4,9	3,07	0,97
Organização (ou estrutura) inadequada do artigo	3,7	32,1	32,1	23,5	8,6	3,01	1,03

• Fonte: Dados da Pesquisa.

Os dados apontam falhas em todos os aspectos, inclusive no nível da organização (estrutura) do artigo, de apresentação dos resultados, de redação, entre outros. É possível que as insuficiências estejam relacionadas com a preparação dos pesquisadores nos programas de mestrado e doutorado e, inclusive, as limitações na aprendizagem de métodos estatísticos (FIATES; SERRA; MARTINS, 2014). Mas, também é possível que a pressão para publicar tenha um preço na qualidade geral dos artigos submetidos à avaliação, com favorecimento da quantidade em detrimento da qualidade e da contribuição científica (MILLER; TAYLOR; BEDEIAN, 2011), na tentativa de publicar pesquisas que ainda não tiveram o tempo de maturação necessário. Ou seja, a urgência poderá induzir menor cuidado metodológico, de redação, etc. Esses resultados indicam a necessidade de equacionar ou repensar os métodos de incentivo aos pesquisadores e a própria formação dada nos programas doutorais. A necessidade por trabalhos que efetivamente contribuem para a teoria é unânime entre os estudos que levantam os problemas que levam os artigos à rejeição de publicação (vide:RADFORD; SMILLIE; WILSON, 1999; BYRNE, 2000; CLARK; FLOYD; WRIGHT, 2006; BORNMANN; WEYMUTH; DANIEL, 2009; KUMAR; RAFIQ; IMAM, 2010).

Ainda que não tenha sido abordado no questionário, em comentário livre, vários editores apontaram que um motivo frequente para a rejeição direta é a inadequação dos artigos ao escopo do periódico. Um dos editores observou que, “Apesar das limitações encontradas em parte expressiva dos artigos submetidos, o principal motivo da reprovação de textos submetidos [...] é a falta de aderência do tema explorado pelo(s) autor(es) ao conceito editorial da revista”. Outro revisor suporta essa alegação, afirmando que “Vários autores submetem os trabalhos para avaliação, sem a verificação de seu alinhamento com o histórico de artigos publicados”.

De modo similar, os problemas de escopo podem ser acompanhados por ausência de contribuição efetiva, como refere outro editor: “Muitos artigos são rejeitados ou por não atender ao foco da revista ou por serem apenas revisões teóricas de conhecimento já consolidado na literatura”. Mas, importa notar que há pontos de vista diferentes nas práticas de avaliação editorial. Por exemplo, um editor refere: “A revista […] utiliza o sistema duplo-cego de avaliação por pares. Isso significa que a rejeição direta de artigos ocorre unicamente nos casos de manuscritos fora do foco/escopo do periódico, plágio e autoplágio, e insuficiência científica notória”.

Lacunas específicas de cada seção do artigo

Nesta parte, analisamos cada uma das seções do artigo, tendo questionado especificamente em que parte residem as falhas e lacunas apontadas nos pareceres dos revisores. Ou seja, questionamos os editores-chefes sobre as concentrações relativas de comentários dos revisores quanto aos problemas mais frequentes em cada uma das seções do artigo. Questionar os editores é a melhor solução, dado que esses acedem a inúmeros pareceres e conseguem formular uma perspectiva mais abrangente do que seria possível obter inquirindo uma amostra de revisores.

Na seção de introdução (Tabela 3), são mais evidentes as lacunas na apresentação clara de qual é a questão da pesquisa (M = 3,43), a falta de ineditismo (M = 3,28) e a ausência ou insuficiência na explicitação da contribuição para a teoria (M = 3,25). No entanto, problemas na apresentação do posicionamento teórico, fluidez no raciocínio, insuficiente apresentação do método e mesmo problemas de redação emergem como barreiras substanciais à publicação. Esses resultados evidenciam a importância dos autores esclarecerem o intuito do artigo logo na introdução. Ou seja, seguindo a tendência internacional, importa deixar bem evidente qual a questão de pesquisa e contribuição, ou implicação, do estudo. É possível perceber a importância de um alinhamento entre a questão de pesquisa – o que o artigo pretende – e a metodologia – como ele fará isso – logo na introdução, assim como descrito por Clark, Floyd e Wright (2006).

Tabela 3
Problemas frequentes na introdução dos artigos.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Não apresenta adequadamente o enquadramento teórico ou conceituai	3,7	14,8	49,4	32,1	-	3,1	0,78
Não apresenta claramente a questão de pesquisa	1,2	7,4	42,0	45,7	3,7	3,43	0,74
Raciocínio confuso, contraditório	1,3	16,3	48,8	30,0	3,8	3,19	0,8
Não dá detalhes suficientes sobre os procedimentos metodológicos	3,7	14,8	40,7	38,3	2,5	3,21	0,86
Desinteressante (chato)	12,3	40,7	32,1	12,3	2,5	2,52	0,95
Não indica qual a contribuição	5,0	18,8	31,3	36,3	8,8	3,25	1,03
Há um desajustamento entre o título ou a questão de pesquisa e o que efetivamente o artigo faz	3,7	22,2	50,6	18,5	4,9	2,99	0,87
Redação deficiente, pobre, confusa	2,4	15,9	47,6	29,3	4,9	3,18	0,85
Não há ineditismo	5,0	11,3	38,8	41,3	3,8	3,28	0,9

• Fonte: Dados da Pesquisa.

Os problemas mais frequentes na seção de revisão de literatura (Tabela 4) estão ligados à falta de referências fundamentais (M = 3,37), qualidade da escrita (M = 3,37) – este foi referenciado com maior unanimidade (com desvio padrão mais baixo, com 0,70) –, ausência de referências a artigos recentes (M = 3,31) e pouca utilização de literatura estrangeira (M = 3,26). Os dados apontam várias deficiências na construção do referencial teórico e na escolha de o que referenciar. As lacunas e carências emergem na falta de referências fundamentais, mas, também, no equilíbrio entre os trabalhos seminais e referências atuais que englobem os progressos mais recentes (BORNMANN; WEYMUTH; DANIEL, 2009; KUMAR; RAFIQ; IMAM, 2010). As evidências também apontam que os editores observam a necessidade de melhorar a redação científica, que pode permitir melhorar o embasamento mal escrito (apontado por 45,7%).

Tabela 4
Problemas frequentes na revisão de literatura.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Embasamento desconexo ou mal escrito	-	11,1	42,0	45,7	1,2	3,37	0,7
Referências muito novas (não leva em consideração o passado da teoria)	11,1	44,4	33,3	9,9	1,2	2,46	0,87
Referências muito antigas e sem considerar artigos recentes	2,5	14,8	42,0	30,9	9,9	3,31	0,93
Referências fundamentais são ignoradas	-	14,6	41,5	36,6	7,3	3,37	0,82
Não segue uma linha teórica definida	1,2	21,0	35,8	37,0	4,9	3,23	0,88
Texto pouco claro	3,7	14,8	46,9	28,4	6,2	3,19	0,9
Não revê literatura nacional	12,7	31,6	32,9	19,0	3,8	2,7	1,04
Não revê literatura estrangeira	3,7	18,5	32,1	39,5	6,2	3,26	0,96

• Fonte: Dados da Pesquisa.

Na seção de desenvolvimento conceitual e de hipóteses/proposições, todos os itens (Tabela 5) aparentam altas pontuações. Assim, essa seção tende a apresentar lacunas ao nível da ausência de novidade na abordagem conceitual do estudo (M = 3,37), pouca clareza na argumentação das hipóteses e proposições (M = 3,38) e má formulação das hipóteses e proposições (M = 3,37), que podem estar incorretamente redigidas ou não argumentam realmente a relação proposta entre as variáveis. Esses dados mostram, assim, a necessidade de fortalecer a concepção do estudo como um todo. Novamente, é possível retomar a discussão de Miller, Taylor e Bedeian (2011) sobre os problemas causados pela pressão para publicação, um obstáculo comum para a criatividade e inovação nos estudos submetidos à avaliação em periódicos.

Tabela 5
Problemas frequentes no desenvolvimento conceituai e de hipóteses/proposições.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Problemas na concepção da pesquisa (research design)	1,3	16,5	39,2	41,8	1,3	3,25	0,79
Não há novidades na abordagem conceitual	2,5	11,1	37,0	45,7	3,7	3,37	0,83
A argumentação das hipóteses/proposições não é clara ou não sustenta as hipóteses	2,5	7,4	45,7	38,3	6,2	3,38	0,81
Hipóteses/proposições mal formuladas (mal escritas ou sem relações entre variáveis)	1,2	13,6	39,5	38,3	7,4	3,37	0,86

• Fonte: Dados da Pesquisa.

Para identificar as lacunas e insuficiências na seção de metodologia, inquirimos diferenciadamente sobre estudos quantitativos (Tabela 6) e qualitativos (Tabela 7). A literatura existente sobre motivos de rejeição pouco tem explorado problemas específicos aos estudos qualitativos. É possível que, pelo menos em parte, isso se deva à predominância de artigos quantitativos nos periódicos internacionais de maior impacto (vide:AZORÍN; CAMERON, 2010; PHELAN; FERREIRA; SALVADOR, 2002), com tendência inclusive decrescente na publicação de trabalhos qualitativos e estudos de caso. No Brasil, em contraste, há ainda alguma predominância de estudos qualitativos, mais fortemente baseados em estudos de caso únicos ou múltiplos, no campo da administração (SERRA; FIATES; FERREIRA, 2008; FIATES; SERRA; MARTINS, 2014), justificando a pertinência de diferenciarmos essa análise.

Tabela 6
Problemas frequentes na metodologia de estudos quantitativos.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Não coletou variáveis que poderiam influenciar a interpretação dos resultados	4,9	17,3	44,4	32,1	1,2	3,07	0,86
Amostra enviesada com baixa representatividade da população estudada	3,7	11,1	37,0	39,5	8,6	3,38	0,93
Não considerou variáveis de controle que influenciam as relações estudadas	3,7	18,5	38,3	34,6	4,9	3,19	0,92
Dimensão inadequada da amostra	1,2	18,5	38,3	35,8	6,2	3,27	0,88
Informação insuficiente sobre os dados	1,2	12,2	42,7	36,6	7,3	3,37	0,84
Forma de tratamento dos dados que não é a mais adequada	2,5	14,8	39,5	37,0	6,2	3,3	0,89
As variáveis não são suficientemente explicadas	3,8	15,0	38,8	35,0	7,5	3,28	0,94
Problemas de controle de qualidade dos dados	3,7	12,3	46,9	30,9	6,2	3,23	0,88

• Fonte: Dados da Pesquisa.

Tabela 7
Problemas frequentes na metodologia de estudos qualitativos.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Não coletou informações que poderiam influenciar a interpretação dos resultados	2,5	13,9	49,4	34,2	-	3,15	0,75
Não evidencia como o caso ou os dados foram escolhidos	3,8	22,8	25,3	39,2	8,9	3,27	1,03
Problemas de controle de qualidade das fontes	2,5	22,8	40,5	31,6	2,5	3,09	0,87
Amostra enviesada (p. ex., entrevistou as pessoas erradas)	7,6	30,4	31,6	26,6	3,8	2,89	1,01
Triangulação ruim ou inexistente dos dados	7,6	16,5	24,1	43,0	8,9	3,29	1,09
Roteiro de pesquisa inadequado	3,8	21,8	43,6	25,6	5,1	3,06	0,92
Insuficiente apresentação dos procedimentos metodológicos utilizados	3,8	13,8	27,5	41,3	13,8	3,48	1,02

• Fonte: Dados da Pesquisa.

Nos artigos quantitativos (Tabela 6), foram expressos altos escores em todos os itens, como revelam escores superiores a 3 em uma escala de 5 pontos. Ainda assim, nota-se maior destaque para problemas provenientes de amostras com baixa representatividade da população (M = 3,38), pouca informação sobre os dados (M = 3,37) e forma menos adequada no tratamento dos dados (M = 3,30). Os problemas de se ter uma amostra enviesada também receberam respostas que indicam alta incidência, sendo 39,5% “Muitas vezes” e 8,6% “Sempre”. O menor desvio padrão foi obtido em relação à informação insuficiente sobre os dados (0,84), demonstrando a perspectiva mais unânime entre os editores. Byrne (2000) também realçou os problemas emergentes de amostras enviesadas e com baixa representatividade.

Em comentário livre, alguns editores apontaram problemas nas práticas da academia. Um editor de periódico em finanças indicou que: “Alunos de cadeiras de metodologia (geralmente econometria) que fazem um estudo estatisticamente decente, mas sem qualquer significado em finanças. Apenas estudam (com técnicas ás vezes sofisticadas) um conjunto de variáveis, mas, por não conhecerem a matéria, fazem hipóteses e análises pueris. No outro extremo, pessoas com boa experiência e formação na área, mas sem domínio metodológico, fazem proposições interessantíssimas, mas com execução extremamente pobre”. Outro editor referiu que “A metodologia dos estudos são, em sua maioria, repetições, réplicas de estudos ‘já emplacados’, não trazem nenhuma inovação”. A melhoria na metodologia é uma das áreas em que os programas de Pós-graduação podem intervir para superar as lacunas, por exemplo, oferecendo uma qualificação mais sólida em metodologia, talvez com o reforço de disciplinas e a criação de laboratórios aplicados.

Nos estudos com metodologia qualitativa mantêm-se as insuficiências na apresentação dos procedimentos seguidos, coleta e triangulação dos dados. Em essência, essas carências relevam a utilização inadequada dos preceitos para estudos dessa natureza. É possível ver um alerta quanto aos problemas de triangulação, apontados como muito frequentes por 43% dos editores. A triangulação dos dados contribui fortemente para a relevância dos estudos qualitativos, tendo impacto direto na robustez dos artigos.

Novamente, na seção de apresentação dos resultados, observamos médias altas para todos os itens (Tabela 8), com destaque para lacunas no tratamento dos dados (M = 3,64) e pouca clareza na apresentação dos resultados (M = 3,65). Segundo Radford, Smillie e Wilson (1999), resultados pouco claros resultam em pareceres de rejeição curtos e diretos por parte dos avaliadores. É relevante, ainda, evidenciar o reporte da ausência de outputs de análise essenciais para a compreensão e verificação dos resultados, assim como a ausência de indicação explícita dos resultados dos testes de hipóteses.

Tabela 8
Problemas na apresentação dos resultados.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Tratamento superficial ou inadequado dos dados	1,4	2,7	37,8	47,3	10,8	3,64	0,77
Técnica estatística inadequada face aos dados	4,3	1,4	52,2	30,4	11,6	3,43	0,88
Apresentação dos resultados pouco clara	2,8	2,8	32,4	50,7	11,3	3,65	0,83
Não inclui outputs essenciais (p. ex., falta tabela de correlações)	3,2	3,2	57,1	33,3	3,2	3,3	0,73
O artigo tem hipóteses, mas não mostra os resultados dos testes estatísticos	3,1	6,3	48,4	37,5	4,7	3,34	0,8

• Fonte: Dados da Pesquisa.

Os problemas mais comuns nas seções de discussão e conclusão dos artigos (Tabela 9) estão na ausência de conversação entre os resultados e a teoria (M = 3,70), não indicação de implicação para a teoria (M = 3,57) e na ausência de uma explicação sobre qual a contribuição do artigo (M = 3,53). A falta de implicações teóricas e a falta de explicação do contributo têm a maior incidência de respostas “Muitas vezes”. Resultados não apoiados pela teoria são um dos principais problemas (BYRNE, 2000) dos artigos rejeitados, assim como a não explicitação de qual a contribuição almejada.

Tabela 9
Problemas frequentes na discussão e conclusão dos artigos.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Pouca ou nenhuma implicação para a teoria	1,2	12,3	21,0	59,3	6,2	3,57	0,84
Apresenta os resultados na discussão	2,5	25,0	37,5	32,5	2,5	3,08	0,88
O artigo não apresenta sugestões para pesquisa futura	3,7	23,5	37,0	27,2	8,6	3,14	1
Não apresenta limitações da pesquisa	1,2	18,5	48,1	25,9	6,2	3,17	0,85
Não conversa com o referencial teórico	0	7,4	29,6	48,1	14,8	3,7	0,81
Demasiado viés na interpretação dos resultados	3,7	27,2	33,3	34,6	1,2	3,02	0,91
Não esclarece qual a contribuição do artigo	0	11,1	30,9	51,9	6,2	3,53	0,78
Não conclui efetivamente	3,7	8,6	34,6	45,7	7,4	3,44	0,89

• Fonte: Dados da Pesquisa.

Problemas de redação

Finalmente, concluímos inquirindo sobre um aspecto transversal a todo o texto do artigo submetido: a qualidade da redação. A redação é crucial para uma boa comunicação. A Tabela 10 expõe os dados e ilustra que os principais problemas de redação são a má construção das frases (M = 3,44), deficiências na gramática e sintaxe (M = 3,39) e no fluxo confuso de ideias (M = 3,25). O menor desvio padrão observado foi no fluxo de ideias (0,74), corroborando com Byrne (2000). Por outro lado, itens como a complexidade desnecessária (39,5%) e o uso de pronomes indefinidos (29,6%) foram apontados como pouco frequentes. Importa a esse respeito assinalar que a inclusão de uma seção questionando sobre a qualidade da redação emergiu nos pré-testes com os editores, que assinalaram ser essa uma deficiência significativa nos artigos submetidos. Assim, não há muito na literatura internacional sobre deficiências na redação dos artigos acadêmicos com que possamos contrastar os nossos dados. Essa é mais uma vertente a ser ponderada pelas direções dos programas de stricto sensu.

Tabela 10
Problemas frequentes na redação dos artigos.

Itens	Nunca (%)	Poucas vezes (%)	Às vezes (%)	Muitas vezes (%)	Sempre (%)	Média	Desvio padrão
Fluxo de ideias confuso	-	16,3	43,8	38,8	1,3	3,25	0,74
Deficiências na gramática e sintaxe	1,2	17,1	30,5	43,9	7,3	3,39	0,9
Má construção das frases	1,2	13,4	31,7	47,6	6,1	3,44	0,85
Pontuação inadequada	2,4	22,0	36,6	35,4	3,7	3,16	0,9
Uso de pronomes indefinidos, que dificultam a leitura (p. ex.: um, aquele)	3,7	29,6	39,5	25,9	1,2	2,91	0,87
Complexidade desnecessária (pretenciosismo acadêmico)	2,5	39,5	35,8	17,3	4,9	2,83	0,92
Qualificações desnecessárias (p. ex.: adjetivos, advérbios, juízo de valor)	1,2	29,6	34,6	29,6	4,9	3,07	0,92
Texto repetitivo	1,2	23,5	35,8	33,3	6,2	3,2	0,91
Falta de desenvolvimento e de explicações importantes	1,2	14,8	38,3	39,5	6,2	3,35	0,85
Fluxo dos parágrafos que não é coerente	3,7	23,5	34,6	32,1	6,2	3,14	0,97

• Fonte: Dados da Pesquisa.

Discussão

Neste estudo, analisamos os principais problemas encontrados nos artigos submetidos à avaliação por periódicos que os conduzem à rejeição. Para o efeito, utilizamos um questionário para a coleta de dados com editores-chefes de periódicos brasileiros de administração. O questionário inquiriu essencialmente sobre lacunas e falhas nos artigos submetidos que podem conduzir à rejeição. Os resultados contribuem para termos uma perspectiva factual de quais são os principais problemas encontrados nos artigos, e têm um contributo potencial de permitir aos pesquisadores e instituições desenvolver ações para superar as insuficiências e elevar o volume e a qualidade das suas publicações. Os resultados são, também, pertinentes para os pesquisadores – em especial aos estudantes em programas stricto sensu, ao evidenciarem aspectos que merecem mais atenção antes de efetuar a submissão. Podemos, assim, entender os itens nas várias análises expressas como um check list para uma verificação final antes da submissão.

O que falha nos artigos

Os resultados mostram que as seções dos artigos submetidos que mais comumente levam à rejeição são o método, o desenvolvimento conceitual e a discussão. Já o principal problema dos artigos é a falta de contribuição efetiva para a teoria ou prática ou, pelo menos, a sua não explicitação. É interessante notar que, genericamente, todos os itens enumerados no questionário foram alvo de uma avaliação bastante negativa, quase consistentemente com escores acima de 3 em uma escala de 5 pontos. Ou seja, há efetivamente inúmeras lacunas que permeiam todas as seções dos artigos submetidos à avaliação em periódicos da área.

Na análise das seções do artigo, podemos identificar quais os principais problemas que importa corrigir para evitar a rejeição. De forma resumida: na seção de introdução, há problemas de clareza e ineditismo. Na revisão de literatura, há problemas na escolha de referências e na redação. No desenvolvimento conceitual, vemos problemas transversais que incluem desde a argumentação das hipóteses até a justificativa da relação proposta entre as variáveis. Na metodologia, identificam-se problemas nas explicações sobre a amostra, procedimentos seguidos, justificativa da relevância da amostra e técnicas de tratamento dos dados. Nos resultados, há problemas quanto ao tratamento dos dados e sua apresentação, incluindo não reportar os resultados do teste das hipóteses em estudos empíricos. Finalmente, nas seções de discussão e conclusão, as principais insuficiências estão no alinhamento com a teoria, na falta de implicações teóricas e de clareza quanto à contribuição do artigo.

Outro aspecto a destacar refere-se à frequência das lacunas que emergem na fase inicial de concepção dos artigos e pesquisas. A falta de relevância, rigor e contribuição é conhecida na academia brasileira (BERTERO et al., 2013). Pelo menos em parte, as deficiências apontadas pelos editores quanto à falta de inovação e de contribuição clara podem surgir de uma insuficiente maturação dos projetos de pesquisa. Ou seja, é provável que a pressão para publicar e o produtivismo acadêmico (FARIA, 2011) levem os pesquisadores a apressarem-se para a execução, sem ponderar sobre as questões metodológicas e conceituais ou o próprio debate em que o artigo irá se posicionar. Assim, submetem os seus artigos sem a necessária maturação. Esses resultados corroboram outros estudos de Bornmann, Weymuth e Daniel (2009), Turcotte, Drolet e Girard (2004), Byrne (2000) e Radford, Smillie e Wilson (1999) sobre os motivos de rejeição. As pressões para publicação constante resultam em artigos menos relevantes, menos originais e menos inovadores (MILLER; TAYLOR; BEDEIAN, 2011).

Também merecem menção explícita as deficiências de redação. Certamente os professores em programas de stricto sensu convivem com substanciais deficiências dos seus estudantes e orientandos nessa matéria. Neste estudo, os problemas de redação surgem em uma perspectiva mais ampla, não apenas na da escrita em si – construção das frases, gramática e sintaxe –, mas, também, na falta de clareza na explicação das ideias, na exposição dos argumentos, no esclarecimento das variáveis, na exposição dos resultados, etc. Ou seja, os problemas de redação acabam por ter um impacto transversal a todo o artigo. Para a direção dos programas de pós-graduação é imperativo superar essas deficiências. É possível que a inclusão de disciplinas ou workshops para melhorar a qualidade da redação possam resultar em uma melhor formação dos pesquisadores dentro das instituições, tornando os doutorandos mais preparados para a publicação. Essas deficiências na qualidade da redação já foram reconhecidas na academia brasileira (TRZESNIAK; PLATA-CAVIDES; CÓRDOBA-SALGADO, 2012; BERTERO et al., 2013), pelo que o nosso estudo permite confirmar o impacto na rejeição dos artigos.

Por fim, nosso estudo revela que os critérios de avaliação que mais levam à rejeição, de acordo com os editores e revisores brasileiros, parecem seguir as tendências encontradas nas pesquisas internacionais (vide:RADFORD; SMILLIE; WILSON, 1999; BYRNE, 2000; TURCOTTE; DROLET; GIRARD, 2004; BORNMANN; WEYMUTH; DANIEL, 2009). Essa tendência demonstra um alinhamento da academia brasileira com os padrões internacionais de avaliação. Porém, parece ainda haver problemas conceituais na produção científica brasileira que precisam ser mais bem explorados e corrigidos no futuro.

Os dados e resultados permitem algumas inferências e merecem ser analisados no sentido de contribuir diretamente para que os pesquisadores melhorem os seus trabalhos, para as instituições de ensino superior e, em especial, para os programas de stricto sensu de mestrado e doutorado tomarem ações para melhorar a qualificação dos graduados. Primeiro, destaca-se o rigor teórico e metodológico exigido para publicação. É fundamental que os estudantes de mestrado e doutorado leiam mais e compreendam os fundamentos teóricos, mas os resultados também evidenciam o reforço da capacitação metodológica. Como os dados deste estudo apontam para deficiências significativas nos estudos quantitativos e qualitativos, o problema não existe apenas ao nível das técnicas estatísticas (FIATES; SERRA; MARTINS, 2014) ou do acesso a dados, mas sim de efetiva formação nas vertentes metodológicas da pesquisa (SERRA; FIATES; FERREIRA, 2008).

Publicar ou perecer (“publish or perish”)

Os resultados obtidos têm implicações que merecem o aprofundamento do debate sobre a produção científica nacional e, possivelmente, esse debate pode ser enquadrado na lógica dominante do “publish or perish”. A política do “publicar ou perecer” está amplamente difundida na academia mundial ou, pelo menos, na maioria dos países. Essa é uma política que exige a publicação constante, como forma de valorização do pesquisador e das instituições (HOJAT; GONNELLA; CAELLEIGH, 2003). No Brasil, a discussão sobre o produtivismo acadêmico aponta a influência das instituições nacionais e seus instrumentos de governança – que seguem os exemplos de pares internacionais – na produção científica dos pesquisadores (FARIA, 2011). Pesquisadores acabam por publicar trabalhos apenas para atender às pressões institucionais (BERTERO et al., 2013). A disfunção surge quando a pressão para publicar conduz apenas a um foco em maior quantidade de artigos em detrimento de pesquisas que tenham efetivo impacto e contribuição, pontuados por criatividade e inovação (MILLER; TAYLOR; BEDEIAN, 2011). No entanto, do outro lado estão editores e revisores que buscam artigos que apresentam contribuições efetivas.

Limitações e pesquisa futura

Este estudo apresenta algumas limitações. Primeiro, o estudo restringiu-se a periódicos brasileiros o que, sendo uma opção de escopo, não permite comparações diretas com outros estudos internacionais. Pesquisa futura pode alargar o escopo a outros periódicos internacionais de administração, de modo a obter uma perspectiva abrangente das principais lacunas e, em especial, permitindo comparações com a realidade brasileira. É provável que não exista uma grande divergência nos aspectos valorizados por editores e revisores, mas as maiores diferenças podem estar na frequência com que os artigos apresentam certas deficiências. Assim, a comparação internacional pode auxiliar a alavancar a própria produção nacional, ao conseguirmos identificar quais são realmente os fatores que precisam ser mais bem trabalhados nos artigos. Esta pesquisa também pode auxiliar a conceber mecanismos de incentivo à pesquisa com a qualidade necessária para publicação internacional. Assim, pesquisas adicionais que permitam expandir o nosso conhecimento sobre os problemas que levam à rejeição, mas fundamentalmente o que faz bem um artigo publicável internacionalmente, terão uma contribuição positiva para a área no Brasil.

Este estudo também se restringiu à área de administração. Pesquisa futura pode alargar a outros domínios do conhecimento, para compreendermos quais as melhores práticas e os padrões em outros campos disciplinares. Se, previsivelmente, algumas áreas podem ter já alcançado maior maturidade, haverá indicadores sobre como melhorar em administração.

Estudos nos ramos de pesquisa e ensino em administração têm sido amplamente discutidos nos congressos da área, como o ENANPAD e o SEMEAD. Entre os temas relevantes para a expansão da pesquisa futura, destaca-se a necessidade de compreender as pressões institucionais sobre periódicos, que resultam em exigências tácitas e explícitas repassadas aos autores. Entre essas exigências, identifica-se a de que os autores citem artigos do próprio periódico (inflando os índices de citações), ou que incluam uma porcentagem de referências internacionais para passar pelo desk review, o que contribui para reforçar o fator de impacto desses periódicos estrangeiros. Esses são, também, aspectos pertinentes que incidem diretamente na conduta ética editorial que necessitam de pesquisa adicional. Outros estudos necessários envolvem analisar a própria qualidade do retorno que é dado aos autores, seja pelo editor, no desk review, seja pelos revisores nos seus pareceres. Uma linha de pesquisa relacionada prende-se com o entender o quanto os revisores conseguem selecionar os melhores artigos, ou o quanto os seus pareceres conseguem auxiliar a efetivamente melhorar a qualidade dos artigos. Finalmente, outra oportunidade para pesquisa futura relaciona-se com o paroquialismo científico e a dificuldade de publicar trabalhos que fujam ao normativo vigente ou que apresentem abordagens mais inovadoras. Artigos que trazem novas ideias e abordagens inovadoras parecem ter grande chance de serem rejeitados. Todas essas pesquisas podem envolver estudos com dados primários coletados com os principais intervenientes: pesquisadores, editores e revisores.

Neste estudo, questionou-se as opiniões dos editores de maneira subjetiva, sem observar evidências documentais. A maioria dos periódicos não coleta nem mantém registros organizados (ou pelo menos não os divulga publicamente) sobre as submissões, as rejeições e as avaliações, e tentativas de acessar os pareceres de revisores para uma análise de conteúdo não se mostraram viáveis. Seria relevante, como pesquisa futura, fazer análises aprofundadas de conteúdo dos pareceres dos revisores e dos próprios artigos submetidos, como forma de triangulação dos dados. Uma via para viabilizar essa pesquisa pode requerer a colaboração de periódicos ou de eventos, como o ENANPAD, o acesso aos pareceres e a utilização de softwares específicos de análise de conteúdo.

Considerações finais

Os pesquisadores visam conseguir publicar os resultados dos seus trabalhos de pesquisa em periódicos nacionais e internacionais. Observando literatura existente sobre as altas taxas de rejeição dos artigos submetidos e a nossa própria experiência como autores e revisores para eventos e periódicos, buscamos compreender quais as principais lacunas e deficiências que podem conduzir os artigos submetidos aos periódicos à rejeição. Os resultados sugerem que os pesquisadores podem aumentar a probabilidade de publicação, conhecendo e antecipando em que parte mais usualmente residem as lacunas. Talvez isso exija um esforço maior logo na fase inicial de concepção das pesquisas e definição de quem é a comunidade e a audiência nas quais o artigo irá se posicionar. Mas, o esforço precisa ser mais transversal a todo o artigo, e todas as seções do artigo exigem ser bem trabalhadas, bem redigidas e coerentes com a questão de pesquisa. Compreender as falhas mais comumente fatais talvez seja necessário para ajudar os pesquisadores a melhorarem a qualidade dos seus artigos. O objetivo deste artigo é exatamente construtivo: ajudar a melhorar o processo, evidenciar sugestões para aumentar a qualidade e evitar o tempo dispendido e as frustrações de ter rejeições.

Apêndice 1 – Lista de periódicos participantes do estudo.

Ambiente e Sociedade Revista Brasileira de Finanças BASE - Revista de Administração e Contabilidade da Unisinos Revista Brasileira de Inovação Brazilian Administration Review Revista Contabilidade & Finanças Brazilian Business Review Revista Contabilidade e Controladoria -UFPR Cadernos da Escola de Negócios da UniBrasil Revista da Ciência da Administração Cadernos de Pesquisa Interdisciplinar em Ciências Humanas Revista da FATEC Carapicuíba Cadernos EBAPE.BR Revista da Unifebe Ciências Sociais em Perspectiva Revista de Administração da UEG Ciências Sociais Unisinos Revista de Administração da UFSM Contabilidade, Gestão e Governança Revista de Administração e Contabilidade da Faculdade Anísio Teixeira Contexto Revista de Contabilidade da UFBA Cronos Revista de Economia e Administração Dados Revista de Finanças Aplicadas Desenvolve: Revista de Gestão do Unilasalle Revista de Gestão e Projetos Em Questão Revista de Gestão e Secretariado Gestão & Planejamento Revista de Gestão em Sistemas de Saúde Gestão e Conhecimento Revista de Gestão, Finanças e Contabilidade Gestão e Sociedade Revista de Negócios Gestão Industrial Revista de Negócios Internacionais Interações: Revista Internacional de Desenvolvimento Local Revista de Turismo e Desenvolvimento Internext - Revista Eletrônica de Negócios Internacionais RECADM - Revista Eletrônica de Ciência Administrativa Locus Científico Revista Eletrônica de Estratégia & Negócios Negócios em Projeção Revista Eletrônica de Sistemas de Informação Nucleus Revista Eletrônica em Gestão, Educação e Tecnologia Ambiental Perspectivas Contemporâneas Revista E-tech Pesquisa Operacional para o Desenvolvimento Revista Gestão & Saúde PMKT - Revista Brasileira de Pesquisas de Marketing, Opinião e Mídia Revista Gestão & Tecnologia Podium: Sport, Leisure and Tourism Review Revista Global Manager RACE - Revista de Administração, Contabilidade e Economia Revista Ibero-americana de Estratégia RACEF - Revista de Administração, Contabilidade e Economia da FUNDACE Revista Online Sistemas & Gestão RAE - Revista de Administração de Empresas Revista Organizações em Contexto RAEP - Revista de Administração: Ensino e Pesquisa Revista Perspectiva RARA - Revista de Administração e Negócios da Amazônia Revista Pretexto RBGN - Revista Brasileira de Gestão de Negócios Revista Sociedade, Contabilidade e Gestão REA - Revista Eletrônica de Administração RGSA - Revista de Gestão Social e Ambiental REBRAE - Revista Brasileira de Estratégia Tecnologia e Sociedade REGE - Revista de Gestão Teoria e Prática em Administração REGEPE - Revista de Empreendedorismo e Gestão de Pequenas Empresas Turismo Visão e Ação Unoesc & Ciência ACHS

Ambiente e Sociedade		Revista Brasileira de Finanças
BASE - Revista de Administração e Contabilidade da Unisinos		Revista Brasileira de Inovação
Brazilian Administration Review		Revista Contabilidade & Finanças
Brazilian Business Review		Revista Contabilidade e Controladoria -UFPR
Cadernos da Escola de Negócios da UniBrasil		Revista da Ciência da Administração
Cadernos de Pesquisa Interdisciplinar em Ciências Humanas		Revista da FATEC Carapicuíba
Cadernos EBAPE.BR		Revista da Unifebe
Ciências Sociais em Perspectiva		Revista de Administração da UEG
Ciências Sociais Unisinos		Revista de Administração da UFSM
Contabilidade, Gestão e Governança		Revista de Administração e Contabilidade da Faculdade Anísio Teixeira
Contexto		Revista de Contabilidade da UFBA
Cronos		Revista de Economia e Administração
Dados		Revista de Finanças Aplicadas
Desenvolve: Revista de Gestão do Unilasalle		Revista de Gestão e Projetos
Em Questão		Revista de Gestão e Secretariado
Gestão & Planejamento		Revista de Gestão em Sistemas de Saúde
Gestão e Conhecimento		Revista de Gestão, Finanças e Contabilidade
Gestão e Sociedade		Revista de Negócios
Gestão Industrial		Revista de Negócios Internacionais
Interações: Revista Internacional de Desenvolvimento Local		Revista de Turismo e Desenvolvimento
Internext - Revista Eletrônica de Negócios Internacionais		RECADM - Revista Eletrônica de Ciência Administrativa
Locus Científico		Revista Eletrônica de Estratégia & Negócios
Negócios em Projeção		Revista Eletrônica de Sistemas de Informação
Nucleus		Revista Eletrônica em Gestão, Educação e Tecnologia Ambiental
Perspectivas Contemporâneas		Revista E-tech
Pesquisa Operacional para o Desenvolvimento		Revista Gestão & Saúde
PMKT - Revista Brasileira de Pesquisas de Marketing, Opinião e Mídia		Revista Gestão & Tecnologia
Podium: Sport, Leisure and Tourism Review		Revista Global Manager
RACE - Revista de Administração, Contabilidade e Economia		Revista Ibero-americana de Estratégia
RACEF - Revista de Administração, Contabilidade e Economia da FUNDACE		Revista Online Sistemas & Gestão
RAE - Revista de Administração de Empresas		Revista Organizações em Contexto
RAEP - Revista de Administração: Ensino e Pesquisa		Revista Perspectiva
RARA - Revista de Administração e Negócios da Amazônia		Revista Pretexto
RBGN - Revista Brasileira de Gestão de Negócios		Revista Sociedade, Contabilidade e Gestão
REA - Revista Eletrônica de Administração		RGSA - Revista de Gestão Social e Ambiental
REBRAE - Revista Brasileira de Estratégia		Tecnologia e Sociedade
REGE - Revista de Gestão		Teoria e Prática em Administração
REGEPE - Revista de Empreendedorismo e Gestão de Pequenas Empresas		Turismo Visão e Ação
		Unoesc & Ciência ACHS

Referências

• AZORÍN, J.; CAMERON, R. The application of mixed methods in organizational research: A literature review. Electronic Journal of Business Research Methods, v. 8, n. 2, p. 95-105, 2010.
• BEDEIAN, A. The manuscript review process: The proper roles of authors, referees, and editors. Journal of Management Inquiry, v. 12, n. 4, p. 331-338, 2003.
• BEDEIAN, A.; VAN FLEET, D.; HYMAN, H. Scientific achievement and editorial board membership. Organizational Research Methods, v. 12, n. 2, p. 211-238, 2009.
• BERTERO, C. et al. Os desafios da produção de conhecimento em administração no Brasil. Cadernos EBAPE, v. 11, n. 1, p. 181-196, 2013.
• BERTERO, C.; CALDAS, M.; WOOD JUNIOR, T. Produção científica em administração de empresas: provocações, insinuações e contribuições para um debate local. Revista de Administração Contemporânea, v. 3, n. 1, p. 147-178, 1999.
• BEYER, J.; CHANOVE, R.; FOX, W. The review process and the fates of manuscripts submitted to the AMJ. Academy of Management Journal, v. 38, n. 5, p. 1219-1260, 1995.
• BORNMANN, L. Does the journal peer review select the “best” from the work submitted? The state of empirical research. IETE Technical Review, v. 27, n. 2, p. 93-96, 2010.
• BORNMANN, L.; DANIEL, H. Convergent validation of peer review decisions using the h index: extent of and reasons for type I and type II errors. Journal of Informetrics, v. 1, n. 3, p. 204-213, 2007.
• BORNMANN, L.; DANIEL, H. The manuscript reviewing process: empirical research on review requests, review sequences, and decision rules in peer review. Library & Information Science Research, v. 32, n. 1, p. 5-12, 2010.
• BORNMANN, L.; WEYMUTH, C.; DANIEL, H. A content analysis of referees’ comments: how do comments on manuscripts rejected by a high-impact journal and later published in either a low- or high-impact journal differ? Scientometrics, v. 83, n. 2, p. 493-506, 2009.
• BYRNE, D. Common reasons for rejecting manuscripts at medical journals: a survey of editors and peer reviewers. Science Editor, v. 23, n. 2, p. 39-44, 2000.
• CLARK, T.; FLOYD, S.; WRIGHT, M. On the review process and journal development. Journal of Management Studies, v. 43, n. 3, p. 655-664, 2006.
• DAVYT, A.; VELHO, L. A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? História, Ciências, Saúde – Manguinhos, v. 7, n. 1, p. 1-18, 2000.
• DINIZ, E. Editorial. Revista de Administração de Empresas, v. 53, n. 1 p. 1, 2013.
• EHARA, S.; TAKAHASHI, K. Reasons for rejection of manuscripts submitted to AJR by international authors, American Journal of Radiology, v. 188, p. W113-W116, 2007.
• FARIA, A. Repensando produtivismo em gestão no (e a partir do) Brasil. Cadernos EBAPE, v. 9, n. 4, p. 1164-1173, 2011.
• FERREIRA, M. O processo editorial: da submissão à rejeição (ou aceite). Revista Ibero Americana de Estratégia, v. 12, n. 3, p. 1-11, 2013.
• FIATES, G.; SERRA, F.; MARTINS, C. A aptidão dos pesquisadores brasileiros pertencentes aos programas de pós-graduação stricto sensu em administração para pesquisas quantitativas. Revista de Administração da USP, v. 49, n. 2, p. 384-398, 2014.
• FISKE, D.; FOGG, L. But the reviewers are making different criticisms of my paper. American Psychologist, v. 45, p. 591-598, 1990.
• GOMES, V. O editor da revista científica: desafios da prática e da formação. Informação & Informação, v. 15, n. 1, p. 147-172, 2010.
• HAMERMESH, D. Facts and myths about refereeing. Journal of Economic Perspectives, v. 8, n. 1, p. 153-163, 1994.
• HOJAT, M.; GONNELLA, J.; CAELLEIGH, A. Impartial judgment by the “gatekeepers” of science: fallibility and accountability in the peer review process. Advances in Health Sciences Education: Theory and Practice, v. 8, n. 1, p. 75-96, 2003.
• HUFF, A. Writing for scholarly publication 1. ed. Thousand Oaks: Sage, 1990.
• JUSTICE, A. et al. Does masking author identity improve peer review quality? A randomized controlled trial. Journal of American Medical Association, v. 280, n. 3, p. 240-243, 1998.
• KASSIRER, J.; CAMPION, W. Peer review: crude and understudied, but indispensable. Journal of American Medical Association, v. 272, n. 2, p. 96-97, 1994.
• KIRSCHBAUM, C.; MASCARENHAS, A. Limites da autonomia: reflexões sobre práticas de blind review e editoria de revistas científicas em administração no Brasil. Revista de Administração de Empresas, v. 55, n. 11, p. 1-22, 2009.
• KUMAR, P.; RAFIQ, I.; IMAM, B. Negotiation on the assessment of research articles with academic reviewers: application of peer-review approach of teaching. Higher Education, v. 62, n. 3, p. 315-332, 2010.
• LARSEN, P. O.; VON INS, M. The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. Scientometrics, v. 84, n. 3, p. 575-603, 2010.
• LAZAROIU, G. Assessing the influence of peer review on manuscript quality. Review of Contemporary Philosophy, v. 8, n. 1, p. 159-166, 2009.
• MASCARENHAS, A.; ZAMBALDI, F.; MORAES, E. Rigor, relevância e desafios da academia em administração: tensões entre pesquisa e formação profissional. Revista de Administração de Empresas, v. 51, n. 3, p. 265-279, 2011.
• MACCARI, E. et al. Sistema de avaliação da pós-graduação da Capes: pesquisaação em um programa de pós-graduação em administração. Revista Brasileira de Pós-Graduação, v. 5, n. 9, p. 171-205, 2011.
• MILLER, A.; TAYLOR, S.; BEDEIAN, A. Publish or perish: academic life as management faculty live it. Career Development International, v. 16, n. 5, p. 422-445, 2011.
• MILLER, B. et al. How to be a peer reviewer: a guide for recent and soon-to-be PhDs. Political Science & Politics, v. 46, n. 1, p. 120-123, 2013.
• MOOS, D.; HAWKINS, P. Barriers and strategies to the revision process from an editor’s perspective. Nursing Forum, v. 44, n. 2, p. 79-92, 2009.
• MORITZ, G. et al. A pós-graduação brasileira: evolução e principais desafios no ambiente de cenários prospectivos. Future Studies Research Journal, v. 5, n. 2, p. 3-34, 2013.
• PAVAN, C.; STUMPF, I. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e percepções dos atores. Encontros Bibli, v. 14, n. 28, p. 73-92, 2009.
• PHELAN, S.; FERREIRA, M.; SALVADOR, R. The first twenty years of the Strategic Management Journal. Strategic Management Journal, v. 23, n. 12, p.1161-1168, 2002.
• RADFORD, D.; SMILLIE, L.; WILSON, R. The criteria used by editors of scientific dental journals in the assessment of manuscripts submitted for publication. British Dental Journal, v. 187, n.7, p. 376-379, 1999.
• SEIBERT, S. Anatomy of an R&R (or, reviewers are an author’s best friends...). Academy of Management Journal, v. 49, n. 2, p. 203-207, 2006.
• SERRA, F.; FIATES, G.; FERREIRA, M. Publicar é difícil ou faltam competências? O desafio de pesquisar e publicar em revistas científicas na visão de editores e revisores internacionais. Revista de Administração Mackenzie, v. 9, n. 4, p. 32-55, 2008.
• STARBUCK, W. How much better are the most-prestigious journals? The statistics of academic publication. Organization Science, v. 16, n. 2, p. 180-202, 2005.
• STARBUCK, W. Turning lemons into lemonade: where is the value in peer reviews?. Journal of Management Inquiry, v. 12, n. 4, p. 344-351, 2003.
• TRZESNIAK, P.; PLATA-CAVIDES, T.; CÓRDOBA-SALGADO, O. Qualidade de conteúdo: o grande desafio para os editores científicos. Revista Colombiana de Psicologia, v. 21, n. 1, p. 57-75, 2012.
• TSANG, E.; FREY, B. The as-is journal review process: let authors own their ideas. Academy of Management Learning & Education, v. 6, n. 1, 128-136, 2006.
• TURCOTTE, C.; DROLET, P.; GIRARD, M. Study design, originality and overall consistency influence acceptance or rejection of manuscripts submitted to the journal. Canadian Journal of Anaesthesia, v. 51, n. 6, p. 549-556, 2004.

Datas de Publicação

• Publicação nesta coleção
  Apr-Jun 2016

Histórico

• Recebido
  07 Out 2014
• Aceito
  09 Out 2015