Réplica 1 - pesquisa científica brasileira em marketing: quo vadis?

Brazilian scientific research in marketing: quo vadis?

DOCUMENTOS E DEBATES

Réplica 1 - pesquisa científica brasileira em marketing: quo vadis?

Brazilian scientific research in marketing: quo vadis?

Angela da Rocha^I; Jorge Brantes Ferreira^II

^IPontifícia Universidade Católica do Rio de Janeiro - IAG/PUC-Rio, Rio de Janeiro, RJ, Brasil, E-mail: [e-mail]

^IIPontifícia Universidade Católica do Rio de Janeiro - IAG/PUC-Rio, Rio de Janeiro, RJ, Brasil, E-mail: [e-mail]

^{Endereço para correspondência}

As revisões de literatura desempenham importante papel na construção do conhecimento. Não nos referimos aqui àquelas revisões de literatura que geralmente constam de qualquer trabalho científico, e sim, especificamente, aos trabalhos cujo propósito é sumariar o status quaestionis sobre determinado tema, incluídas aí desde as revisões de caráter descritivo até as meta-análises. A ciência constrói-se por meio de processos de acumulação de conhecimento. E para que o conhecimento possa avançar é preciso que sejam feitas, de tempos em tempos, avaliações e sínteses do que foi produzido. As revisões de literatura podem ser vistas, então, como uma espécie de ponte entre a pesquisa passada e a futura. Assim, uma boa revisão de literatura deve ser esclarecedora quanto ao que foi produzido antes e inspiradora quanto ao que se deverá pesquisar depois. É nesse sentido que LePine e Wilcox-King (2010, p. 507) afirmam que revisões de literatura "particionam e ordenam realizações passadas relevantes, ao mesmo tempo que identificam desafios e oportunidades futuras importantes".

Há vários tipos de revisão de literatura, sendo cada um desses tipos orientado por questões de pesquisa distintas. Interessa, aqui, um tipo específico de revisão, que é a avaliação da produção científica de determinada área (ou subárea) de conhecimento. Temos visto, nos últimos anos, diversas publicações dessa natureza na área de Administração, no Brasil, que, sem dúvida, têm ajudado os pesquisadores a nortearem seus esforços de pesquisa e influenciado o perfil das pesquisas realizadas. O trabalho de Sampaio et al. (2012) representa uma louvável contribuição ao entendimento de como têm avançado as pesquisas em Marketing no Brasil, e, em decorrência, quais parecem ser as tendências dessa produção no futuro.

Uma boa revisão de literatura deve obedecer a quatro critérios: ser sistemática, explícita, abrangente e replicável (Fink, 2005). Julgamos que o trabalho realizado por Sampaio et al. (2012) atende plenamente ao primeiro critério, mas apenas parcialmente aos outros três. Apesar de seus inegáveis méritos, o trabalho apresenta alguns pontos fracos em termos de escopo e replicabilidade. O escopo refere-se à abrangência da análise realizada, ou seja, ao que nela se inclui e ao que dela foi excluído. As críticas à replicabilidade decorrem principalmente da ausência de informações explícitas sobre procedimentos metodológicos adotados que permitam replicar o estudo. Além disso, observamos certa timidez na análise das implicações dos achados do estudo para a realidade brasileira.

Problemas com o Escopo

Nossas críticas com relação ao escopo da revisão de literatura realizada referem-se, em primeiro lugar, ao que parece estar faltando na análise: a produção científica brasileira publicada em periódicos estrangeiros. Essa ausência é tanto mais surpreendente quanto os próprios autores mencionam que, "No Brasil,... Rosa e Alves (2011) analisaram os periódicos classificados no sistema Qualis da CAPES e concluíram que, entre os periódicos mais valorizados, 97% deles são editados em língua inglesa e apenas 3% em outras línguas" (Sampaio et al., 2012, p. 470). Em outras palavras, se no sistema Qualis da CAPES, que é usado para avaliar a qualidade da produção científica no país, é atribuído maior valor à publicação em periódicos internacionais, como se justifica sua ausência em um trabalho que se intitula "Pesquisa Científica da Área de Marketing no Brasil: uma revisão da primeira década do século 21"?

Para sermos justos, temos de reconhecer que o trabalho em questão apresenta com clareza seu objetivo, que exclui desde logo a produção de pesquisadores brasileiros publicada em periódicos estrangeiros:

apresentar um levantamento e uma discussão no tocante a trabalhos de marketing publicados nos anos 2000, nos principais periódicos de administração do Brasil... assim como nos anais dos mais importantes encontros de pós-graduação no país... e estabelecer um comparativo dos resultados com a década de 90 (Sampaio et al., 2012, p. 460).

Mesmo assim, acreditamos que um retrato mais fiel dos trabalhos científicos da área de Marketing no Brasil deveria necessariamente incluir aqueles artigos publicados internacionalmente, mesmo que ainda sejam poucos.

Isso porque esses artigos tendem a espelhar o que há de melhor em nossa produção científica, dado que passaram pelos rigorosos processos internacionais de blind review. Evidentemente, não deveriam ser considerados os artigos publicados em qualquer periódico internacional, visto que há grande variabilidade entre eles quanto à qualidade, mas apenas naqueles que se encontram classificados no Qualis, em níveis iguais e superiores aos dos periódicos brasileiros selecionados para o trabalho, ou que atendem aos mesmos critérios estabelecidos para classificação nesses níveis de periódicos da área. Reconhecemos que tal procedimento redundaria em esforço maior de localização e seleção de artigos para revisão, mas possivelmente agregaria qualidade e relevância ao trabalho. Ademais, proporcionaria importante informação quanto a uma tendência recente na área, que é a publicação internacional, estimulando outros pesquisadores brasileiros nesta direção.

Tendo indicado o que nos parece faltar na revisão realizada por Sampaio et al. (2012), analisaremos agora o que nos parece sobrar no estudo. Trata-se especificamente do fato de se haver incluído, na revisão, os trabalhos em anais dos dois principais congressos da área, o que (a) aumenta substancialmente o número de trabalhos a serem analisados; (b) produz um desbalanceamento dos resultados em favor dos trabalhos em congressos, pois esses são em muito maior número do que os trabalhos publicados em revistas científicas. O primeiro problema implica dificuldades maiores para avaliar os 1.317 artigos selecionados, que acabou por fazer com que cada artigo tenha sido avaliado por um único juiz (embora os autores contornem, em parte, essa dificuldade utilizando um procedimento de amostragem). O segundo problema conduz a um viés que favorece o que ocorre nos congressos em detrimento do que aparece nos artigos publicados. Além disso, os artigos publicados em congressos no Brasil apresentam qualidade bastante variável e boa parte deles - como seria de esperar - não passaria pelo crivo de boas revistas científicas brasileiras, como aquelas selecionadas pelos autores.

Um argumento em favor do uso, em revisões de literatura, de artigos em anais de congressos (assim como de outros materiais não publicados, como teses e dissertações) é o viés de publicação, ou seja, o fato de trabalhos que chegam a resultados estatisticamente não significativos terem chance muito menor de serem publicados em boas revistas científicas do que o contrário (Light & Pillemer, 1984). No entanto, esse viés só seria relevante se o objetivo da revisão de literatura de Sampaio et al. (2012) fosse o de comparar os resultados obtidos no teste de uma mesma hipótese ou do mesmo conjunto de hipóteses em vários estudos, o que não é o caso. Na verdade, o trabalho de Sampaio et al. (2012) acaba por incorrer no problema oposto: o viés de não publicação. Ou seja, os resultados retratam melhor os trabalhos apresentados em congressos do que os artigos publicados.

Pode-se argumentar que parte importante da produção brasileira em Marketing tem sido divulgada por meio dos anais dos dois congressos selecionados, particularmente na década de 1990 e primeira metade da década de 2000, quando o incentivo à publicação em revistas científicas era menor. O argumento procede, mas, nesse caso, teria sido preferível que os autores separassem a produção em revistas científicas da produção em congressos e, então, comparassem as duas. Tal procedimento proporcionaria uma visão mais acurada do estágio atual da pesquisa brasileira em Marketing.

Crítica adicional, relacionada às anteriores, refere-se à ausência de uma tabela com valores absolutos, que informe quantos artigos, a cada ano, foram extraídos de cada uma das fontes utilizadas.

Problemas para a Replicação

Os critérios utilizados para avaliação dos trabalhos revistos deveriam ser claramente indicados no artigo. Como não são explicitados, outros autores que desejem realizar estudos similares terão dificuldades em comparar os resultados obtidos, ou mesmo em replicar o estudo de Sampaio et al. (2012).

Considere-se, por exemplo, a questão da classificação em termos de linha epistemológica (positivista versus não positivista). Embora alguns autores explicitem sua postura epistemológica, a maioria não o faz, cabendo, portanto, ao avaliador decidir qual a linha epistemológica do artigo em questão. Em alguns casos, principalmente quando se trata de alguns trabalhos apresentados em congressos, de qualidade francamente duvidosa, essa filiação pode não estar clara. O mesmo comentário aplica-se à variável natureza da pesquisa (exploratória, descritiva, causal). Temos visto trabalhos em congressos em que os autores - frequentemente pesquisadores iniciantes - confundem pesquisas exploratórias e descritivas, ou resolvem a dificuldade de classificação informando que a pesquisa é descritivo-exploratória. Outra variável utilizada na avaliação feita por Sampaio et al. (2012), que dá margem a alta subjetividade por parte do pesquisador, é aquela que trata da fundamentação teórica do estudo, classificada também de forma dicotômica em aprofundada versus superficial. O que se classifica em uma categoria ou em outra e onde fica a linha que divide esse continuum deveriam ser explicitados, até mesmo para que o leitor possa entender melhor os resultados apresentados.

Assumimos que Sampaio et al. (2012) tenham desenvolvido (ou aplicado) definições operacionais precisas para as variáveis examinadas, conquanto as mesmas não tenham sido explicitadas no artigo. Nossa crítica reside em que, além de informar que variáveis e procedimentos foram adaptados de estudos anteriores, e de indicar que "os critérios de análise foram amplamente discutidos entre os membros da equipe de avaliadores" (Sampaio et al., 2012, p. 461), os autores poderiam ter acrescentado ao artigo um apêndice com as operacionalizações utilizadas. Com isso teriam seguido a tendência de "presença mais marcante de operacionalização das variáveis de pesquisa" (Sampaio et al., 2012, p. 464), por eles registrada.

Problemas com as Implicações

Em sua discussão sobre os resultados de pesquisa, Sampaio et al. prenderam-se excessivamente a temas discutidos na literatura internacional, em avaliações similares do status quaestionis em marketing, incorrendo no viés que eles mesmos indicam em seu artigo, "a tendência dos pesquisadores de mimetizar o que é produzido especialmente nos EUA" (2012, p. 470). Esse viés é particularmente aparente quando Sampaio et al. fazem referência aos programas de doutorado em marketing como uma das explicações para o "predomínio empírico-positivista" (2012, p. 470). O argumento dos autores, citando Lehmann, McAlister e Staelin (2011), é no sentido de que:

a pressão por publicações e o atual processo de revisão dos top journals, anteriormente discutidos, afetaram os programas de doutorado, que trocaram a ênfase de treinamento em conhecimento em questões substanciais de marketing para tornarem-se mais especializados em disciplinas específicas e em abordagens metodológicas. Talvez fosse importante incutir nos estudantes dos programas de doutorado uma abordagem mais intelectualmente guiada e menos metodologicamente dirigida para abordar os fenômenos de marketing (Lehmann, McAlister, & Staelin, 2011 como citado em Sampaio et al., 2012, p. 470).

Duvidamos de que seja esse o caso no Brasil, onde os programas de doutorado poderiam certamente se beneficiar de dose maior de disciplinas metodológicas. Não sofremos ainda, no Brasil, da excessiva ênfase em metodologia como se verifica nos programas de doutorado das business schools americanas. Muito ao contrário, é nossa opinião que boa parte dos alunos de programas de doutorado em Administração, no Brasil, beneficiar-se-iam de ênfase maior em métodos, tanto qualitativos quanto quantitativos, na linha positivista ou não positivista.

Sampaio et al. (2012) parecem sugerir que a situação nos EUA é similar à do Brasil, uma vez que nenhuma observação é feita quanto às condições específicas do contexto brasileiro. No entanto, na seção seguinte, deixam escapar o seguinte comentário: "apesar do predomínio positivista nas últimas duas décadas, ainda, existem lacunas ao atendimento efetivo dos critérios de qualidade de uma pesquisa empírico-positivista" (Sampaio et al., 2012, p. 471). É pena que os autores não tenham se estendido mais sobre essa crítica à produção brasileira em marketing, que certamente proporcionaria melhor entendimento do estado atual da pesquisa na área.

Outra questão que mereceria maior imersão é a queda no número de artigos conceituais em marketing no Brasil. A literatura internacional aponta como causa do fenômeno o excessivo foco metodológico, que teria impactado "a quantidade de investigações conceituais integrativas" (Sampaio et al., 2012, p. 471). Duvidamos que este fator possa explicar o fenômeno no Brasil. Mais uma vez, a falta de uma definição operacional do que sejam artigos conceituais, no artigo em foco, dificulta a interpretação dos resultados. No entanto, nosso conhecimento dos artigos publicados em anais de congressos brasileiros na área permite-nos sugerirmos que a menor presença de artigos conceituais no Brasil se deve mais ao fato de que simples revisões de literatura sem qualquer esforço conceitual integrativo têm sido cada vez menos aceitas em bons congressos brasileiros, o que é um indicador de maior qualidade de nossa produção científica.

Entendemos, portanto, que os autores se restringiram, em sua discussão, a críticas já feitas em outras revisões, particularmente em periódicos internacionais, e deixaram escapar a oportunidade de realizar uma avaliação crítica da produção de marketing no Brasil e dos problemas subjacentes à nossa realidade, problemas esses que devem ser enfrentados para elevar o nível de qualidade da produção brasileira na área.

Considerações Finais

A crítica é essencial ao progresso do conhecimento. Nenhum trabalho de pesquisa, por mais sério e rigoroso que seja, está isento de falhas ou de pontos fracos, e isso se aplica ao esforço de avaliação da produção científica de marketing realizado por Sampaio et al. (2012). Esperamos que nossas reflexões sobre esse trabalho possam ser úteis a outros autores brasileiros com propósitos de pesquisas similares.

• Fink, A. (2005). Conducting research literature reviews Thousand Oaks: Sage.
• LePine, A., & Wilcox-King, A. (2010). Editors' comments: developing novel theoretical insight from reviews of existing theory and research. Academy of Management Review, 35(4), 506-509. doi: 10.5465/amr.2010.53502455
• Light, R. J., & Pillemer, D. B. (1984). Summing up: the science of reviewing research Cambridge: Harvard University Press.

Endereço:

Angela da Rocha

Pontifícia Universidade Católica do Rio de Janeiro, IAG Escola de Negócios, Rua Marquês de São Vicente, 225, Gávea, Rio de Janeiro/RJ, 22451-900.

Datas de Publicação

• Publicação nesta coleção
  15 Maio 2012
• Data do Fascículo
  Jun 2012