ANÁLISE DA QUALIDADE DOS ARTIGOS CIENTÍFICOS DA ÁREA DE MARKETING PUBLICADOS NO BRASIL: AS PESQUISAS SURVEY NA DÉCADA DE 2000

QUALITY ANALYSIS OF SCIENTIFIC ARTICLES OF MARKETING AREA PUBLISHED IN BRAZIL: SURVEY RESEARCHES IN THE 2000s

ANÁLISIS DE LA CALIDAD DE LOS ARTÍCULOS CIENTÍFICOS DEL ÁREA DE MARKETING PUBLICADOS EN BRASIL: ENCUESTA DE INVESTIGACIÓN EN LA DÉCADA DE 2000

RESUMO

A academia brasileira tem fomentado a discussão sobre a qualidade da produção científica em Administração. Este artigo une-se a essa discussão ao apresentar um levantamento das pesquisas survey publicadas na área de Marketing, entre os anos 2000 a 2010, nos principais periódicos de Administração do Brasil, assim como nos anais dos mais importantes encontros de pós-graduação que possuem a divisão de Marketing. Os resultados deste inventário foram comparados com o levantamento das pesquisas survey de Marketing realizado na década de 90 por Froemming et al. (2000b). A realização desse levantamento de artigos da área de Marketing permite uma visão longitudinal da produção de pesquisas survey e, também, proporciona uma análise comparativa dessa produção ao longo dos anos, fornecendo fundamentação para avalição da qualidade dessas publicações. Concluiu-se que ocorreram alguns progressos relativos aos critérios de qualidade dos elementos metodológicos básicos da produção científica de Marketing ao longo dos anos 2000, quando comparados com os artigos publicados na década de 90, tais como o maior percentual de pesquisas com teoria de base aprofundada, com a descrição da operacionalização de suas variáveis, com testes de confiabilidade, com a apresentação dos limites do estudo e sugestões para futuras pesquisas. Entretanto, os resultados desta pesquisa apontam que existem questões preocupantes relativas à qualidade dos estudos publicados ao longo desses 21 anos na área de Marketing no Brasil, demonstrando que ainda existem lacunas ao atendimento efetivo dos critérios de qualidade nas pesquisas survey .

Pesquisas Survey; Qualidade das Pesquisas; Qualidade dos Artigos; Produção científica de Marketing; Brasil

ABSTRACT

The Brazilian Academy has fostered the discussion on the quality of scientific production in Administration. This article joins this discussion by presenting an inventory of survey articles published in the Marketing area, between the years 2000-2010, in the main Brazilian Administration journals, as well as in the annals of the most important post-graduate meetings that have a Marketing division. The results of this inventory were compared with the inventory of survey research in Marketing conducted in the 90's by Froemming et al. (2000b). The development of this inventory of Marketing articles allows a longitudinal view of the production of survey research and also provides a comparative analysis of this production over the years, providing rationale for evaluation of the quality of these publications. It was concluded that there was some progress in the quality criteria of the basic methodological elements of the scientific production of marketing over the years 2000-2010, when compared to the articles published in the 90's, such as the highest percentage of research with in-depth basic theory; with the description of the operation of its variables; reliability testing; presenting the limits of the study and suggestions for future research. However, the results of this research show that there are issues of concern about the quality of studies published over these 21 years in the Marketing area in Brazil, demonstrating that there are still gaps in effective care of the quality criteria in survey research.

Research Survey; Quality of research; Quality of papers; Scientific Production in Marketing; Brazil

RESUMEN

La Academia Brasileña ha fomentado el debate sobre la calidad de la producción científica en Administración. Este artículo se une a esta discusión presentando un estudio de las investigaciones survey publicadas en el área de Marketing, entre los años 2000 y 2010, en las principales revistas de Administración de Brasil, así como en los anales de los encuentros de posgrado más importantes que incluyen el área de Marketing. Los resultados de este inventario se compararon con el levantamiento de estudios de Marketing llevado a cabo en los años 90 por Froemming et al. (2000b). El desarrollo de este levantamiento de artículos del área de Marketing permite una vista longitudinal de la producción de las investigaciones survey y también proporciona un análisis comparativo de esta producción a lo largo de los años, para establecer el fundamento de evaluación de la calidad de estas publicaciones. Se concluyó que hubo algunos avances en los criterios de calidad de los elementos metodológicos básicos de la producción científica de Marketing a través de los años 2000, cuando fueron comparados con los artículos publicados en los años 90, como el porcentaje más alto de la investigación con profundidad en la teoría, con la descripción de la operación de las variables de análisis, con testes de la fiabilidad, con la presentación de los límites del estudio y sugerencias para futuras investigaciones. Sin embargo, los resultados de esta investigación muestran que hay cuestiones preocupantes sobre la calidad de los estudios publicados durante estos 21 años en el área de Marketing en Brasil, lo que demuestra que todavía hay carencias en cuanto a la atención efectiva de los criterios de calidad en las investigaciones survey .

Investigación Survey; Calidad de la investigación; Calidad de los artículos; Producción Científica en Marketing; Brasil

INTRODUÇÃO

“A ciência vem sendo marcada pelo princípio básico de que o conhecimento é construído de forma progressiva e cumulativa (na visão positivista), ou seja, baseado em informações existentes e no acréscimo de resultados de pesquisas atuais às bases de conhecimento” ( PEREIRA, 2004 , p. 2). A maioria dos cientistas concorda que essas pesquisas distinguem-se de outras formas de acúmulo de conhecimento (por exemplo, a aprendizagem heurística) devido ao uso do “método científico” no processo de resolução de problemas ( BONOMA, 1985 ). Para que os resultados das pesquisas realmente agreguem conhecimento, faz-se preponderante que os critérios metodológicos - apropriados aos objetivos da pesquisa - sejam cumpridos rigorosamente. Destarte, a evolução de um campo de conhecimento requer, não apenas a contínua realização de profícuos estudos, mas também a avaliação da qualidade dessas pesquisas, incluindo a análise de seus procedimentos metodológicos.

A academia brasileira tem fomentado a discussão sobre a qualidade da produção científica em Administração via artigos, tais como o de Caldas, Tinoco e Chu (2003) , Iizuka e Sano (2004) , Tonelli, Caldas, Lacombe e Tinoco (2004), Gonçalves, Gonçalves e Augusto (2004) , Cardoso, Pereira e Guerreiro (2004) , Mendonça (2011) , Nassif, Silva, Ono, Bontempo e Tinoco (2009), Durante e Maurer (2007) , Nascimento, Junqueira e Martins (2010) e Melo e Andreassi (2010) . Também há trabalhos que abordam especificamente a qualidade das pesquisas de Marketing, como: Perin, Sampaio, Froemming e Luce (2000), Froemming et al. (2000a e 2000b), Sampaio e Perin (2006) , Pinto e Lara (2007), Farias (2004) e Kovacs, Leão, Vieira, Barbosa e Dias (2004).

Nesta linha, o presente artigo integra um conjunto de estudos - Froemming et al. (2000a e 2000b), Perin et al.(2000) , Sampaio e Perin (2006) , Sampaio et al. (2012) - que visam analisar a qualidade das publicações científicas brasileira na área de Marketing, ao apresentar um levantamento das pesquisas empíricas do tipo survey publicadas entre 2000 e 2010, nos principais periódicos de Administração do Brasil, de acordo com a classificação Qualis da CAPES, assim como nos anais dos mais importantes encontros de pós-graduação que possuem a divisão de Marketing (EnANPAD e EMA). A escolha pelo método survey deveu-se ao fato do estudo de Sampaio e Perin (2006) apontar a predominância das pesquisas do tipo survey nas publicações de Marketing no Brasil.

Destaca-se que os resultados deste levantamento também são comparados com o diagnóstico das pesquisas survey de Marketing realizado na década de 90 por Froemming et al. (2000b). Consequentemente, este artigo apresenta 21 anos de análise das pesquisas survey de Marketing, utilizando os mesmos procedimentos (verificando as mesmas variáveis metodológicas) para a análise das estratégias e metodologias utilizadas nessas publicações.

O presente artigo está estruturado da seguinte forma: o método utilizado nessa pesquisa é descrito no item 2. No item 3 são relatados os resultados do estudo. Por fim, as principais considerações, limitações e sugestões para futuras pesquisas são propostas no último item.

1 DESENVOLVIMENTO DA PESQUISA

Nesse estudo, realizou-se um levantamento das pesquisas empíricas do tipo survey publicadas entre 2000 e 2010 nos principais periódicos nacionais, conforme a classificação Qualis da CAPES, que possuem no seu escopo artigos de Marketing, quais sejam: Revista de Administração Contemporânea (RAC), RAC Eletrônica, Revista de Administração de Empresas da Fundação Getúlio Vargas (RAE), Brazilian Administration Review (BAR), Revista de Administração da Universidade de São Paulo (RAUSP), Revista de Administração Mackenzie (RAM); e nos anais do Encontro de Marketing da ANPAD (EMA) e do Encontro da Associação Nacional dos Programas de Pós-Graduação em Administração (EnANPAD). Essas revistas e anais de congresso foram escolhidos para a análise por terem sido considerados os veículos brasileiros mais representativos daquilo que se produz e publica em termos científicos dentro da área de Marketing no Brasil no período avaliado ( SAMPAIO; PERIN, 2006 ).

A presente pesquisa apropriou-se de bases de dados geradas em levantamentos prévios (FROEMMING et al., 2000a, 2000b; PERIN et al., 2000 ; SAMPAIO et al., 2012 ), com fins de comparação entre os períodos de 1990 a 1999 e de 2000 a 2010, englobando um total de 1.569 artigos publicados na área de Marketing no Brasil (252 da década de 90 e 1.317 dos anos 2000). No presente estudo, foram considerados os resultados anteriormente apresentados por Froemming et al. (2000b), envolvendo 124 artigos da área de Marketing que utilizaram o método survey na década de 90. Os procedimentos de análise utilizados por Froemming et al. (2000b) foram então replicados para o conjunto de artigos da mesma natureza identificados por Sampaio et al. (2012) nos anos 2000, compondo uma amostra final de 816 artigos que adotaram o método survey , entre 1990 e 2010.

O Gráfico 1 apresenta uma comparação anual do total de artigos com método survey em relação ao conjunto dos demais artigos publicados na área de Marketing. Note-se que, apesar de haver certa oscilação na década de 90, o percentual de artigos survey aparenta uma estabilização em torno de 50% do total de artigos da área de Marketing nos anos 2000.

Gráfico 1
– Artigos Mkt que aplicaram método survey versus demais artigos de Mkt

A Tabela 1 apresenta a frequência de artigos analisados por ano e publicação. Nota-se que o ENANPAD, dentre as publicações analisadas, concentra a maioria dos artigos que apresentaram esse método (66,30%), seguido pelo EMA (23,65%). Os periódicos que se destacam são a RAC e a RAE, ambos com 24 pesquisas survey de Marketing publicadas ao longo desses 21 anos. Ressalta-se que na RAC só foram publicados artigos com esse tipo de método a partir do ano 2000.

Tabela 1
Frequência de artigos com método survey por periódico e ano de publicação

Ano	BAR	EMA	ENANPAD	RAC	RACe	ERA	RAEe	RAM	RAUSP	Total
1990	0	0	6	0	0	0	0	0	1	7
1991	0	0	7	0	0	0	0	0	1	8
1992	0	0	6	0	0	0	0	0	0	6
1993	0	0	9	0	0	0	0	0	3	12
1994	0	0	10	0	0	0	0	0	1	11
1995	0	0	7	0	0	1	0	0	0	8
1996	0	0	11	0	0	1	0	0	1	13
1997	0	0	15	0	0	3	0	0	0	18
1998	0	0	19	0	0	1	0	0	1	21
1999	0	0	18	0	0	2	0	0	0	20
2000	0	0	22	1	0	0	0	0	0	23
2001	0	0	22	2	0	0	0	1	1	26
2002	0	0	28	2	0	0	0	0	0	30
2003	0	0	33	0	0	1	0	1	0	35
2004	0	28	34	2	0	1	1	2	1	69
2005	0	0	44	4	0	0	2	0	0	50
2006	0	65	54	2	0	2	0	2	0	125
2007	1	0	47	4	3	1	0	0	2	58
2008	2	64	61	6	2	6	1	0	0	142
2009	0	0	41	1	1	3	1	0	0	47
2010	1	36	47	0	1	2	0	0	0	87
Total	4	193	541	24	7	24	5	6	12	816

• Fonte: Autoria Própria

Pela Tabela 1 , nota-se que na década de 2000 houve um crescimento de 558% da quantidade de artigos publicados quando comparado com a década anterior. Ao verificar exclusivamente os periódicos, observa-se um aumento de 413% das publicações de Marketing no Brasil que fizeram uso do método survey .

O processo de análise dos 816 artigos estabeleceu-se via a verificação dos elementos metodológicos básicos de investigações científicas subjacentes à pesquisa survey . As variáveis avaliadas para cada artigo foram adaptadas de Hoppen, Lapointe e Moreau (1997), e são as mesmas utilizadas por Perin et al. (2000) , Froemming et al. (2000a e 2000b) e Sampaio e Perin (2006) . Elas são apresentadas no Quadro 1 e descritas no formulário ^anexo.

Quadro 1
– Variáveis analisadas nos artigos

Variáveis	Especificações
Natureza da pesquisa	Causal, descritiva, exploratória;
Embasamento conceitual e questão de pesquisa	Justificativa, teorias de base, objetivo/questão de pesquisa e hipóteses/pressupostos de base;
Desenho de pesquisa	Modelo de pesquisa, tipo de estudo, mix de métodos, operacionalização das variáveis e descrição dos procedimentos metodológicos;
Instrumento de medida e coleta de dados	Etapa exploratória, validade de conteúdo, etapa quantitativa, tipo de dados, tipo de amostra, taxa de resposta, teste do viés de não respondentes e caracterização da amostra;
Confiabilidade e validade dos constructos	Confiabilidade, validade convergente e validade discriminante;
Tipos de análise dos dados empregados	Testes e análises estatísticas;
Apresentação dos resultados	Validade externa, validade nomológica, limites do estudo, recomendações para futuras pesquisas e recomendações aplicadas.

• Fonte: Autoria Própria

Quatro pesquisadores de Marketing realizaram o levantamento e a análise dos elementos metodológicos dos artigos. Cada artigo foi examinado por apenas um avaliador. Contudo, buscando-se uma maior validade para o estudo, os critérios de análise foram amplamente discutidos entre os membros da equipe de avaliadores e sintetizados no formulário anexo, tal como em Froemming et al. (2000a e 2000b) e em Sampaio e Perin (2006) , que foi utilizado para cada um dos artigos. Nos casos em que ocorreram dúvidas nas análises, os artigos foram analisados conjuntamente pelo grupo.

Os dados, uma vez coletados e discutidos, foram tabulados no Google Docs e Excel e processados pelos Softwares SPSS e Excelâ. Com o intuito de verificar essas análises, dois juízes analisaram 30 artigos escolhidos aleatoriamente e compararam com a avaliação realizada pelos quatro pesquisadores. A média de concordância entre as codificações foi de 91,3% entre os juízes e os pesquisadores, e de 94,6% entre os dois juízes. Destaca-se que esses valores estão próximos aos de outros estudos realizados ( ANDRADE; MAZZON, 2010 ; HUERTAS; URDAN, 2004 ).

2 RESULTADOS DAS ANÁLISES

Nessa seção estão descritos os principais resultados relativos às variáveis analisadas, considerando os 816 artigos com pesquisa survey publicados no Brasil na área de Marketing durante a década de 90 e nos anos de 2000 a 2010.

2.1 Natureza da Pesquisa

O primeiro elemento metodológico analisado nos artigos foi a natureza da pesquisa, a qual pode ser classificada em exploratória, descritiva ou causal (CHURCHILL, 1999). A Tabela 2 descreve a natureza das pesquisas de Marketing publicadas nos periódicos e anais de eventos analisados.

Tabela 2
Frequência de artigos por natureza de pesquisa

	1990		2000			sig.
Natureza	N	Perc	N	Perc	Total	Qui-Quadrado
Causal	11	8,9%	263	38,0%	274
Descritiva	76	61,3%	335	48,4%	411	<0,001
Exploratória	37	29,8%	94	13,6%	131
Total	124		692		816

• Fonte: Autoria Própria

Na década de 90, destacava-se o elevado percentual de pesquisas survey de natureza descritiva, representando aproximadamente 61%. Já no período entre 2000 a 2010, a quantidade de artigos de natureza descritiva reduziu-se para o percentual de 48,4%, mas manteve-se superior aos demais tipos de pesquisa.

Salienta-se o fato das pesquisas causais terem obtido um significativo aumento, passando de 11 artigos (na década de 90), para 263 artigos (anos 2000). Em contrapartida, o percentual de pesquisas de natureza exploratória reduziu entre os dois períodos.

2.2 Apresentação e relevância do problema de pesquisa

Nessa categoria foi observado se os artigos apresentavam ou não o objetivo/questão de pesquisa, hipóteses/ pressupostos de base, relevância do estudo e teoria de base. De forma sintética, esses elementos metodológicos foram apenas considerados como existentes (declarados) ou não para cada artigo analisado.

Também foi avaliado se os artigos expõem a fundamentação conceitual, e caso afirmativo, se ela é aprofundada (apresenta uma descrição detalhada do fenômeno em estudo do ponto de vista dos principais autores da área ou de uma linha de estudo específica de um grupo de autores), se a teoria de base é superficial ou ausente (ver Tabela 3 ).

Tabela 3
Frequência de artigos por apresentação e relevância do problema de pesquisa

		1990		2000		sig.
		N	Perc		Perc
Justificativa	Não	11	8,9%	87	12,6%	ns
	Sim	113	91,1%	605	87,4%
Teorias de Base	Aprofundada	50	40,3%	424	61,3%	<0,001
	Ausente	10	8,1%	13	1,9%
	Superficial	64	51,6%	255	36,8%
Objetivo e Questão de Pesquisa	Não	1	0,8%	27	3,9%	ns
	Sim	123	99,2%	665	96,1%
Hipótese/Pressupostos de Base	Não	78	62,9%	400	57,8%	ns
	Sim	46	37,1%	292	42,2%

• Fonte: Autoria Própria

De acordo com a Tabela 3 , nota-se que diminuiu a percentagem de artigos que apresentam claramente uma justificativa do estudo, passando de 91,1% (na década de 90) para 87,4% (nos anos 2000 a 2010). Apesar da maioria dos trabalhos apresentarem esse elemento, nota-se que existem artigos sem a sinalização da justificativa da pesquisa, sinalizando que o cuidado com a relevância dos estudos é um quesito a ser mais bem observado pela Academia Brasileira de Marketing. A apresentação do objetivo e/ou do problema de pesquisa continua a apresentar um percentual alto (96%), porém ainda não são todos os artigos que os descrevem.

A grande maioria dos artigos (98,10%) possui embasamento teórico, entretanto em apenas 61,3% do total de papers a fundamentação teórica foi considerada aprofundada. A teoria aprofundada, de acordo com Hoppen e Meire (2005, p. 31), apresenta “uma análise crítica fundamenta e um encadeamento de conceitos bem desenvolvido”. Contudo, nota-se que houve um aumento do percentual de artigos que utiliza teorias de base aprofundadas, quando comparado com a década de 90.

2.3 Desenho de Pesquisa

Quanto ao desenho da pesquisa, foram observados em cada um dos artigos analisado os seguintes elementos metodológicos: modelo de pesquisa, tipo de estudo, utilização de mix de métodos, operacionalização das variáveis do estudo e descrição dos procedimentos metodológicos utilizados. Com relação ao modelo de pesquisa, foi verificado se nos artigos há uma descrição ampla do fenômeno estudado e se o objeto de pesquisa foi posicionado na base teórica. Foi considerado o modelo de pesquisa tanto em formato gráfico ou escrito. Também foi verificado se os estudos foram longitudinais (observação de distintos tempos) ou de corte transversal (dados coletados em um ponto no tempo), no quesito tipo de estudo.

O elemento mix de método refere-se à utilização ou não de mais de um método de pesquisa. Ressalta-se que esse quesito não reporta as técnicas de coleta de dados. Quanto à operacionalização das variáveis, detectou-se a existência da descrição das variáveis apreciadas em cada artigo e a forma de sua mensuração. Além disso, foi registrado se os procedimentos metodológicos estão ou não descritos nos artigos. Os resultados da verificação desses elementos metodológicos nos artigos observados são expostos na Tabela 4 .

Tabela 4
Frequência de artigos por desenho de pesquisa

		1990		2000		sig.
		N	Perc	N	Perc
Modelo de Pesquisa	Não	104	83,9%	448	64,7%	<0,001
	Sim	20	16,1%	244	35,3%
Tipo de Estudo	Corte Transversal	120	96,8%	658	95,1%	ns
	Longitudinal	4	3,2%	34	4,9%
Mix de Métodos	Não	123	99,2%	675	97,5%	ns
	Sim	1	0,8%	17	2,5%
Operacionalização das Variáveis	Não	77	62,1%	195	28,2%	<0,001
	Sim	47	37,9%	497	71,8%
Descrição dos Proc. Metodológicos	Não	12	9,7%	77	11,1%	ns
	Sim	112	90,3%	615	88,9%

• Fonte: Autoria Própria

A análise da Tabela 4 indica que aumentou a porcentagem de estudos que apresentam o modelo de pesquisa, quando comparadas as duas décadas. Mesmo assim, são poucas as pesquisas do tipo survey de Marketing (35%) que apresentaram na década de 2000 o modelo de pesquisa, detalhando, graficamente ou não, o objeto em estudo dentro da base teórica.

A grande maioria dos estudos (96,8% na década de 90 e 95,1% na década de 2000) é de corte transversal. Seja pelos custos de tempo e dinheiro ou por outros motivos, poucos pesquisadores nacionais da área de Marketing realizam pesquisa com coletas de dados de forma longitudinal. De acordo com Babbie (1990 , p. 59), “o estudo transversal é claramente o desenho de estudo mais utilizado, mas muitas se não a maioria das perguntas que um pesquisador deseja responder envolvem alguma noção de mudança ao longo do tempo." Assim, investir no tipo de pesquisa longitudinal para determinados objetos e campo de estudo poderiam trazer resultados mais apurados e expressivos as pesquisas de Marketing nacionais.

Quase a totalidade dos artigos publicados na década de 90 (99,2%) e 2000 (97,5%) não utilizam mix de métodos. Dos 816 artigos, apenas 18 utilizaram mais de um método. Um dado positivo quanto ao cenário nacional de pesquisa survey é que a maioria (71,8%) dos artigos publicados na década de 2000 apresentara a operacionalização das variáveis utilizadas, revertendo a situação da década passada, onde a maior parte dos artigos (62,10%) não descreveu as variáveis e nem indicou a forma de mensuração das mesmas. Entretanto, houve uma pequena queda na porcentagem de artigos que apresentaram seus procedimentos metodológicos (88,9%) quando comparado com a década de 90 (90,32%).

2.4 Instrumentos de Medida e Coleta de Dados

Essa seção aborda o instrumento de medida e a coleta de dados dos artigos analisados, observando os seguintes elementos metodológicos: etapa exploratória para a elaboração do instrumento de coleta de dados, validade de conteúdo, tipo de instrumento utilizado para a coleta de dados, tipo de dado coletado, tipo de amostragem, verificação de viés dos não respondentes e caracterização da amostra. As Tabelas 5 a 12 descrevem esses resultados.

Para a construção ou escolha do instrumento de coleta pode ser realizada uma etapa exploratória, utilizando uma estratégia qualitativa como as técnicas de entrevista em profundidade ou focus group . Em alguns casos, o instrumento foi gerado em outra pesquisa.

A constatação neste item é que a maioria (46,7%) dos estudos de Marketing da primeira década dos anos 2000 que utilizaram o método survey apropriou-se de instrumento de coleta gerado em outra pesquisa (ver Tabela 5 ). Esse percentual foi superior ao encontrado na década anterior, onde 25% das pesquisas utilizam instrumentos oriundos de outros estudos. O percentual de pesquisas que utiliza técnicas qualitativas como as entrevistas em profundidade e grupos focais para elaborar seus questionários, caiu de 24,2% e 6,5% nos anos 90 para 22% e 3,9% no período de 2000 a 2010. Entretanto, o dado mais surpreende na Tabela 6 é o fato de muitos estudos - 215 artigos, ao englobar os dois períodos - não apresentarem uma etapa exploratória, com a descrição do processo de composição de seus instrumentos de coleta.

Tabela 5
Tipo de instrumento, estratégia de aplicação e modo de coleta – Etapa Exploratória

	1990		2000
	N	Perc	N	Perc
Ausente	43	34,7%	172	24,9%
Instrumento gerado em outra pesquisa	31	25,0%	323	46,7%
Entrevista em Profundidade	30	24,2%	152	22,0%
Focus Group	8	6,5%	27	3,9%
Outros	19	15,3%	47	6,8%

• Nota: O total de casos ultrapassa o número total de artigos, uma vez que alguns artigos utilizaram mais de um método ou instrumento.
• Fonte: Autoria Própria

Tabela 6
Validade do conteúdo / face

	1990		2000
	N	Perc	N	Perc
Ausente	67	54,0%	351	50,7%
Pré-teste	38	30,6%	261	37,7%
Especialistas	14	11,3%	65	9,4%
Focus group	1	0,8%	3	0,4%
Outro	14	11,3%	4	0,6%

• Nota: O total de casos ultrapassa o número total de artigos, uma vez que alguns artigos utilizaram mais de um método ou instrumento.
• Fonte: Autoria Própria

Após a verificação da etapa exploratória para a elaboração do questionário, foi analisado se os artigos apresentavam ou não validade de conteúdo/face, a qual avalia o grau de correspondência entre os itens selecionados para constituir uma escala e sua definição conceitual (HAIR; BLACK; BABIN; ANDERSON, 2010), verificando a clareza e a adequação dos enunciados e indicadores utilizados no instrumento de coleta de dados (HAIR; ANDERSON; TATHAM; BLACK, 1998).

Pré-testes, avaliação por especialistas e focus group são as técnicas mais utilizadas pelos pesquisadores para verificar a validade de conteúdo/face. Entretanto, pela segunda década seguida, a maioria das pesquisas survey da área de Marketing publicadas no Brasil (50,7%) não apresenta (ou pelo menos não descreve) a validade de conteúdo/face (ver Tabela 6 ).

Além dos procedimentos de elaboração e validação de conteúdo/face do instrumento de coleta, também foi analisada a estratégia de coleta de dados nas pesquisas do tipo survey investigadas, conforme aponta a Tabela 7 .

Tabela 7
Tipo de instrumento, estratégia de aplicação e modo de coleta – Etapa Quantitativa

	1990		2000
	N	Perc	N	Perc
Ausente	4	3,2%	104	15,0%
Questionário por telefone	2	1,6%	36	5,2%
Questionário por correio	34	27,4%	41	5,9%
Questionário entregue / recolhido	14	11,3%	106	15,3%
Questionário eletrônico	4	3,2%	125	18,1%
Questionário aplicado (entrevista)	49	39,5%	218	31,5%
Pesquisa documentacional	5	4,0%	53	7,7%
Pesquisa bibliográfica	2	1,6%	22	3,2%
Outro	17	13,71%	13	1,9%

• Nota: O total de casos ultrapassa o número total de artigos, uma vez que alguns artigos utilizaram mais de um método ou instrumento.
• Fonte: Autoria Própria

De acordo com a Tabela 7 , o questionário aplicado (entrevista) foi a estratégia mais utilizada, tanto na década de 90 (39,52%) quanto nos anos 2000 a 2010 (31,5%). Entretanto, houve uma grande queda na utilização de questionários por correio (de 27,4% para 5,9%) e um grande aumento no uso de questionário eletrônico (de 3,2% para 18,1%). Esses dados vão ao encontro de pesquisas internacionais, que apontam que apesar das reconhecidas limitações, as pesquisas survey pela Internet estão rapidamente se transformando no método favorito de questionários (ALBAUM; ROSTER; WILEY; ROSSITER; SMITH, 2010).

Muitos artigos não apresentaram (pelo menos não descreveram) o tipo de instrumento utilizado em sua pesquisa. Notou-se, também, que alguns artigos utilizaram mais de um tipo de instrumento para a coleta. Além disso, foi verificado nos artigos o elemento metodológico “tipo de dados”, examinando se os dados eram primários, ou seja, se foram coletados especificamente para o estudo; secundários, caso os dados já estivessem anteriormente disponibilizados; ou se os artigos apresentavam tanto dados primários quanto secundários.

Os resultados expostos na Tabela 8 relatam uma preferencia dos pesquisadores de Marketing brasileiros por realizar pesquisas survey unicamente com dados primários, dado que dos 816 artigos observados em um período de 21 anos, 680 artigos utilizaram dados coletados especificamente para pesquisa. O percentual de artigos que utilizaram apenas dados secundários aumentou no período de 2000 a 2010, assim como o de pesquisas que utilizaram tanto dados primários quando secundários. Contudo, esses percentuais são pequenos quando comparados com o percentual de trabalho que utilizou unicamente dados primários.

Tabela 8
- Frequência de artigos por tipo de dado coletado

	1990		2000		sig.
	N	Perc	N	Perc	Qui-quadrado
Ambos	8	6,5%	54	7,8%	ns
Primários	109	87,9%	571	82,5%
Secundários	7	5,6%	67	9,7%
	124		692

• Fonte: Autoria Própria

Além disso, foi apurado se o artigo apresentava ou não um processo de amostragem ou, ainda, se a pesquisa survey tratava-se de um censo. Se o estudo apresentava processo de amostragem, era verificado se a amostragem era ou não probabilística e, ainda, se a amostra havia sido caracterizada, com ou sem comparação com a população do estudo.

A Tabela 9 revela que a maioria dos artigos apresenta um processo de amostragem. Poucos artigos realizaram censo. Salienta-se, porém, que uma grande porcentagem de artigos publicados entre 2000 e 2010 não descreveram o seu processo de amostragem.

Tabela 9
- Frequência de Censos e Amostras

	1990		2000		sig.
	N	Perc	N	Perc	Qui-quadrado
Amostra	105	84,7%	483	69,8%	<0,001
Censo	6	4,8%	20	2,9%
Ausente	13	10,5%	189	27,3%
	124		692

• Fonte: Autoria Própria

A análise da Tabela 10 permite concluir que a grande maioria dos estudos survey de Marketing publicados nos últimos 21 anos no Brasil utilizam amostras não probabilísticas. Dentre os procedimentos não probabilísticos, destacam-se a amostragem por conveniência, que aumentou a sua proporção (de 20,2% na década de 90 para 51,5% na primeira década de 2000); e o retorno de correio que diminuiu o seu percentual de 29% para 23,2% do total de artigos analisados em cada período.

Tabela 10
- Frequência por Tipo de Amostragem

	1990		2000			1990		2000
Tipo de Amostra	N	Perc	N	Perc	Método	N	Perc	N	Perc
Ausente	9	8,6%	2	0,4%
Probabilística	10	9,5%	114	23,6%	Aleatória simples	2	20,0%	55	48,2%
					Aleatória estratificada	4	40,0%	13	11,4%
					Aleatória em agrupamentos	1	10,0%	4	3,5%
					Aleatória sistemática	1	10,0%	8	7,0%
					Aleatória por área	1	10,0%	3	2,6%
					Outro	1	10,0%	31	27,2%
Não probabilística	86	81,9%	367	76,0%	Conveniência	25	20,2%	189	51,5%
					Julgamento	8	6,5%	35	9,5%
					Por quotas	14	11,3%	33	9,0%
					Retorno de correio	36	29,0%	85	23,2%
					Outro	3	2,4%	25	6,8%
Total	105		483

• Fonte: Autoria Própria

Na Tabela 11 , observa-se que a maioria dos artigos que apresentam caracterização da amostra não a compara com a sua população. E, em muitos casos (53,2% nos anos 90 e em 39,6% no período entre 2000 e 2010), a amostra sequer é caracterizada. Nesse diagnóstico, observou-se ainda se os artigos realizaram ou não teste de viés para os “não respondentes”.

Tabela 11
Frequência de Caracterização da Amostra

	1990		2000		sig.
Caracterização da Amostra	N	Perc	N	Perc	Qui-quadrado
Ausente	66	53,2%	274	39,6%	<0,001
Com comparação com a população	1	0,8%	17	2,5%
Não se aplica	6	4,8%	0	0,0%
Sem comparação com a população	51	41,1%	401	57,9%
Total	124		692

• Fonte: Autoria Própria

Tabela 12
Frequência de Teste do Viés

	1990		2000		Sig.
Teste de Viés	N	Perc	N	Perc	Qui-quadrado
Não	67	54,0%	425	61,4%	ns
Não se aplica	50	40,3%	243	35,1%
Sim	7	5,6%	24	3,5%
Total	124		692

• Fonte: Autoria Própria

Do total de 816 artigos de Marketing publicados em um horizonte de 21 anos nos principais congressos e periódicos brasileiros, apenas 31 deles realizou testes de viés dos não respondentes. Ressalta-se que em 293 pesquisas não se aplica tal teste. Contudo, cerca de 60% dos artigos publicados entre 2000 e 2010 poderiam ter avaliado se os não respondentes de sua pesquisa diferiam significativamente daqueles que participaram do estudo.

2.5 Medida da Confiabilidade e Validade dos Constructos

Um importante passo para assegurar a qualidade das pesquisas survey é verificar a confiabilidade das medidas empregados no estudo, assim como a validade dos construtos. Considerou-se, para avaliar a confiabilidade, se o artigo apresenta testes para verificar a confiabilidade das medidas e, caso afirmativo, qual o teste utilizado. A validade de construto foi observada nos artigos analisados via a presença ou não da validade convergente e da validade discriminante.

A validade convergente refere-se “ao grau em que os indicadores de um construto em específico convergem ou compartilham uma alta proporção de variância em comum” ( HAIR et al., 2010 , p. 699); enquanto a validade discriminante trata da extensão na qual um construto é verdadeiramente distinto de outros construtos, tanto em termos de quanto ele se correlaciona com outros construtos e quão distintas as variáveis medidas representam somente um único construto ( HAIR et al., 2010 , p. 699). A Tabela 13 aponta esses resultados.

Tabela 13
- Frequência de Tipo de Análise para teste da Confiabilidade, Validade Convergente e Discriminante

		1990		2000		sig.
		N	Perc	N	Perc	Qui-quadrado
Confiabilidade	Ausente	94	75,8%	303	43,8%	<0,001
	Alpha de Cronbach	22	17,7%	271	39,2%
	Variância Extraída	0	0%	67	9,7%
	Outro	8	6,5%	51	7,4%
Validade Convergente	Não	114	91,9%	517	74,7%	<0,001
	Sim	10	8,1%	175	25,3%
Validade Discriminante	Não	117	94,4%	510	73,7%	<0,001
	Sim	7	5,6%	182	26,3%

• Nota: O total de casos ultrapassa o número total de artigos, uma vez que alguns utilizaram mais de um método.

Os resultados desses estudos permitem afirmar que a grande maioria dos trabalhos de Marketing publicados nos principais congressos e periódicos nacionais, que utilizam o método survey , não verificou (ou ao menos não descreveu) a realização de testes de confiabilidade das medidas e validade dos constructos utilizados (ver Tabela 13 ).

Apesar de ter ocorrido um significativo aumento de pesquisas que realizaram algum teste de confiabilidade – de 24,2% na década de 90 para 48,8% no inicio dos anos 2000 -; os artigos que descreveram questões de validade convergente e discriminante (185 e 189, respectivamente, a longo do intervalo de 21 anos) não chegam a representar um quarto do total de artigos analisados nessa pesquisa.

2.6 Tipos de Análise de Dados

Nessa categoria são apresentados os tipos de análise de dados encontrados nos artigos e sua frequência. A Tabela 14 aponta os principais resultados da análise dos artigos.

Tabela 14
Fonte: Autoria Própria

- Frequência de Tipos de Análise de Dados

	1990		2000
Tipo de Análise	N	Perc	N	Perc
Frequência	59	47,6%	327	47,3%
Média	49	39,5%	253	36,6%
Fatorial	31	25,0%	290	41,9%
Anova / Teste t	27	21,8%	140	20,2%
Regressão (Correl.)	26	21,0%	118	17,1%
Desvio Padrão	21	16,9%	128	18,5%
Qui-quadrado	20	16,1%	74	10,7%
Discriminante	11	8,9%	19	2,7%
Mediana	10	8,1%	6	0,9%
Regressão (Múltipla)	7	5,6%	114	16,5%
Moda	2	1,6%	1	0,1%
Outro	47	37,9%	310	44,8%

• Nota: O total de casos ultrapassa o número total de artigos, uma vez que alguns artigos utilizaram mais de um método. Destaca-se em outros métodos o uso de equações estruturais que saltaram de 3 (2,4%) para 210 (30,3%).
• Fonte: Autoria Própria

A Tabela 14 relata que as estatísticas descritivas, como a frequência e média, continuam a ser fortemente utilizadas nas pesquisas survey . Contudo, aumentou a participação das análises multivariadas no período de 2000 a 2010: a análise fatorial passou de 25% (na década de 90) para 41,9% (entre 2000 e 2010); e as regressões múltiplas (de 5,6% para 16,5%).

2.7 Forma de Apresentação dos Resultados, Limites e Recomendações de Pesquisa

Nessa categoria foi verificado se estavam indicadas nos artigos questões relativas às suas validades externa – observando se as pesquisas apontavam se seus resultados poderiam ou não ser utilizados em outras situações– e validade nomológica – verificando a presença ou não de uma descrição da consistência entre resultados obtidos, a teoria correspondente e resultados de pesquisas anteriores ( SAMPIERI et al., 1998 ; CHURCHILL, 1999) -. Além disso, também foi observado se os artigos apontavam os limites do estudo, assim como recomendações aplicadas e para futuras pesquisas. A Tabela 15 apresenta os resultados dessa categoria.

Tabela 15
Frequência de artigos por tipo de dado coletado

		1990		2000		sig.
		N	Perc	N	Perc	Qui-quadrado
Validade externa	Não	106	85,5%	439	63,4%	<0,001
	Sim	18	14,5%	253	36,6%
Validade nomológica	Não	103	83,1%	375	54,2%	<0,001
	Sim	21	16,9%	317	45,8%
Limites do estudo	Não	77	62,1%	263	38,0%	<0,001
	Sim	47	37,9%	429	62,0%
Recomendações para pesquisa	Não	71	57,3%	181	26,2%	<0,001
	Sim	53	42,7%	511	73,8%
Recomendações aplicadas	Não	30	24,2%	260	37,6%	<0,01
	Sim	94	75,8%	432	62,4%

• Fonte: Autoria Própria

Via a Tabela 15 , pode-se observar que aumentou a porcentagem de estudos que se preocupam com a validade externa e principalmente com a validade monológica. Entretanto, esses números ainda são baixos, ao perceber que menos da metade dos estudos apresentam cuidado com a validade externa e nomológica. Em contrapartida, aumentou significativamente a porcentagem de estudos que apresentam as limitações da pesquisa e as recomendações para pesquisa. Interessantemente, a quantidade de estudos que apresentam recomendações para pesquisa (511) é superior à quantidade de pesquisas que apontam recomendações aplicadas (260), dentre as pesquisas survey na área de Marketing publicadas entre os anos 2000 a 2010.

Infelizmente, o percentual de estudos que apresentam recomendações aplicadas nessa década (62,4%) reduziu em relação à década de 90 (75,8%). Isto pode denotar uma prioridade para resultados teórico-acadêmicos em detrimento de resultados aplicáveis na prática do Marketing. O volume de artigos que não descreve as limitações do estudo (62,10%) parece corroborar com esta conclusão.

2.8 Cruzamento de Variáveis

Para aprofundar a analise dos artigos de Marketing publicados nacionalmente, que utilizaram o método survey, no período de 90 a 2010, foram realizados alguns cruzamentos entre os dados. Inicialmente, considerou-se a natureza de pesquisa e suas relações com outras variáveis. Pressupõe-se que os estudos de natureza exploratória forneçam embasamento sobre problemas ou fenômenos sobre os quais se detinha pouco conhecimento para a realização de futuras pesquisas (CHURCHILL, 1999; SAMPIERI; COLLADO; LUCIO, 1998 ). Ao realizar o cruzamento entre a natureza de pesquisa e as recomendações para pesquisas, nota-se que a essência da pesquisa de cunho exploratório foi evidenciada na maioria das publicações da década de 2000, dado que dos 94 artigos publicados de natureza exploratória, 68 recomendaram expressamente a realização de novas pesquisas. Tal fato não foi evidenciado no levantamento da década de 90, onde dos 37 artigos de natureza exploratória publicados, apenas 16 (43,24%) apresentaram expressamente recomendações para pesquisas futuras.

Quanto à natureza descritiva dos estudos, espera-se que eles apresentem um conhecimento anterior sobre o problema ou fenômeno pesquisado (CHURCHILL, 1999; SAMPIERI et al., 1998 ), sendo marcada por uma formulação prévia de hipóteses específicas (CHURCHILL, 1999; MALHOTRA, 2006 ). Contudo, esse pressuposto não condiz como os resultados desse levantamento. Ao longo dos dois períodos estudados, a maioria das pesquisas survey de natureza descritiva (67,1% nos anos 90 e 76,7% nos anos 2000) não apresentaram hipóteses e pressupostos de base.

Na década de 90, a maioria dos artigos de natureza descritiva utilizava teoria de bases superficiais (53,6%). Contudo, esse cenário mudou entre 2000 e 2010, onde a maioria dos estudos apresentou sustentação teórica aprofundada (57,6%). Mesmo assim, muitos estudos descritivos ainda apresentam teorias de base superficiais (39,7%), contradizendo o pressuposto da natureza desse tipo de pesquisa.

Assim com a pesquisa descritiva, a pesquisa causal requer uma concepção planejada e estruturada ( MALHOTRA, 2010 ), mas requer uma estruturação anterior maior que as outras naturezas de pesquisa (CHURCHILL, 1999; SAMPIERI et al., 1998 ). A maioria dos estudos causais apresentou hipóteses de pesquisa (81,8% nos anos 90 e 75,7% nos anos 2000). Apesar de 65,4% dos artigos publicados entre 2000 e 2010 apresentarem um embasamento teórico aprofundado, muitos (34,6%) ainda carecem disto. Na década anterior, esse índice foi ainda pior, onde 63,6% dos estudos causais apresentavam uma teoria de base superficial.

Cerca de 30% dos artigos causais publicados nos anos 2000 não apresentaram modelo de pesquisa. Esse índice foi maior do que o encontrado na década anterior (27,3%). Mas o dado mais preocupante com relação à qualidade dos artigos de cunho causal é o grande percentual de ausência de testes de validade. Do total de 274 artigos de natureza causal publicados nesses 21 anos, 196 não apresentaram teste de validade convergente, 193 não realizaram teste de validade discriminante e 139 não demostraram sua validade nomológica. Ou seja, mais da metade dos artigos não descreveram questões relativas à validade de seus estudos e construtos, o que permite a contestação dos resultados de suas pesquisas.

Os dados demonstram reduzida atenção ao tipo de amostra utilizado, no que tange a validade preditiva das pesquisas apresentadas. Nos anos 2000, 31% dos artigos causais e 24,2% dos artigos descritivos não registraram o tipo de amostragem utilizada. Do total de 274 artigos de natureza causal publicados entre 1990 e 2010, apenas 31 estudos utilizaram amostragem probabilística. No mesmo período, 50 artigos de cunho descritivo apresentaram amostragem probabilística, de um total de 411 artigos registrados.

Ou seja, há um predomínio de uso de amostragem não probabilística tanto nas pesquisas descritivas quanto causais de Marketing que utilizam o método survey nos últimos 21 anos, fato que impossibilita a generalização de resultados de muitos dos estudos nacionais de Marketing. Dentre os tipos de amostragem não probabilísticos, a amostragem por conveniência se destacada nos dois tipos de pesquisa nos anos 2000 (27,3% dos estudos causais e 28,7% nas pesquisas descritivas).

CONSIDERAÇÕES FINAIS

A realização desse levantamento de artigos da área de Marketing, publicadas nos principais congressos e periódicos brasileiros, permite uma visão longitudinal da produção de pesquisas survey e, também, proporciona uma análise comparativa dessa produção ao longo dos anos, fornecendo fundamentação para avalição da qualidade dessas publicações. Via os resultados apresentados, nota-se que ocorreram alguns progressos relativos aos critérios de qualidade dos elementos metodológicos básicos da produção científica brasileira na área de Marketing ao longo dos anos 2000, quando comparados com os artigos publicados na década de 90, tais como o maior percentual de pesquisas com teoria de base aprofundada, com a descrição da operacionalização de suas variáveis, com testes de confiabilidade, com a apresentação dos limites do estudo e sugestões para futuras pesquisas.

Contudo, ainda existem lacunas ao atendimento efetivo dos critérios de qualidade nas pesquisas survey , principalmente pela falta de rigor em muitos dos artigos analisados. Apesar de nos anos 2000 ter ocorrido um aumento, quando comparado à década de 90, no percentual de artigos que utilizam teorias de base aprofundada; muitos artigos publicados entre 2000 e 2010 apresentam um embasamento teórico superficial e poucos artigos apresentaram seu modelo de pesquisa. Quando se observa especificamente os estudos causais, nota-se que apesar da maioria desses ter apresentado hipóteses de pesquisa, muitos carecem de teoria de base aprofundada e de uma explícita apresentação do modelo de pesquisa, que se trata de elementos metodológicos basilares a essa natureza de pesquisa.

Ainda é expressivo o percentual de artigos que não apresenta a descrição dos procedimentos utilizados para elaboração do instrumento de coleta das pesquisas survey , bem como na validade de conteúdo / face dos mesmos. Os resultados apontam que a maioria dos estudos de Marketing da primeira década dos anos 2000 que utilizou o método survey apropriou-se de instrumento de coleta gerado em outra pesquisa, sendo que esse percentual foi significativamente superior ao encontrado na década anterior. Esse aumento no percentual pode retratar “uma possível sequência de trabalhos e / ou validações de pesquisas externas no ambiente brasileiro” (FROEMMING et al., 2000b, p. 208). Nessa linha, há toda uma discussão da academia brasileira sobre a replicação da produção científica norte-americana ( SAMPAIO et al., 2012 ), e o quanto essa prática influencia a construção do conhecimento de Marketing no Brasil ( VIEIRA et al., 2002 ), em especial pela tendência de mimetizar o que é desenvolvido em outros países e contextos ( FARIAS, 2004 ) com a preocupação demasiada da área de Marketing com a reprodução e teste de escalas e de modelos desenvolvidos por vezes em realidades totalmente distintas ( FIRAT et al., 2010 ).

Muitas pesquisas do tipo survey estão se apropriando de questionários eletrônicos, em detrimento do uso de questionário por correio. Cuidado especial deve ser tomado com a utilização de amostragens não probabilísticas e intenção de generalização de resultados. Apesar da utilização de amostras ser o caminho escolhido em grande parte das pesquisas survey , este levantamento indica que os pesquisadores apresentam pouca atenção para o tipo de amostragem utilizada. Uma vez que poucos estudos de natureza descritiva e até causal utilizam amostragem probabilística, o que prejudica a validade preditiva das pesquisas de Marketing nacionais.

A maioria dos estudos utiliza dados primários e de corte transversal. Contudo, crê-se que os pesquisadores de Marketing brasileiros poderiam valer-se mais de dados secundários e longitudinais em seus estudos, caso se dispusessem a se aproximar mais das organizações, o que proporcionaria dados reais sobre o mercado e consumo. Nesse sentido, há de se cuidar para que as pesquisas nacionais realmente agreguem novos conhecimentos à área de Marketing e tratem de questões subjacentes à realidade do mercado, do consumo e de suas relações no cenário brasileiro, olvidando o reducionismo e transposições descuidadas de conhecimento oriundo de outros países.

Os resultados da pesquisa apontam questões preocupantes relativas à qualidade das pesquisas survey publicadas ao longo desses 21 anos na área de Marketing no Brasil. A maioria dos artigos analisados não descreve questões relativas à validade de seus construtos e de seus estudos como um todo. A maioria das pesquisas survey não apresenta testes de validade convergente e discriminante, e não aponta questões de validade nomológica, inclusive dentre os estudos de natureza causal.

Dado que “a pesquisa de Marketing, seja básica ou aplicada, é desenhada para solucionar problemas” ( BAGOZZI, 1994 , p. 1), crê-se que é contraditório que tenha diminuído o percentual de artigos que apresentam recomendações aplicadas. Fomenta-se que as próximas pesquisas survey tenham maior cuidado com a relevância de seus estudos, para que a academia nacional de Marketing não olvide da prática. A discussão envolvendo a necessidade de restaurar um equilíbrio perdido entre os resultados fragmentados dirigidos pelo reducionismo das investigações científicas com os problemas integrativos dos gestores empresariais tem sido empregada em publicações nacionais ( MASCARENHAS; ZAMBALDI; MORAES, 2011 ; SAMPAIO et al., 2012 ) e internacionais ( REIBSTEIN et al., 2009 ; JAWORSKI, 2011 ). O que resulta desse embate é a necessidade de reaproximação e colaboração da pesquisa acadêmica com a prática e com os problemas empresariais ( LILIEN, 2011 ), assegurando uma disseminação e aplicação do conhecimento gerado ( Lutz, 2011 ).

Em síntese, pode-se considerar que ao longo dos anos 2000 elevou-se o nível de rigor analítico das pesquisas survey da produção científica em Marketing. Não resta dúvida de que é desejável buscar os critérios de rigor e de qualidade; entretanto, ressalta-se a preocupação de pesquisadores da área com o predomínio da técnica sobre a relevância ( FIRAT et al., 2010 ), em que predomina o rigoroso arsenal metodológico de temas não substantivos em detrimento da importância do estudo ( LEHMANN et al., 2011 ; SAMPAIO et al., 2012 ). Não obstante, é consenso que a área de Marketing se beneficiaria com critérios mais rígidos de qualidade em seus artigos científicos, e que, nesse sentido, os resultados da análise dos critérios de rigor científico das pesquisas survey publicadas na área de Marketing encontrados no presente estudo permitem concluir que existe uma evolução na qualidade da produção cientificada área nos anos 2000 em relação à década de 90.

Salienta-se que esse levantamento apresenta suas próprias limitações, dado que as considerações desse estudo não englobam a totalidade de periódicos e congressos nacionais da área de Marketing. Além disso, esta pesquisa não apresenta a análise de estudos brasileiros com a utilização do método survey publicados em periódicos estrangeiros. Assim, sugere-se a realização de um inventário das características metodológicas básicas das pesquisas survey publicadas em periódicos internacionais por pesquisadores brasileiros da área de Marketing e a comparação dos resultados nacionais com resultados de outros países. Também se fomenta a realização de futuras pesquisas que comparem os resultados da qualidade dos procedimentos metodológicos da área de Marketing com outras áreas.

Apesar dos critérios para análise abrangerem os mesmos elementos metodológicos das pesquisas anteriores, cada artigo foi analisado por um único avaliador. A subjetividade implícita a cada avaliador em suas apreciações individuais pode ter representado conclusões distintas para uma mesma situação. Contudo, salienta-se que foram realizadas reuniões entre os avaliadores para a discussão dos critérios de análise e encontros para a revisão de dúvidas. Além disso, as análises foram verificadas por dois juízes que analisaram 30 artigos escolhidos aleatoriamente e compararam com a avaliação realizada pelos quatro pesquisadores.

ANEXO 

CLASSIFICAÇÃO :
AUTOR (ES) :
TÍTULO :
PERIÓDICO :
NATUREZA	Natureza da pesquisa	□ Exploratória □ Descritiva □ Causal	A natureza da pesquisa survey pode ser exploratória, descritiva ou causal. No caso de uma pesquisa exploratória , trata-se de aprofundar conceitos preliminares, muitas vezes inéditos. Seu objetivo básico é desenvolver hipóteses e proposições que irão redundar em pesquisas complementares. Uma pesquisa survey descritiva tem como objetivo informar o pesquisador sobre situações, fatos, opiniões ou comportamentos que têm lugar na população analisada, buscando mapear a distribuição de um fenômeno na população estudada. Finalmente, a pesquisa survey causal é aquela que testa uma teoria e suas relações causais.
QUESTÃO	Justificativa	□ Sim □ Não	Registrar se o artigo apresenta justificativa ou relato de importância da pesquisa descrita no artigo.
DE PESQUISA	Teorias de base	□ Aprofundada □ Superficial □ Ausente ou não relacionada	Uma teoria de base é considerada aprofundada quando apresenta uma descrição detalhada do fenômeno em estudo do ponto de vista dos principais autores da área ou de uma linha de estudo específica de um grupo de autores. Caso a descrição do fenômeno apresente pouco detalhamento, mas ainda dentro do fenômeno em estudo, considera-se a teoria de base como superficial . Em qualquer outro caso, considera-se a mesma como ausente ou não relacionada .
	Objetivo / Questão de pesquisa	□ Sim □ Não	Registrar se o artigo descreve ou não o problema de pesquisa e/ou objetivo geral. O problema de pesquisa implica em uma questão que envolve uma dificuldade teórica ou prática para a qual se quer encontrar uma resposta ou solução.
	Hipóteses / pressupostos de base	□ Sim □ Não	Registrar se o artigo descreve ou não hipóteses ou pressuposições iniciais para a pesquisa desenvolvida. Hipóteses são afirmações sobre variáveis, suas relações ou comportamento dentro do fenômeno em estudo, servindo de orientação para os procedimentos da pesquisa.
DESENHO DE PESQUISA	Modelo de pesquisa	□ Sim □ Não	Registrar se o artigo descreve ou não o modelo de pesquisa, ou seja, se o artigo posiciona o objeto em estudo dentro da base teórica ou de uma descrição mais ampla do fenômeno estudado, podendo ser gráfico ou não.
	Tipo de estudo	□ Longitudinal □ Corte Transversal	Um survey é considerado longitudinal quando realiza a mensuração das variáveis em estudo em momentos diferentes no tempo, com o objetivo de analisar as variações ocorridas no período. Se a mensuração se restringir a um instante no tempo, o survey é considerado como corte trasversal .
	Mix de métodos	□ Sim □ Não	Registrar se o artigo apresenta ou não a utilização de mais de um método de pesquisa para avaliar a mesma questão de pesquisa. Note-se que este mix de métodos não se refere à diversidade dos métodos de coleta de dados.
	Objeto da investigação (Qual)		Descrever qual é o objeto da investigação apresentado no artigo. O objeto de investigação está relacionado à questão de pesquisa, ou seja, qual característica do fenômeno está sendo analisada.
	Sujeito da investigação (Qual)		Descrever qual é o sujeito da investigação apresentado no artigo. O sujeito de investigação está relacionado com a população em estudo, ou seja, qual a entidade ou organismo do fenômeno está sendo analisado.
	Operacionalização das variáveis	□ Sim □ Não	Registar se o artigo apresenta ou não a descrição das variáveis consideradas no fenômeno estudado, além da forma de mensuração das mesmas.
	Descrição dos procedimentos metodológicos	□ Sim □ Não	Registrar se o artigo apresenta ou não a descrição das etapas desenvolvidas no estudo.
INSTRUMENTOS DE MEDIDA E COLETA DOS DADOS	Tipo de instrumento, estratégia de aplicação e modo de coleta – Etapa Exploratória	□ Ausente □ Entrevista em profundidade □ Focus group □ Instrumento gerado em outra pesquisa □ Outro:	Registrar a forma de realização da etapa exploratória para a elaboração do instrumento de coleta da etapa quantitativa. Considerar as seguintes opções: entrevista em profundidade , focus group , utilização de instrumento gerado em outra pesquisa , outro ou ausente .
	Validade do conteúdo / face	□ Ausente □ Especialistas □ Pré-teste □ Focus group □ Não se aplica □ Outro:	Registrar qual o método utilizado na pesquisa para verificar a validade de face do instrumento de medida utilizado. A validade de conteúdo / face considera a clareza e adequação dos enunciados e indicadores utilizados no instrumento de coleta para a mensuração das variáveis estudadas. Considerar as seguintes opções: ausente , pré-teste, especialistas , focus group , outro e não se aplica .
	Tipo de instrumento, estratégia de aplicação e modo de coleta – Etapa Quantitativa	□ Questionário por correio □ Questionário aplicado (entrevista) □ Questionário entregue / recolhido □ Questionário por telefone □ Questionário eletrônico □ Pesquisa documentacional □ Pesquisa bibliográfica □ Outro:	Registrar a forma de coleta de dados da etapa quantitativa. Considerar as seguintes opções: questionário por correio, questionário aplicado (entrevista), questionário entregue / recolhido, questionário por telefone, questionário eletrônico, pesquisa documentacional, pesquisa bibliográfica, outro ou ausente .
	Tipo de dados	□ Primários □ Secundários □ Ambos	Registrar os tipos de dados coletados. Dados primários são aqueles coletados especificamente para a pesquisa. Dados secundários são aqueles já existentes, coletados anteriormente.
	Respondentes (Quais)		Descrever quem foram os respondentes da pesquisa.
	Tamanho da amostra (Número)		Registrar o tamanho da amostra utilizada para pesquisa, ou seja, o número de questionários válidos utilizados na análise dos dados.
	Tipo de amostra	□ Censo Probabilística: □ Aleatória Simples □ Aleatória Estratificada □ Aleatória em Agrupamentos □ Aleatória Sistemática □ Aleatória por Área □ Outro: Não probabilística: □ Conveniência □ Julgamento □ Por Quotas □ Retorno de correio □ Outro:	Registrar o tipo de amostragem utilizada na pesquisa. Caso a pesquisa tenha considerado as respostas de todos os elementos da população, registra-se o tipo de amostra como censo . Uma amostra probabilística é aquela que respeita a probabilidade de cada elemento da população possa fazer parte da amostra, respeitando a aleatoriedade da presença de um elemento da população na amostra. Na amostragem aleatória simples (probabilística) sorteiam-se aleatoriamente os elementos da população a serem considerados. Na amostragem aleatória estratificada (probabilística) a população é dividida em estratos (mutuamente exclusivos e coletivamente exaustivos para uma dada característica), dos quais são sorteados aleatoriamente os elementos a serem considerados na amostra, respeitando a representatividade de cada estrato. Na amostragem aleatória por agrupamentos (probabilística), dada uma população dividida em grupos com comportamentos similares, seleciona-se aleatoriamente um conjunto destes grupos e utiliza-se os seus elementos como representativos de toda a população. Na amostragem aleatória sistemática (probabilística), dada uma listagem dos elementos da população, seleciona-se um elemento da lista a cada N/n (N – tamanho da população, n – tamanho da amostra) elementos, sendo o primeiro elemento sorteado entre os N/n primeiros elementos. Na amostragem aleatória por área (probabilística), dada uma região a ser pesquisada (estado, cidade, bairro, etc.), definem-se as áreas que compõem a região, sorteia-se um conjunto de áreas e dentro de cada área sorteada os elementos a serem questionados. Uma amostra não probabilística é aquela que não respeita a probabilidade de cada elemento da população possa fazer parte da amostra, ou seja, desconsidera a aleatoriedade da presença de um elemento da população na amostra. Na amostragem por conveniência (não probabilística), os elementos da amostra são selecionados por conveniência ou facilidade para o pesquisador. Na amostragem por julgamento (não probabilística), os elementos da amostra são selecionados com base em algum critério que o pesquisador julga adequado para buscar a representatividade da amostra. Na amostragem por quotas (não probabilística), reconhecida uma divisão ou distribuição da população em quotas ou características específicas, os elementos da amostra são selecionados de forma a preencher a proporcionalidade de cada cota identificada. Na amostragem de retorno de correio (não probabilística), a amostra é composta pelos respondentes que se propuseram a retornar os questionários.
	Taxa de resposta (%)	%: □ Ausente □ Não se aplica	Registrar o percentual de respostas obtidas em relação ao total solicitado. Considerar a possibilidade da não apresentação da taxa de resposta ou da sua não adequação ( não se aplica ) à pesquisa, como por exemplo, no caso de censo ou questionários aplicados.
	Teste do viés (Não Respondentes)	□ Sim □ Não □ Não se aplica	Registrar se o artigo apresenta ou não a descrição de teste de não respondentes, ou seja, avaliação de amostra dos elementos questionados e que não responderam num primeiro momento da coleta de dados. O teste de não respondentes verifica se existem diferenças entre as respostas entre os elementos da primeira amostra e a amostra dos não respondentes. Considerar a possibilidade do teste de viés não ser adequado ( não se aplica ) à pesquisa, como por exemplo no caso de censo ou questionários aplicados.
	Caracterização da amostra	□ Ausente □ Sem comparação com a população □ Com comparação com a população	Registrar se o artigo apresenta ou não uma descrição das características da amostra e, ainda, se relaciona estas características com as da população.
VALIDADE DOS CONSTRUTOS	Confiabilidade	□ Ausente □ Alpha de Cronbach □ Outro:	Registrar qual o teste estatístico utilizado na pesquisa para avaliar a confiabilidade do instrumento de coleta de dados ou se o artigo não apresentou teste de confiabilidade. A confiabilidade é entendida como a característica de uma metodologia de pesquisa que permite a repetição do processo com a obtenção do mesmo resultado, por qualquer outro pesquisador. O princípio geral da medição da confiabilidade é correlacionar os resultados de uma medida com a sua própria reprodução.
	Validade convergente	□ Sim □ Não	Registrar se o artigo apresenta ou não teste de validade convergente. Esta validade é baseada na correlação entre medidas de um mesmo construto, coletadas através de diferentes métodos. Outro modo de aferi-la é verificar se a correlação que existe entre duas medidas do mesmo construto, feitas com ajuda de métodos diferentes, é elevada e significativa.
	Validade discriminante	□ Sim □ Não	Registrar se o artigo apresenta ou não teste de validade discriminante. Esta validade é baseada numa baixa correlação entre indicadores de diferentes construtos, pois determina que uma medida deve ser suficientemente diferente de outra que visa medir outro traço ou dimensão.
ANÁLISE DOS DADOS	Tipos de análise (Quais)	□ Freqüência □ Média □ Moda □ Mediana □ Desvio padrão □ Regressão (Correl.) □ Fatorial □ Anova / Teste t □ Qui-quadrado □ Regressão (Múltipla) □ Discriminante □ Outro:	Registrar os tipos de análise realizados na pesquisa.
APRESENTAÇÃO DOS RESULTADOS	Validade externa	□ Sim □ Não	Registrar se o artigo apresenta ou não considerações relativas à validade externa. Esta validade define em que medida os resultados obtidos podem ser aplicados a outras situações além daquelas referentes ao estudo apresentado.
	Validade nomológica	□ Sim □ Não	Registrar se o artigo apresenta ou não considerações relativas à validade nomológica. Esta validade testa se as medidas produziram resultados consistentes com o modelo teórico e as hipóteses definidas a priori, isto é, se o construto medido se comporta de forma esperada.
	Limites do estudo	□ Sim □ Não	Registrar se o artigo apresenta ou não as limitações encontradas na pesquisa.
	Recomendações para pesquisas	□ Sim □ Não	Registrar se o artigo apresenta ou não recomendações para pesquisas futuras.
	Recomendações aplicadas	□ Sim □ Não	Registrar se o artigo apresenta ou não recomendações para aplicações práticas dos resultados obtidos na pesquisa.

REFERÊNCIAS

• ALBAUM, G. et al. Designing web survey s in marketing research: does use of forced answering affect completion rates? Journal of Marketing Theory and Practice , [s.l.] v. 18, n. 3, p. 285–293, 2010.
• ANDRADE, J.; MAZZON, J. A. O discurso publicitário e o poder do receptor: um estudo sobre a evolução dos anúncios impressos no mercado brasileiro entre 1968-2008. In: ENCONTRO DE MARKETING DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 4., 2010, Florianópolis. Anais... Florianópolis: ANPAD, 2010.
• BAGOZZI, R. Measurement in marketing research. In. BAGOZZI, R. Principle of marketing research. Oxford, UK: Blackwell, 1994. p. 1-10.
• BABBIE, E. Survey research methods . 2.ed. California: Wadsworth Publishing Company, 1990.
• BONOMA, T. V. Case research in marketing: opportunities, problems, and a process. Journal of Marketing Research , Chicago, v. 22, n. 2, p. 199-208, 1985.
• CALDAS, M. P.; TINOCO, T.; CHU, R. A. Análise bibliométrica dos artigos de RH publicados no EnANPAD, na década de 1990: um mapeamento a partir das citações dos heróis, endogenias e jactâncias que fizeram a história recente da produção científica da área. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 27., 2003, Atibaia. Anais... Atibaia: ANPAD, 2003.
• CARDOSO, R. L.; PEREIRA, C. A.; GUERREIRO, R. A Produção acadêmica em custos no âmbito do EnANPAD: uma análise de 1998 a 2003. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• CHURCHILL Jr.; GILBERT, A. Marketing research: methodological foundation. Orlando, FL: The Dryden Press, 1999.
• DURANTE, D. G.; MAURER, S. A. S. Gestão do conhecimento e da informação: revisão da produção científica do período 2000-2005. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 2007, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2007.
• FARIAS, S. Em busca da inovação no marketing brasileiro: discutindo o processo de publicação de artigos em revistas e congressos. In: ENCONTRO DE MARKETING DA ANPAD, 2004, Porto Alegre. Anais... Porto Alegre: ANPAD, 2004.
• FIRAT, A. F. et al. Commentaries on the state of journals in marketing. Marketing Theory , Thousand Oaks, v. 10, n. 4, p. 437-455, 2010.
• FROEMMING, L. M. S. et al. Inventário de artigos científicos na área de marketing. Revista de Administração Contemporânea, Rio de Janeiro, v. 4, n. 2, p. 159-173, 2000.
• FROEMMING, L. M. S. et al. Análise da qualidade dos artigos científicos da área de marketing no Brasil: as pesquisas survey na década de 90. Revista de Administração Contemporânea , Rio de Janeiro, v. 4, n. 3, p. 201-219, 2000.
• GONÇALVES, N. G.; GONÇALVES, S. A.; AUGUSTO, P. O. M. Sobre a relação estado e educação na produção acadêmica brasileira (1971-2000): temas, críticas e expectativas. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• HAIR, J. Jr. et al. Multivariate data analysis. New Jersey: Prentice Hall, 1998.
• HAIR, J. F. Jr. et al. Multivariate data analysis: a global perspective. 7. Ed. Upper Saddle River: Pearson, 2010.
• HOPPEN, N.; LAPOINTE, L.; MOREAU, E. Avaliação de artigos de pesquisa em sistemas de informação: proposta de um guia. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 22., 1998, Foz do Iguaçu. Anais... Foz do Iguaçu: ANPAD, 1998.
• HOPPEN, N.; MEIRELLES, F. Sistemas de informação: um panorama da pesquisa científica entre 1990 e 2003. Revista de Administração de Empresas , São Paulo, v. 45, n. 1, p. 24-45, 2005.
• HUERTAS, M. K. Z.; URDAN, A. T. Propaganda de medicamentos no Brasil: informação ou emoção? In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• IIZUKA, E. S.; SANO, H. O terceiro setor e a produção acadêmica. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• JAWORSKI, B. J. On managerial relevance. Journal of Marketing, Chicago, v. 75, n. 4, p. 211-224, july 2011.
• KOVACS, M. H. et al. Podemos confiar nos resultados de nossas pesquisas? uma avaliação dos procedimentos metodológicos nos artigos de marketing do EnANPAD. In: ENCONTRO DE MARKETING DA ANPAD, 1., 2004, Porto Alegre. Anais... Porto Alegre: ANPAD, 2004.
• LILIEN, G. L. Bridging the academic-practitioner divide in marketing decision models. Journal of Marketing , Chicago, v. 75, n. 4, p. 196-210, july 2011.
• LEHMANN, D. R.; MCALISTER, L.; STAELIN, R. Sophistication in research in marketing. Journal of Marketing , Chicago, v. 75, n. 4, p. 155-165, july 2011.
• LUTZ, R. J. Marketing scholarship 2.0. Journal of Marketing , Chicago, v. 75, n. 4, p. 225-234, july 2011.
• MALHOTRA, N. K. Pesquisa de Marketing: uma orientação aplicada. 4. ed. Porto Alegre: Bookman, 2006.
• MALHOTRA, N. K. Pesquisa de Marketing: foco na decisão. São Paulo: Pearson, 2010.
• MASCARENHAS, A. O.; ZAMBALDI, F.; MORAES, E. A. Rigor, relevância e desafios da academia em administração: tensões entre pesquisa e formação profissional. Revista de Administração de Empresas , São Paulo, v. 51, n. 3, p. 265-279, 2011.
• MELO, P. L. R.; ANDREASSI, T. Publicação científica nacional e internacional sobre franchising: levantamento e análise do período 1998-2007. Revista de Administração Contemporânea , Rio de Janeiro, v. 14, n. 2, p. 268-288, 2010.
• MENDONÇA, M. B. Técnicas de prospecção e análise de cenários futuros nos governos e administração pública do Brasil: revisão da produção científica brasileira de 2001 a 2010. In: ENCONTRO DE ESTUDOS EM ESTRATÉGIA, 5., 2011, Porto Alegre. Anais... Porto Alegre: ANPAD, 2011.
• NASCIMENTO, A. R.; JUNQUEIRA, E.; MARTINS, G. A. Pesquisa acadêmica em contabilidade gerencial no Brasil: análise e reflexões sobre teorias, metodologias e paradigmas. Revista de Administração Contemporânea , Rio de Janeiro, v. 14, n. 6, p. 1113-1133, 2010.
• NASSIF, V. M. J. et al. Empreendedorismo: área em evolução? Uma revisão dos estudos e artigos publicados entre 2001 e 2008. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 33., 2009, São Paulo. Anais... São Paulo: ANPAD, 2009.
• PEREIRA, R. C. F. Explorando as possibilidades da meta-análise em marketing. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• PERIN, M. G. et al. A pesquisa survey em artigos de marketing nos ENANPADs da Década de 90. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 24., 2000, Florianópolis. Anais... Florianópolis: ANPAD, 2000.
• PINTO, M. R.; SANTOS, L. L. S. Em busca de uma trilha interpretativista para a pesquisa do consumidor: uma proposta baseada na fenomenologia, na etnografia e na grounded theory. RAE – eletrônica , São Paulo, v. 7, n. 2, p. 1-28, 2008.
• REIBSTEIN, D. J.; DAY, G.; WIND, J. Guest editorial: is marketing academia losing its way? Journal of Marketing , Chicago, v. 73, n. 4, p. 1-3, july 2009.
• SAMPAIO, C. H.; PERIN, M. G. Pesquisa científica da área de marketing: uma revisão histórica. Revista de Administração Contemporânea , Rio de Janeiro, v. 10, n. 2, p. 179-202, jul./set. 2006.
• SAMPAIO, C. H. et al. Pesquisa científica da área de marketing no Brasil: uma revisão da primeira década do século 21. Revista de Administração Contemporânea , Rio de Janeiro, v. 16, n. 3, p. 459-478, maio./jun. 2012.
• SAMPIERI, R. H.; COLLADO, C. F., LUCIO, P. B. Metodología de la investigatión . México: McGraw-Hill, 1998.
• TONELLI, M. J. et al. O mapa da partilha: análise das áreas de comportamento organizacional e gestão de pessoas antes e depois da cisão da área de recursos humanos no EnANPAD, 1991-2003. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Curitiba: ANPAD, 2004.
• VIEIRA, R. et al. O conhecimento do marketing sob os olhos da teoria crítica. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 6., 2002, Salvador. Anais... Salvador: ANPAD, 2002.

Datas de Publicação

• Publicação nesta coleção
  Jan-Apr 2017

Histórico

• Recebido
  15 Maio 2015
• Revisado
  20 Abr 2017
• Aceito
  31 Maio 2017