Acessibilidade / Reportar erro

Destruição de escalas de mensuração por meio da análise fatorial exploratória nas pesquisas da área de produção e operações

Resumo

O presente artigo teve como objetivo avaliar o uso da análise fatorial exploratória (AFE) nas pesquisas da área de Produção e Operações, discutindo a adequação de sua utilização. Foram analisados 97 artigos (61 internacionais e 36 nacionais), totalizando 140 aplicações da análise fatorial (AF), no período de 2010 a 2015. Verificou-se que, nos artigos internacionais, predomina o uso de técnicas confirmatórias e a aplicação da AFE para se avaliar o common method bias, ao passo que, nos artigos nacionais, a técnica foi utilizada com funções mais tradicionais, como, por exemplo, a avaliação da unidimensionalidade ou ainda a geração escores, para uso em outras técnicas. Apesar de os livros didáticos para o ensino de AFE focarem, exclusivamente, no uso da AFE de modo exploratório (identificar a quantidade e o significado dos fatores comuns), este uso tem sido o menos frequente nos artigos publicados, tanto nacionais como internacionais. Apurou-se, ainda, que, em quatro artigos nacionais, houve “destruição de teoria” ao se usar AFE, quando deveria ter sido utilizada a AF confirmatória. Estes resultados indicam que as pesquisas nacionais têm feito uso questionável da técnica, o que sugere a necessidade de discussão desse tema entre os acadêmicos, de forma a se difundirem as boas práticas.

Palavras-chave:
Análise multivariada de dados; Métodos e modelos estatísticos; Análise fatorial exploratória; Análise fatorial confirmatória; Escalas de mensuração em produção e operações

Abstract

This paper aims to assess the use of Exploratory Factor Analysis by Production and Operations researchers, discussing the adequacy of its application. We analyzed 97 papers published between 2010 and 2015 in the Production and Operations area -- of which 61 and 36 were published in international and Brazilian journals, respectively. These papers contain 140 different applications of Factor Analysis. The research shows that confirmatory techniques are prevalent in international papers, as well as exploratory techniques to evaluate the problem of common method bias. Conversely, the papers in Brazilian journals typically use the exploratory technique in more traditional ways, such as to confirm the unidimensionality of the construct, or still to generate scores for use in other statistical techniques. Despite the textbooks for the AFE teaching focus exclusively on the use of AFE in the exploratory mode (to identify the number and meaning of the common factors), this use has been less frequent in published articles, both national and international. Moreover, the research shows that the inappropriate use of exploratory (rather than confirmatory) factor analysis in four Brazilian papers resulted in the “destruction of theory”. These findings suggest that national research have been using exploratory factor analysis in a questionable way; in this sense we propose scholars discuss this topic in order to disseminate the good practices.

Keywords:
Multivariate analysis; Statistical methods and models; Exploratory factor analysis; Confirmatory factor analysis; Measurement scales in productions and operations research

1 Introdução

Os livros didáticos para o ensino da análise fatorial exploratória (AFE) – por exemplo: Aranha & Zambaldi (2008)Aranha, F., & Zambaldi, F. (2008). Análise fatorial em administração. São Paulo: Cengage Learning., Fávero et al. (2009)Fávero, L. P., Belfiore, P., Silva, F. L., & Chan, B. L. (2009). Análise de dados: modelagem multivariada para tomada de decisões (1. ed.). Rio de Janeiro: Elsevier., Hair et al. (2005Hair, J. F., Jr., Babin, B., Money, A. H., & Samouel, P. (2005). Fundamentos de métodos de pesquisa em administração. Porto Alegre: Bookman., 2010Hair, J. F., Jr., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7. ed.). Upper Side River: Prentice Hall.) e Malhotra (2012)Malhotra, N. (2012). Pesquisa de marketing: uma orientação aplicada (6th ed.). Porto Alegre: Bookman. – descrevem dois usos da AFE: (i) redução: agrupar um conjunto de variáveis em uma quantidade menor de fatores, explicando o máximo possível de variância do conjunto original; geralmente, para este uso, se recomenda a extração por componentes principais; (ii) identificar fatores não observados diretamente e que produzem as correlações que observamos nas variáveis (ou indicadores ou itens); para este uso, se recomendam os métodos de extração do tipo fator comum, como: fatoração de eixo principal (PAF), máxima verossimilhança (ML), fatoração de imagem, fatoração alfa, mínimos quadrados generalizados ou mínimos quadrados não ponderados.

Ambos os usos citados no parágrafo anterior ocorrem em um contexto de pesquisa exploratório, que é explicitado diversas vezes por Osborne (2014)Osborne, J. W. (2014). Best practices in exploratory factor analysis. Louisville: CreateSpace Independent Publishing Platform. E-book.:

Vamos repetir novamente nosso mantra para este livro: AFE é exploratória... (posição 990 do e-book).

Mantenha o ‘E’ na AFE! (posição 5154 do e-book).

Embora muito aplicada nas pesquisas da área de negócios, observa-se certa confusão (o que será desenvolvido, ao longo do artigo) quanto à finalidade do uso da técnica: exploratória ou confirmatória (AFE e AFC).

O uso exploratório (AFE) deve ocorrer quando o pesquisador possui pouco ou nenhum conhecimento sobre a estrutura latente por trás do conjunto de indicadores da pesquisa. Ou seja: quando não há pesquisa empírica anterior ou quando a teoria de suporte do fenômeno é incipiente, de forma que não se sabe a priori quantas dimensões devem resultar e nem a composição dos construtos. Neste caso, o uso exploratório permite que se conheça a estrutura latente e se avance no conhecimento do fenômeno (Jöreskog, 2007Jöreskog, K. G. (2007). Factor analysis and its extensions. In R. Cudeck & R. C. MacCallum (Eds.), Factor analysis at 100: historical developments and future directions (pp. 47-77). New Jersey: Lawrence Erlbaum Associates.; Pasquali, 2012Pasquali, L. (2012). Análise fatorial para pesquisadores. Brasília: LabPAM.; Pett et al., 2003Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks: Sage.).

O uso confirmatório (AFC), em contraposição, é indicado quando a teoria relativa ao fenômeno já é consolidada. É o caso, por exemplo, dos estudos que realizam replicações de escala, que são o objeto deste artigo. Dessa forma, o pesquisador já possui conhecimento amplo sobre o fenômeno e das suas inter-relações, de forma que a análise fatorial deve confirmar (ou testar), para uma determinada amostra ou contexto, a estrutura fatorial já conhecida na literatura (Jöreskog, 2007Jöreskog, K. G. (2007). Factor analysis and its extensions. In R. Cudeck & R. C. MacCallum (Eds.), Factor analysis at 100: historical developments and future directions (pp. 47-77). New Jersey: Lawrence Erlbaum Associates.; Pasquali, 2012Pasquali, L. (2012). Análise fatorial para pesquisadores. Brasília: LabPAM.; Pett et al., 2003Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks: Sage.). Assim, já se sabe a priori quantos fatores serão medidos e quais os seus significados.

A respeito dessa discussão (uso exploratório ou confirmatório da AFE e AFC), é relevante notar que, no ano de 2014, foi realizado um painel de discussão entre pesquisadores da área de Métodos Quantitativos no EnANPAD, no qual se levantou a legitimidade da aplicação da AFE nas pesquisas da área. Naquele encontro, questionou-se a adequação de se aplicar a AFE em pesquisas que replicam escalas, já publicadas na literatura (Bido, 2014Bido, D. S. (2014). Escalas como ferramentas de diagnóstico e gestão: que peso dar aos dados (análise fatorial exploratória) e que peso dar à teoria e pesquisas anteriores (análise fatorial confirmatória)? In Anais do 38º EnANPAD. Rio de Janeiro: ANPAD.). Ao longo deste painel, surgiu o termo “destruição da teoria”, que corresponde à situação em que ocorre a aplicação da AFE em contextos nos quais a AFC seria adequada.

Na mesma linha, um levantamento realizado em revistas nacionais, classificadas como QUALIS A2 na área de Administração, identificou o uso inadequado da AFE em 59% das aplicações (Mantovani & Bido, 2015Mantovani, D. M. N., & Bido, D. S. (2015). Análise Fatorial na Pesquisa em Administração: exploratória ou confirmatória? Eis a questão. In Anais do 39º EnANPAD. Rio de Janeiro: ANPAD.).

Tais resultados expõem a fragilidade do uso da AFE nas pesquisas científicas da área de negócios, trazendo importantes implicações: i) perda da comparabilidade dos resultados com pesquisas anteriores, o que é fundamental para que as contribuições do estudo possam ser reveladas e discutidas na academia; ii) a teoria existente a respeito do fenômeno é desconsiderada, de forma que, em muitos casos, o significado conceitual dos fatores se perde. Isto justifica a ampliação do estudo para um contexto mais amplo, envolvendo as áreas específicas da Administração, como é o caso da área de Produção e Operações.

Diante do exposto, o objetivo deste trabalho é avaliar a aplicação da AFE nas pesquisas da área de Produção e Operações, por meio de uma revisão ampla dos trabalhos publicados em periódicos nacionais e internacionais. Busca-se, assim, identificar a maneira como a técnica foi aplicada, bem como apontar os casos em que a teoria foi destruída (ou seja, quando não foi mantida a dimensionalidade da escala da teoria original ou pesquisa anterior).

A seguir, apresenta-se a revisão de literatura relacionada com as possíveis aplicações da AFE, discutindo a sua legitimidade, seguida dos procedimentos metodológicos, resultados encontrados, discussões e considerações finais.

2 Aplicações da análise fatorial exploratória

Alguns trabalhos encontrados na literatura discutem as boas práticas da aplicação da AFE, como, por exemplo, Conway & Huffcutt (2003)Conway, J. M., & Huffcutt, A. I. (2003). A review and evaluation of exploratory factor analysis practices in organizational research. Organizational Research Methods, 2(6), 147-168. http://dx.doi.org/10.1177/1094428103251541.
http://dx.doi.org/10.1177/10944281032515...
e Fabrigar et al. (1999)Fabrigar, L. R., Wegener, D. T., Maccallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 3(4), 272-299. http://dx.doi.org/10.1037/1082-989X.4.3.272.
http://dx.doi.org/10.1037/1082-989X.4.3....
. Contudo, antes de se avaliar se a AFE foi bem aplicada – ou seja, se os índices de ajuste são satisfatórios –, é necessário avaliar se, de fato, esta técnica é apropriada para o estudo em questão.

Neste sentido, o trabalho de Hurley et al. (1997)Hurley, A. E., Scandura, T. A., Schriesheim, C. A., Brannick, M. T., Seers, A., Vanderberg, R. J., & Williams, L. J. (1997). Exploratory and confirmatory factor analysis: guidelines, issues and alternatives. Journal of Organizational Behavior, 18(6), 667-683. http://dx.doi.org/10.1002/(SICI)1099-1379(199711)18:6<667::AID-JOB874>3.0.CO;2-T.
http://dx.doi.org/10.1002/(SICI)1099-137...
apresenta um debate entre sete estudiosos sobre essa questão, concluindo que a decisão pela AFE ou pela AFC depende do objetivo da pesquisa, e que esta decisão deve ser bem fundamentada. Os autores destacam, ainda, que a AFC não deve ser aplicada de forma exploratória e que uma teoria de apoio é fundamental para justificar a sua aplicação (Hurley et al., 1997Hurley, A. E., Scandura, T. A., Schriesheim, C. A., Brannick, M. T., Seers, A., Vanderberg, R. J., & Williams, L. J. (1997). Exploratory and confirmatory factor analysis: guidelines, issues and alternatives. Journal of Organizational Behavior, 18(6), 667-683. http://dx.doi.org/10.1002/(SICI)1099-1379(199711)18:6<667::AID-JOB874>3.0.CO;2-T.
http://dx.doi.org/10.1002/(SICI)1099-137...
).

2.1 AFE usada de modo exploratório mesmo

A abordagem exploratória deve ser “orientada aos dados”, ou seja, esta é indicada quando não há conhecimento anterior qualquer acerca da quantidade de fatores a ser extraída. Também é indicada quando há pouca ou nenhuma restrição sobre como os indicadores se unem para a formação dos fatores. Em outras palavras, a abordagem exploratória parte dos dados em busca da solução fatorial que melhor represente a estrutura de inter-relações entre as variáveis (Fabrigar et al., 1999Fabrigar, L. R., Wegener, D. T., Maccallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 3(4), 272-299. http://dx.doi.org/10.1037/1082-989X.4.3.272.
http://dx.doi.org/10.1037/1082-989X.4.3....
). Isto significa dizer que não há teoria de apoio que guie a análise, nem tampouco pesquisas empíricas anteriores que possam sugerir algum resultado esperado (Pasquali, 2012Pasquali, L. (2012). Análise fatorial para pesquisadores. Brasília: LabPAM.).

Na mesma linha, Worthington & Whittaker (2006)Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: a content analysis and recommendations for best practices. The Counseling Psychologist, 6(34), 806-838. http://dx.doi.org/10.1177/0011000006288127.
http://dx.doi.org/10.1177/00110000062881...
postulam que a AFE é útil nos estudos que se propõem a desenvolver escalas de medida, uma vez que é avaliada a dimensionalidade dos dados, apenas com base nas respostas dos casos da amostra. Desta forma, é possível identificar itens que não medem o construto esperado ou que carregam em mais de um construto (como, por exemplo, quando há cargas cruzadas). Como o processo de desenvolvimento da escala é dinâmico, e por envolver constante revisão e refinamento, a AFE é a técnica recomendada para estes casos.

As aplicações da AFE em contextos verdadeiramente exploratórios são comumente encontradas nos livros didáticos adotados nas disciplinas de Métodos Quantitativos do curso de graduação de Administração e nos cursos Stricto Sensu brasileiros, como, por exemplo: Fávero et al. (2009)Fávero, L. P., Belfiore, P., Silva, F. L., & Chan, B. L. (2009). Análise de dados: modelagem multivariada para tomada de decisões (1. ed.). Rio de Janeiro: Elsevier., Hair et al. (2005)Hair, J. F., Jr., Babin, B., Money, A. H., & Samouel, P. (2005). Fundamentos de métodos de pesquisa em administração. Porto Alegre: Bookman. e Malhotra (2012)Malhotra, N. (2012). Pesquisa de marketing: uma orientação aplicada (6th ed.). Porto Alegre: Bookman..

Embora não seja escopo deste trabalho avaliar a acurácia da aplicação da AFE, vale destacar que, mesmo quando o seu uso é verdadeiramente exploratório, alguns cuidados devem ser observados. Kaiser (1970)Kaiser, H. F. (1970). A second generation Little Jiffy. Psychometria, 4(35), 401-415. http://dx.doi.org/10.1007/BF02291817.
http://dx.doi.org/10.1007/BF02291817...
chama a atenção para o uso frequente e indiscriminado da análise dos componentes principais, a utilização do critério de extração do autovalor maior que um ou ainda quando se usa a rotação ortogonal Varimax, procedimento denominado “Little Jiffy”.

Há quase 50 anos, Kaiser já havia destacado que, ao se aplicar a AFE, o objetivo exploratório da pesquisa implica na lacuna de conhecimento do fenômeno. Nesta situação, devem ser empregados procedimentos diferentes do “Little Jiffy”; em especial, os algoritmos de extração por fator comum, seguidos de rotação oblíqua, que permitem a extração de fatores correlacionados, que é uma solução mais realista do que a suposição de fatores não correlacionados, ou seja, rotação ortogonal.

Portanto, considerou-se, para fins deste artigo, como sendo questionável o uso do “Little Jiffy”: componentes principais, autovalor maior que um e rotação Varimax, como códigos 6, 7 e 8 de classificação, neste trabalho, respectivamente (Quadro 1).

Quadro 1
Categorias de classificação das aplicações da análise fatorial.

Vale ressaltar que os pacotes estatísticos frequentemente trazem o “Little Jiffy” como default (pré-selecionado) para a AFE, o que pode explicar a continuidade do uso massivo desse procedimento inadequado.

Embora Kaiser (1970)Kaiser, H. F. (1970). A second generation Little Jiffy. Psychometria, 4(35), 401-415. http://dx.doi.org/10.1007/BF02291817.
http://dx.doi.org/10.1007/BF02291817...
e Pett et al. (2003)Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks: Sage. destaquem que a análise de fatores comuns e a análise dos componentes principais (ACP) sejam algoritmos da análise fatorial, há autores que não consideram a ACP como análise fatorial (Costello & Osborne, 2005Costello, A. B., & Osborne, J. W. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment, Research & Evaluation, 10(7), 1-9.; Fabrigar et al., 1999Fabrigar, L. R., Wegener, D. T., Maccallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 3(4), 272-299. http://dx.doi.org/10.1037/1082-989X.4.3.272.
http://dx.doi.org/10.1037/1082-989X.4.3....
). Este entendimento reforça a necessidade de análise criteriosa para a escolha por um ou outro método de extração.

2.2 Usos da AFE que não estão nos livros didáticos

Além da aplicação exploratória descrita, a AFE pode ser utilizada com diferentes finalidades, que podem ser legítimas ou questionáveis, tais como: uso instrumental para se obterem fatores ortogonais; avaliação da multicolinearidade; avaliação da unidimensionalidade dos construtos; método dedutivo de Hinkin (1995Hinkin, T. R. (1995). A review os scale development practices in the study of Organizations. Journal of Management, 5(21), 967-988. http://dx.doi.org/10.1177/014920639502100509.
http://dx.doi.org/10.1177/01492063950210...
, 1998Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104-121. http://dx.doi.org/10.1177/109442819800100106.
http://dx.doi.org/10.1177/10944281980010...
) para o desenvolvimento de escalas; teste de Harman para avaliação do viés do método, e, inclusive, os usos inadequados da AFE (quando se deveria usar a AFC), que são discutidos a seguir.

2.2.1 Uso instrumental

O uso instrumental da AFE trata da sua aplicação para obtenção de escores fatoriais ortogonais, que seriam utilizados como entrada de outras análises estatísticas ‒ tal como a análise de regressão, que pode ser prejudicada pela ocorrência de multicolinearidade – ou ainda para avaliação do problema de multicolinearidade. Nestes casos, considera-se legítimo o uso da AFE (código 9, no Quadro 1, da seção Procedimentos metodológicos). Este tipo de aplicação é citado e incentivado nos livros-texto da análise multivariada (Fávero et al., 2009Fávero, L. P., Belfiore, P., Silva, F. L., & Chan, B. L. (2009). Análise de dados: modelagem multivariada para tomada de decisões (1. ed.). Rio de Janeiro: Elsevier.; Hair et al., 2010Hair, J. F., Jr., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7. ed.). Upper Side River: Prentice Hall.).

Para eliminar a multicolinearidade, Cohen et al. (2003Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied multiple regression/correlation analysis for the behavioral sciences (3. ed.). New Jersey: Lawrence Erlbaum Associates., p. 428-429) recomendam o principal components regression, que equivale a substituir as variáveis independentes originais por seus componentes principais não rotacionados, que são ortogonais. Apesar de se eliminarem os efeitos da multicolinearidade, os autores reconhecem que a interpretabilidade dos coeficientes de regressão pode ficar prejudicada.

2.2.2 Avaliar a unidimensionalidade

Conway & Huffcutt (2003) Conway, J. M., & Huffcutt, A. I. (2003). A review and evaluation of exploratory factor analysis practices in organizational research. Organizational Research Methods, 2(6), 147-168. http://dx.doi.org/10.1177/1094428103251541.
http://dx.doi.org/10.1177/10944281032515...
discutem o uso da AFE para o teste da unidimensionalidade de uma escala ou construto que, de certa forma, pode ser entendido como o uso confirmatório de uma técnica exploratória.

Em outras palavras, sabe-se a priori que há apenas um fator e a AFE é aplicada para verificar se, de fato, um fator é extraído. Para esta confirmação, deve-se observar se o primeiro fator extraído não rotacionado tem autovalor muito maior que um ou variância extraída maior que 50%, bem como se o segundo fator extraído tem autovalor menor que um. Ressalta-se que esse procedimento (código 3, no Quadro 1) é legítimo apenas para escalas unidimensionais. Ou seja, é incorreto aplicar a AFE a cada fator de uma escala multidimensional, porque, desta forma, não se testa a validade discriminante. Nestes casos, é aconselhável o uso da AFC.

Este uso está implementado em softwares para a estimação de modelos de equações estruturais com estimação por mínimos quadrados parciais, como é ilustrado na Figura 1.

Figura 1
Unidimensionalidade nos softwares. Fonte: Figura (a) Sanchez (2013Sanchez, G. (2013). PLS Path Modeling with R. Berkeley: Trowchez Editions. Recuperado em 9 de agosto de 2016, de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
http://gastonsanchez.com/PLS_Path_Modeli...
, p. 56); Figura (b) XLSTAT (2017a)XLSTAT. (2017a). Consumer satisfaction analysis in Excel with PLSPM. Recuperado em 12 de outubro de 2017, de https://help.xlstat.com/customer/es/portal/articles/2239701-applying-a-plspm-model-to-analyze-consumer-satisfaction?b_id=9283
https://help.xlstat.com/customer/es/port...
. Nota: Descrição dos testes de unidimensionalidade no XLSTAT (2017b)XLSTAT. (2017b). PLS Path Modelling. Recuperado em 12 de outubro de 2017, de https://www.xlstat.com/en/solutions/features/pls-path-modelling
https://www.xlstat.com/en/solutions/feat...
.

2.2.3 Desenvolvimento de escalas pelo método dedutivo de Hinkin

As abordagens descritas por Hinkin (1998Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104-121. http://dx.doi.org/10.1177/109442819800100106.
http://dx.doi.org/10.1177/10944281980010...
, p. 106) para o desenvolvimento de escalas são a dedutiva e a indutiva:

Desenvolvimento de escala de modo dedutivo deriva seu nome do fato que o fundamento teórico provê informação suficiente para gerar o conjunto inicial de itens.

A abordagem indutiva pode ser apropriada quando a base conceitual para um construto pode não resultar em dimensões facilmente identificáveis pelas quais os itens podem ser gerados. Os pesquisadores geralmente desenvolvem escalas indutivamente, entrevistando uma amostra de respondentes para fornecerem descrições de seus sentimentos sobre a organização ou para descreverem algum aspecto comportamental (Hinkin, 1998Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104-121. http://dx.doi.org/10.1177/109442819800100106.
http://dx.doi.org/10.1177/10944281980010...
, p. 107).

Hinkin (1995Hinkin, T. R. (1995). A review os scale development practices in the study of Organizations. Journal of Management, 5(21), 967-988. http://dx.doi.org/10.1177/014920639502100509.
http://dx.doi.org/10.1177/01492063950210...
, 1998Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104-121. http://dx.doi.org/10.1177/109442819800100106.
http://dx.doi.org/10.1177/10944281980010...
) propõe o método dedutivo para geração de itens de uma escala. Um pressuposto deste método é que o pesquisador já conhece a estrutura de inter-relações entre variáveis, bem como o significado teórico dos construtos, o que ajuda a desenvolver os indicadores. Sendo este o caso, o pesquisador vai a campo coletar os dados e aplica a AFE para verificar se a estrutura latente inicial se confirma. Em caso contrário, novos itens são gerados, até que a estrutura teórica previamente conhecida seja confirmada.

No presente artigo, considerou-se legítimo o uso do método dedutivo, porém apenas quando o pesquisador menciona o seu uso de forma explícita. Nos casos em que a AFE foi aplicada em escalas conhecidas, sem menção ao método dedutivo, considerou-se que a solução que coincide com a escala original foi encontrada meramente por acaso; em outras palavras, considerou-se que a aplicação foi questionável (código 4, no Quadro 1).

2.2.4 Uso da AFE, quando se deveria usar AFC (questionável)

A utilização da AFE pode levar à “destruição da teoria”, quando o pesquisador a aplica em uma escala conhecida (sabe-se a priori quais e quantas dimensões são), obtendo fatores distintos daqueles encontrados originalmente na teoria e nas pesquisas anteriores, mas simplesmente publica-se essa solução como sendo a final (código 5, no Quadro 1).

Esta aplicação é muito parecida com a abordagem dedutiva de Hinkin, mas são abordagens distintas. Na abordagem dedutiva de Hinkin, o pesquisador continuaria a pesquisa, gerando novos itens e coletando novas amostras, até obter os itens que representassem adequadamente as dimensões definidas a priori. Na destruição de teoria, as dimensões obtidas são diferentes daquelas esperadas, mas publica-se a pesquisa assim mesmo (Bido, 2014Bido, D. S. (2014). Escalas como ferramentas de diagnóstico e gestão: que peso dar aos dados (análise fatorial exploratória) e que peso dar à teoria e pesquisas anteriores (análise fatorial confirmatória)? In Anais do 38º EnANPAD. Rio de Janeiro: ANPAD.; Mantovani & Bido, 2015Mantovani, D. M. N., & Bido, D. S. (2015). Análise Fatorial na Pesquisa em Administração: exploratória ou confirmatória? Eis a questão. In Anais do 39º EnANPAD. Rio de Janeiro: ANPAD.).

2.2.5 Common method bias – teste de Harman

Na estimação de modelos estruturais, é comum se usarem dados obtidos a partir de levantamentos (survey) e, quando os dados das variáveis exógenas e endógenas são obtidos a partir da mesma fonte (mesmo respondente, mesmo formato de respostas, mesma forma de coleta, mesmo momento), pode ocorrer o common method bias, que é um viés (subestimação ou superestimação) dos coeficientes estruturais (relações entre as variáveis latentes). Basicamente, este viés ocorre porque o método em si é uma causa comum entre a variável dependente e a variável independente.

Podsakoff et al. (2012)Podsakoff, P. M., Mackenzie, S. B., & Podsakoff, N. P. (2012). Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology, 63(1), 539-569. PMid:21838546. http://dx.doi.org/10.1146/annurev-psych-120710-100452.
http://dx.doi.org/10.1146/annurev-psych-...
sugerem vários procedimentos para se prevenir este viés, enquanto Chin et al. (2013)Chin, W. W., Thatcher, J. B., Wright, R. T., & Steel, D. (2013). Controling for common method variance in PLS analysis: the measured latent marker variable approach. In H. Abdi, W. W. Chin, V. E. Vinzi, G. Russolillo & L. Trinchera (Eds.). New perspectives in partial least squares and related methods (pp. 231-239). New York: Springer. propuseram um método para se estimar e controlar este viés.

Apesar de o teste de Harman ser criticado (Guide & Ketokivi, 2015Guide, V. D. R., Jr., & Ketokivi, M. (2015). Notes from the editors: restructuring the Journal of Operations Management. Journal of Operations Management, 38, 1-86. http://dx.doi.org/10.1016/S0272-6963(15)00073-X.
http://dx.doi.org/10.1016/S0272-6963(15)...
), porque não testa e nem controla o viés do método, este é um dos mais antigos e continua sendo um dos mais usados.

No teste de Harman (one factor test), desconsideram-se o modelo estrutural (relações entre as variáveis latentes) e o modelo de mensuração (relações entre os indicadores e suas variáveis latentes), estimando-se a AFE com todos os itens na mesma análise, geralmente empregando-se o método de componentes principais não rotacionado. Considera-se que existe viés quando a solução resulta em um único fator extraído ou quando um único fator extrai a maior parte da variância do conjunto de variáveis (Podsakoff et al., 2003Podsakoff, P. M., Mackenzie, S. B., Lee, J. Y., & Podsakoff, M. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended remedies. The Journal of Applied Psychology, 5(88), 879-903. PMid:14516251. http://dx.doi.org/10.1037/0021-9010.88.5.879.
http://dx.doi.org/10.1037/0021-9010.88.5...
, 2012Podsakoff, P. M., Mackenzie, S. B., & Podsakoff, N. P. (2012). Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology, 63(1), 539-569. PMid:21838546. http://dx.doi.org/10.1146/annurev-psych-120710-100452.
http://dx.doi.org/10.1146/annurev-psych-...
). Este uso é considerado legítimo (código 2, no Quadro 1).

2.2.6 Sobre os usos e “novos” usos da AFE

Reconhecer a legitimidade de alguns usos da AFE para os quais esta não foi originalmente proposta é uma das contribuições iniciais deste artigo.

Talvez esses “novos” usos sejam mais apropriados em livros de análise fatorial confirmatória e modelagem de equações estruturais, porém os livros didáticos de AFE deveriam iniciar as explicações reconhecendo-se em que momentos a AFE é adequada e em que momentos não é, como foi feito por Pett et al. (2003Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks: Sage., p. 3).

Da mesma forma, reconhecer a ilegitimidade de alguns usos da AFE, que levam à destruição da dimensionalidade das escalas desenvolvidas em outros contextos, também é importante, pois este problema é grave e deve ser diagnosticado e corrigido, uma vez que se propaga o mau uso da AFE na academia, além de dificultar a evolução das teorias já existentes na área.

3 Procedimentos metodológicos

Diante desta problemática, o presente estudo foi desenvolvido em três etapas: construção do protocolo de análise; levantamento dos artigos publicados em periódicos nacionais e estrangeiros, e apresentação e discussão dos resultados.

3.1 Protocolo de análise

O protocolo de análise foi desenvolvido de acordo com o referencial teórico, mas foi ajustado à medida que os artigos foram avaliados. Numa primeira versão, foram definidas três categorias gerais: AFE usada de modo exploratório; AFE usada de modo confirmatório, e AFC usada de modo confirmatório ou exploratório (não analisados). Posteriormente, a AFE usada de modo exploratório foi dividida em três aplicações (que correspondem aos códigos 6, 7 e 8 do Quadro 1, respectivamente) e a AFE sendo usada de modo confirmatório foi categorizada segundo os códigos 2, 3, 4, 5 e 9, totalizando nove tipos de aplicações.

Os artigos que usaram apenas a AFC e/ou a modelagem de equações estruturais (MEE, com estimação baseada em covariância ou variâncias) receberam o código 1 e não foram analisados por estarem fora do escopo pretendido pela pesquisa. Nos demais casos, identificou-se o uso realizado da AFE, realizando-se a codificação exposta no Quadro 1.

Vale ressaltar que um mesmo artigo poderia ter realizado mais de uma aplicação da técnica. Nestas situações, para cada uso distinto das aplicações de AF, a utilização foi analisada separadamente. No caso de o uso ser comum em todas as aplicações, o trabalho recebeu um único código.

O Quadro 1 apresenta três aplicações classificadas como questionáveis, seguidas das justificativas:

  • Aplicação 4: em alguns casos, os autores deixam claro que a estrutura conceitual dos construtos já é conhecida e que a AFE é uma etapa anterior à AFC. Os autores removem indicadores com baixas cargas fatoriais, mas mantém o modelo de mensuração, conforme definido no referencial teórico. Entretanto, nos demais casos, parece mais uma questão de sorte ou mesmo do acaso;

  • Aplicação 5, denominada “destruição de teoria”: trata-se da forma mais simples e completa que descreve o ocorrido nestes casos, em que há um modelo de mensuração definido a priori, o qual, ao sofrer modificação após a AFE, perdeu a comparabilidade com os estudos anteriores. Claramente, a AFC ou a MEE deveria ter sido usada, em vez da AFE;

  • Aplicação 8: de maneira geral, a recomendação é para que se usem métodos de extração por fator comum e rotação oblíqua (Conway & Huffcutt, 2003Conway, J. M., & Huffcutt, A. I. (2003). A review and evaluation of exploratory factor analysis practices in organizational research. Organizational Research Methods, 2(6), 147-168. http://dx.doi.org/10.1177/1094428103251541.
    http://dx.doi.org/10.1177/10944281032515...
    ; Fabrigar et al., 1999Fabrigar, L. R., Wegener, D. T., Maccallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 3(4), 272-299. http://dx.doi.org/10.1037/1082-989X.4.3.272.
    http://dx.doi.org/10.1037/1082-989X.4.3....
    ).

A fim de assegurar a confiabilidade da análise, um autor analisou os artigos nacionais, o segundo autor analisou os artigos internacionais e o terceiro autor verificou as análises feitas pelos demais autores, discutindo as diferenças e permitindo, assim, alcançar o consenso a respeito da classificação das aplicações da AF.

3.2 Levantamento dos artigos publicados em periódicos de Produção e Operações

A escolha dos periódicos a serem avaliados levou em conta os seguintes critérios: (i) publicações específicas da área de Produção e Operações; (ii) publicação indexada e avaliada pelo Qualis, ou com fator de impacto JCR (Web of Science).

Assim, selecionaram-se artigos publicados em quatro periódicos nacionais e seis periódicos internacionais (Tabela 1).

Tabela 1
Artigos analisados por ano e origem.

As buscas compreenderam o período de 2010 a 2015. Inicialmente, foram usados mecanismos de busca dos portais dos periódicos, com a seguinte expressão para busca: “análise fatorial” OR “factor analysis” OR “componentes principais” OR “principal components” OR KMO OR “scree plot” OR autovalor OR eigenvalue.

Como se observa na Tabela 1, a análise fatorial é mais frequente nos periódicos internacionais, cuja média de artigos por periódico, em 2015, foi oito. Por conta disto, decidiu-se analisar cerca de 10 artigos recentes de cada periódico, o que se considerou ser uma amostra suficiente para analisar a forma com que a AF vem sendo utilizada.

Quanto aos periódicos nacionais, a média é de 1,5 artigo por periódico por ano, no mesmo período analisado. Vale notar que a quantidade identificada pelos mecanismos de buscas foi bem menor. Assim, os autores complementaram a busca “manualmente”, verificando todos os artigos publicados entre 2010 e 2015.

4 Resultados e discussões

Inicialmente, apresenta-se uma comparação entre as aplicações nacionais e internacionais da AFE. O teste de qui-quadrado apresentou significância (p < 0,001), confirmando o que é apresentado na Figura 2: há diferença significante entre as aplicações da análise fatorial entre os artigos nacionais e os internacionais. Os artigos internacionais apresentam uso mais frequente das técnicas confirmatórias e do teste de Harman do que os trabalhos nacionais, na área de Produção e Operações.

Figura 2
Uso da análise fatorial em periódicos nacionais e internacionais. Legenda: Tipo de aplicação: 1 = AFC, MEE, PLS-PM; 2 = AFE para Teste de Harman (extrai um fator para testar CMV); 3 = AFE para testar a unidimensionalidade (1.º fator com autovalor > 1 e 2.º fator com autovalor < 1); 4 = AFE dedutiva (Hinkin) e confirmou teoria (sabe a priori quais são as VL, roda AFE e encontra as VL); 5 = AFE dedutiva (Hinkin) e destruiu teoria (sabe a priori quais são as VL, roda AFE e resulta em novas VL); 6 = AFE exploratória: fator comum (PAF, ML...) + rotação obliqua (não sabe a priori quais e quantas VL); 7 = AFE exploratória: componentes principais + Varimax (Little Jiff) (não sabe a priori quais e quantas VL); 8 = AFE exploratória: outras combinações extração e rotação (não sabe a priori quais e quantas VL); 9 = AFE com uso instrumental (gerar escores para usá-los em regressão, reduzir a multicolinearidade etc.). Fonte: Dados da pesquisa.

As pesquisas internacionais têm, em média, 1,6 aplicação de AF por artigo, sendo bastante comum o uso da AFC em conjunto com a AFE para o teste de Harman. De modo mais detalhado, 51% dos artigos usam mais de uma aplicação da AF, a saber: seis artigos com três aplicações diferentes, 25 artigos com duas aplicações diferentes e os demais (30), apenas uma aplicação.

Para os artigos nacionais, a média é de 1,2 aplicação por artigo. Assim, há cinco artigos (12%) com duas aplicações diferentes da AF e os demais (32), apenas uma. Observa-se, nos trabalhos nacionais, uso mais frequente da AFE para: 1) avaliação da unidimensionalidade dos construtos; 2) identificar fatores pelos métodos de extração dos Componentes Principais e rotação Varimax (Little Jiffy), e 3) de forma instrumental. Estas podem ser consideradas aplicações mais tradicionais da técnica e são apresentadas nos livros didáticos usados como literatura base nos cursos de graduação e pós-graduação. Embora a avaliação da unidimensionalidade seja legítima, a AFC poderia, analogamente, ser aplicada para a mesma finalidade e, portanto, sugere-se sua disseminação no meio acadêmico.

Por outro lado, o uso dos algoritmos que compõem o Little Jiffy, ainda que com objetivos genuinamente exploratórios, é preocupante e sugere a aplicação pouco reflexiva da técnica, como, por exemplo, ao usar a rotação Varimax, o pesquisador demonstra que é razoável imaginar que os fatores obtidos sejam ortogonais, isto é, não correlacionados; porém, na prática, é improvável que não haja correlação (r = 0) entre fatores que mensuram uma mesma variável latente. Essa discussão deve ser levada para os programas de pós-graduação para que as aplicações da AFE sejam discutidas de forma crítica e em profundidade entre docentes e mestrandos e doutorandos, pois estas atuam na formação de profissionais corporativos e pesquisadores.

A partir das observações anteriores e dos resultados apresentados na Figura 2, na sequência, são apresentados alguns direcionamentos para pesquisas futuras na área de Produção e Operações.

  • 1ª Implicação: Métodos confirmatórios deveriam ser aplicados com maior frequência (AFC e MEE).

Há mais de 20 anos, Hinkin (1995Hinkin, T. R. (1995). A review os scale development practices in the study of Organizations. Journal of Management, 5(21), 967-988. http://dx.doi.org/10.1177/014920639502100509.
http://dx.doi.org/10.1177/01492063950210...
, p. 982) já recomendava o uso disseminado da AFC. Os resultados da presente pesquisa confirmam este entendimento, conforme se nota a partir da comparação dos artigos nacionais com os internacionais (1.ª coluna na Figura 2 e 1.ª linha da Tabela 2).

Tabela 2
Usos da análise fatorial por periódico de Produção e Operações.

A 3.ª aplicação (AFE para testar a unidimensionalidade) é uma das mais usadas nos artigos nacionais. É importante notar a incoerência de se usar uma técnica exploratória para testar hipóteses. Este tipo de análise pode ser eficiente para verificar a validade convergente (variância extraída), mas não afere a validade discriminante, que é própria da AFC.

A 5.ª aplicação só ocorreu em artigos nacionais (destruição de teoria), que é o pior caso possível. Claramente, deveria ter sido usada a AFC ou a MEE para manter o modelo conceitual original.

  • 2.ª Implicação: Dever-se-ia tomar providências para minimizar, detectar e controlar o viés do método (common method bias).

Comparando-se a segunda aplicação (um artigo nacional de um total de 36; 27 artigos internacionais de um total de 61), fica evidente que o tratamento deste viés não vem ocorrendo nas pesquisas nacionais, o que já foi motivo de alerta em Editorial da RAC (Kimura, 2015Kimura, H. (2015). Editorial. Revista de Administração Contemporânea, 3(19), 1-5.).

Apesar de os artigos internacionais usarem o teste de Harman para detectar o common method bias, recomenda-se a prevenção da ocorrência deste viés, como é explicado por Podsakoff et al. (2012)Podsakoff, P. M., Mackenzie, S. B., & Podsakoff, N. P. (2012). Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology, 63(1), 539-569. PMid:21838546. http://dx.doi.org/10.1146/annurev-psych-120710-100452.
http://dx.doi.org/10.1146/annurev-psych-...
. Nos casos em que não seja possível prevenir, dever-se-ia usar algum método para controlar este viés, conforme sugerido por Chin et al. (2013)Chin, W. W., Thatcher, J. B., Wright, R. T., & Steel, D. (2013). Controling for common method variance in PLS analysis: the measured latent marker variable approach. In H. Abdi, W. W. Chin, V. E. Vinzi, G. Russolillo & L. Trinchera (Eds.). New perspectives in partial least squares and related methods (pp. 231-239). New York: Springer..

  • 3.ª Implicação: A discussão das situações em que o uso da AFE é adequado e aquelas em que esta não é adequada deveria ser parte do conteúdo dos livros didáticos. Porém, essa discussão tende a ficar em uma fronteira, que tem sido ignorada.

Por um lado, ao ensinar apenas a AFE para usos exploratórios, o aluno não conseguirá entender as outras aplicações da AFE, quando se precisa de conceitos próprios da modelagem de equações estruturais e AFC, como unidimensionalidade e teste de Harman.

Por outro lado, ao ensinar a AFC e a MEE, a inclusão de conteúdos de AFE parece desviar-se do tema principal.

De qualquer forma, essa “fronteira” deveria ser absorvida pelos livros que tratam do desenvolvimento de escalas de um modo geral, sejam os mais focados em AFE ou aqueles mais focados em AFC. Assim, todas as áreas que usam escalas de mensuração ‒ e não apenas a área de Produção e Operações ‒ se beneficiariam desta melhoria.

5 Considerações finais

O avanço da construção de teoria brasileira na área de Produção e Operações, como em qualquer área, depende do trabalho colaborativo de toda a comunidade científica. A metáfora do “colocar um tijolinho na construção” é bem comum, mas não passará de uma metáfora se as questões apresentadas neste artigo não forem discutidas, divulgadas e ensinadas.

Neste sentido, a área de Psicologia tem discutido e divulgado o problema de reprodutibilidade de suas pesquisas, em nível nacional (UnBCIÊNCIA, 2013UnBCIÊNCIA. (2013). Consórcio replica 13 efeitos experimentais de estudos em Psicologia. Recuperado em 12 de outubro de 2017, de https://www.unbciencia.unb.br/humanidades/97-psicologia/78-consorcio-replica-13-efeitos-experimentais-de-estudos-em-psicologia
https://www.unbciencia.unb.br/humanidade...
) e em nível internacional (Nosek et al., 2015Nosek, B. A., Aarts, A. A., Anderson, C. J., Anderson, J. E., & Kappes, H. B. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. PMid:26315443. http://dx.doi.org/10.1126/science.aac4716.
http://dx.doi.org/10.1126/science.aac471...
). Em comparação, a área de Produção e Operações e a área de Ciências Humanas, Sociais e Sociais Aplicadas, de um modo geral, necessitam aumentar o uso de métodos confirmatórios, para começar a discutir a reprodutibilidade e, posteriormente, conseguir comparar, testar e ampliar as teorias existentes.

De um modo geral, seguem algumas providências sugeridas, neste trabalho, para pesquisadores e acadêmicos, no intuito de se aumentar o uso de métodos confirmatórios:

  • Incluir disciplinas de métodos quantitativos nos programas de pós-graduação;

  • Incentivar a discussão de procedimentos metodológicos e técnicas de análise de dados nos encontros acadêmicos (congressos, simpósios etc.);

  • Incentivar a aplicação da AFE em contextos mais avançados, como a avaliação do viés do método de coleta, requisito fundamental para publicação em periódicos de impacto;

  • Incluir a análise fatorial confirmatória e a modelagem de equações estruturais nos currículos;

  • Utilizar softwares amigáveis e gratuitos para se realizarem tais análises, por exemplo:

    • − SmartPLS 2.0 para MEE com estimação por mínimos quadrados parciais;

    • − Lavaan para AFC e MEE com estimação baseada em covariâncias (Beaujean, 2014Beaujean, A. A. (2014). Latent variable modeling using R: a step-by-step guide. New York: Routledge.; Rosseel, 2016Rosseel, Y. (2016). The lavaan tutorial. Belgium: Department of Data Analysis, Ghent University. Recuperado em 9 de agosto de 2016, de http://lavaan.ugent.be/tutorial/tutorial.pdf
      http://lavaan.ugent.be/tutorial/tutorial...
      ).

  • Editores poderiam incluir orientações em seus editoriais para os autores e avaliadores, como foi feito por Kimura (2015)Kimura, H. (2015). Editorial. Revista de Administração Contemporânea, 3(19), 1-5., a respeito do common method bias.

Apêndice A Lista de artigos nacionais analisados.

Gestão & Produção [17 artigos]

Bortolotti, S. L. V., Moreira Jr., F. D. J., Bornia, A. C., Sousa Jr., A. F., & Andrade, D. F. (2012). Avaliação do nível de satisfação de alunos de uma instituição de ensino superior: uma aplicação da teoria da resposta ao item. Gestão & Produção, 19(2), 287–302.

Castelo, J. S. F., Coelho, A. F. M., & Cabral, J. E. O. (2014). Análise comparativa dos antecedentes e dimensões do brand equity entre marcas de fabricantes e marcas próprias no setor de vestuário. Gestão & Produção, 21(1), 19–32.

Conceição, S. H., Dourado, G. B., Baqueiro, A. G., Freire, S., & Brito, P. D. C. (2011). Fatores determinantes no disclosure em Responsabilidade Social Corporativa (RSC): um estudo qualitativo e quantitativo com empresas listadas na Bovespa. Gestão & Produção, 18(3), 461–472.

De Toni, D., Milan, G. S., & Reginato, C. E. R. (2011). Fatores críticos para o sucesso no desempenho de novos produtos: um estudo aplicado ao setor moveleiro da Serra Gaúcha. Gestão & Produção, 18(3), 587–602.

Ferreira, L. F. F., Oliva, F. L., Santos, S. A., Grisi, C. C. H., & Lima, A. C. (2012). Análise quantitativa sobre a mortalidade precoce de micro e pequenas empresas da cidade de São Paulo. Gestão & Produção, 19(4), 811–823.

Gomes, C. M., Kruglianskas, I., & Scherer, F. L. (2011). Gestão das fontes externas de informação: uma análise dos fatores que influenciam o desempenho inovador. Gestão & Produção, 18(4), 897–910.

Grohmann, M. Z., Battistella, L. F., & Lütz, C. (2014). Avaliação dos serviços de transporte aéreo brasileiro: análise da imagem e da atitude como antecedentes da intenção de uso. Gestão & Produção, 21(1), 215–227.

Lemos, B., & Joia, L. A. (2012). Fatores relevantes à transferência de conhecimento tácito em organizações: um estudo exploratório. Gestão & Produção, 19(2), 233–246.

Medina, R. M., & Crispim, S. F. (2010). Fatores determinantes no processo de decisão de investimentos em robotização na indústria brasileira de autopeças. Gestão & Produção, 17(3), 567–578.

Mendes, G. H. S., & Toledo, J. C. (2012). Explorando práticas do desenvolvimento de produtos em pequenas e médias empresas do setor de equipamentos médico-hospitalares. Gestão & Produção, 19(1), 103–117.

Oliveira Neto, G. C., Godinho Filho, M., Ganga, G. M. D., Naas, I. A., & Vendrametto, O. (2015). Princípios e ferramentas da produção mais limpa: um estudo exploratório em empresas brasileiras. Gestão & Produção, 22(2), 326–344.

Oliveira, B. R. B., Salazar, V. S., Crespo, P. M., Costa, C. S. R., & Kovacs, E. P. (2015). Estratégia competitiva em MPE’s: dimensões do processo e suas associações com as estratégias genéricas e funcionais. Gestão & Produção, 22(1), 119–132.

Sanchez, G. (2013) PLS Path Modeling with R. Trowchez Editions. Berkeley. Refrieved from: <http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf>.

Santos, A. B., & Antonelli, S. C. (2011). Aplicação da abordagem estatística no contexto da gestão da qualidade: um survey com indústrias de alimentos de São Paulo. Gestão & Produção, 18(3), 509–524.

Spessatto, G., & Beuren, I. M. (2013). Análise das diferenças na implantação do balanced scorecard nas maiores empresas da região sul do Brasil. Gestão & Produção, 20(2), 387–404.

Su, A. F. G., & Sampaio, M. (2013). Adaptação cultural e validação dos construtos: serviço logístico, satisfação e lealdade. Gestão & Produção, 20(3), 587–601.

Tacconi, M. de F. F. S., Lopes, F. D., Mói, A. L. R., & Tacconi Neto, E. A. (2014). A confiança interorganizacional nas compras. Gestão & Produção, 21(1), 199–214.

Tontini, G., & Zanchett, R. (2010). Atributos de satisfação e lealdade em serviços logísticos. Gestão & Produção, 17(4), 801–816.

Journal of Operations and Supply Chain Management [7 artigos]

Borella, M. R. C., & Padula, A. D. (2010). Alignment between the supply, manufacturing and distribution strategies and business strategy. Journal of Operations and Supply Chain Management, 3(2), 44–60.

Filgueiras, J. L. M., Oliveira, M. G., Castro Neto, F. C., & Silva Filho, J. C. L. (2012). Analysis of CSR in midsize retail chains in Northeastern Brazil: application of the Quazi and O ’ Brien model. Journal of Operations and Supply Chain Management, 5(2), 54–68.

Martins, R. S., Xavier, W. S., Souza Filho, O. V., & Martins, G. S. (2010). Transport management in small and medium-sized enterprises in Brazil. Journal of Operations and Supply Chain Management, 3(1), 55–66.

Rashed, C. A. A., Azeem, A., & Halim, Z. (2013). Effect of information and knowledge sharing on supply chain performance: a survey based approach. Journal of Operations and Supply Chain Management, 3(2), 61–77.

Revilla, E., Prieto, I. M., & Rodriguez, B. (2011). Information technology and the ambidexterity hypothesis: an analysis in product development. Journal of Operations and Supply Chain Management, 4(2), 1–18.

Vachon, S. (2012). Technological capacity and environmental performance: a research note using country level data. Journal of Operations and Supply Chain Management, (Special Issue), 21–28.

Wanke, P. F., Correa, H. L., & Hijjar, M. F. (2010). Establishing the relationship between logistics complexity and supply chain objectives and decision areas in large companies operating in Brazil. Journal of Operations and Supply Chain Management, 3(1), 34–54.

Revista Produção Online [6 artigos]

Artuso, A. R., & Chaves Neto, A. (2012). Identificação de fatores relevantes e construção de portfólio diversificado no mercado acionário brasileiro. Revista Produção Online, 12(4), 1002–1030. doi:10.1017/CBO9781107415324.004

Fernandes, R. B., Antonialli, L. M., Costa Filho, C. G., & Caixeta, R. P. (2015). A utilização de sistemas de ERP como antecedente da eficiência e eficácia (inter)organizacional: um estudo em dimensões estratégicas em pequenas e médias empresas. Revista Produção Online, 15(4), 1351–1376.

Moraes, R. O., & Laurindo, F. J. B. (2013). Relações entre o desempenho dos projetos de TI e a maturidade em gestão de projetos. Revista Produção Online, 13(1), 61–83. doi:10.1017/CBO9781107415324.004

Seidel, E. J., Lopes, L. F. D., Ansuj, A. P., & Zanella, A. (2011). Métodos estatísticos aplicados à avaliação da qualidade da matéria-prima e classificação dos fornecedores de uma indústria de laticínios. Revista Produção Online, 11(1), 3–28.

Stefano, N. M., & Casarotto Filho, N. (2012). Percepção dos consumidores: atributos considerados importantes nas embalagens. Revista Produção Online, 12(3), 657–681.

Teles, F., & Silva, R. M. (2014). Avaliação da satisfação dos usuários de sistemas ERP nas médias empresas de confecção do vestuário de Fortaleza. Revista Produção Online, 14(2), 533–559.

GEPROS. Gestão de Produção, Operações e Sistemas [6 artigos]

Aharonovitz, M. C. S., & Vieira, J. G. V. (2014). Proposta de modelo multicritério para seleção de fornecedores de serviços logísticos. GEPROS. Gestão de Produção, Operações e Sistemas, 9(1), 9–26.

Buttner, A., & Morano, R. S. (2013). Vantagem competitiva através do Planejamento Estratégico: avaliação de firmas brasileiras de autopeças. GEPROS. Gestão de Produção, Operações e Sistemas, 8(3), 25–37.

Cavalheiro, E. A., Tavares, C. E. M., Ferreira, A. P. A. L., Santos, R. A., & Stedile, C. S. M. (2014). Modelo europeu de satisfação: um estudo de caso com discentes de uma instituição de ensino superior. GEPROS. Gestão de Produção, Operações e Sistemas, 9(1), 131–142.

Graeml, A. R., Peinado, J., & Glaser-Segura, D. (2013). Fatores culturais: uma análise sobre competitividade e coletivismo na indústria de países emergentes. GEPROS. Gestão de Produção, Operações e Sistemas, 8(3), 9–23.

Menezes, L., & Borchardt, M. (2010). Análise dos fatores que determinam a percepção de qualidade e o uso de serviços de atendimento presenciais. GEPROS. Gestão de Produção, Operações e Sistemas, 5(4), 29–45.

Souza, A. A., Alves, A. de S., Silva, D., Alves, L. G., Avelar, E. A., & Lara, A. L. (2015). Avaliação de sistemas de informações com foco na satisfação dos usuários: um estudo desenvolvido na região metropolitana de Belo Horizonte - MG. GEPROS. Gestão de Produção, Operações e Sistemas, 10(4), 69–84.

Apêndice B Lista de artigos internacionais analisados (24 de 61).

Esta lista contém quatro artigos de cada periódico analisado, mas a lista completa (61 artigos) está disponível com o primeiro autor.

Production and Operations Management

Abrahams, A. S., Fan, W., Wang, G. A., Zhang, Z., & Jiao, J. (2015). An integrated text analytic framework for product defect discovery. Production and Operations Management, 24(6), 975–990.

Chandrasekaran, A., Linderman, K., & Schroeder, R. (2015). The role of project and organizational context in managing high-tech R&D projects. Production and Operations Management, 24(4), 560–586.

Li, X., Li, Y., Cai, X., & Shan, J. (2016). Service Channel Choice for Supply Chain: Who is Better off by Undertaking the Service? Production and Operations Management, 25(3), 516–534.

Yu, S., Mishra, A. N., Gopal, A., Slaughter, S., & Mukhopadhyay, T. (2015). E-Procurement Infusion and Operational Process Impacts in MRO Procurement: Complementary or Substitutive Effects? Production and Operations Management, 24(7), 1054–1070.

Journal of Operations Management (JOM)

Liu, S. (2015). Effects of control on the performance of information systems projects: The moderating role of complexity risk. Journal of Operations Management, 36, 46–62.

Choo, A. S., Nag, R., & Xia, Y. (2015). The role of executive problem solving in knowledge accumulation and manufacturing improvements. Journal of Operations Management, 36, 63–74.

Pagell, M., Klassen, R., Johnston, D., Shevchenko, A., & Sharma, S. (2015). Are safety and operational effectiveness contradictory requirements: The roles of routines and relational coordination. Journal of Operations Management, 36, 1–14.

Tenhiälä, A., & Helkiö, P. (2015). Performance effects of using an ERP system for manufacturing planning and control under dynamic market requirements. Journal of Operations Management, 36, 147–164.

International Journal of Operations & Production Management

Russell, R. S., Johnson, D. M., & White, S. W. (2015). Patient perceptions of quality: analyzing patient satisfaction surveys. International Journal of Operations and Production Management, 35(8), 1158–1181.

von Haartman, R., & Bengtsson, L. (2015). The impact of global purchasing and supplier integration on product innovation. International Journal of Operations and Production Management, 35(9), 1295–1311.

Yam, R. C. M., & Chan, C. (2015). Knowledge sharing, commitment and opportunism in new product development. International Journal of Operations and Production Management, 35(7), 1056–1074.

Zhang, M., Zhao, X., Lyles, M. A., & Guo, H. (2015). Absortive capacity and mass customization capability. International Journal of Operations and Production Management, 35(9), 1275–1294.

Journal of Supply Chain Management

Cai, S., & Yang, Z. (2014). The role of the guanxi institution in skill acquisition between firms: a study of chinese firms. Journal of Supply Chain Management, 50(4), 3–24.

Handfield, R. B., Cousins, P. D., Lawson, B., & Petersen, K. J. (2015). How can supply management really improve performance? A knowledge-based model of alignment capabilities. Journal of Supply Chain Management, 51(3), 3–17.

Ralston, P. M., Blackhurst, J., Cantor, D. E., & Crum, M. R. (2015). A structure-conduct-performance perspective of how strategic supply chain integration affects firm performance. Journal of Supply Chain Management, 51(2), 47–64.

Whipple, J. M., Wiedmer, R., & Boyer, K. K. (2015). A Dyadic investigation of collaborative competence, social capital, and performance in buyer-supplier relationships. Journal of Supply Chain Management, 51(2), 3–21.

Supply Chain Management: An International Journal

Flynn, B. B., Huo, B., & Zhao, X. (2010). The impact of supply chain integration on performance: A contingency and configuration approach. Supply Chain Management: An International Journal, 28(1), 58–71.

Lee, S.-Y. (2015). The effects of green supply chain management on the supplier’s performance through social capital accumulation. Supply Chain Management: An International Journal, 20(1), 42–55.

Tanco, M., Jurburg, D., & Escuder, M. (2015). Main difficulties hindering supply chain performance: an exploratory analysis at Uruguayan SMEs. Supply Chain Management: An International Journal, 20(1), 11–23.

Yu, W., Chavez, R., Feng, M., & Wiengarten, F. (2014). Integrated green supply chain management and operational performance. Supply Chain Management: An International Journal, 19(5/6), 683–696.

Journal of Business Logistics

Adams, F. G., Richey, R. G., Autry, C. W., Morgan, T. R., & Gabler, C. B. (2014). Supply chain collaboration, integration, and relational technology: How complex operant resources increase performance outcomes. Journal of Business Logistics, 35(4), 299–317.

Gattiker, T. F., Carter, C. R., Huang, X., & Tate, W. L. (2014). Managerial commitment to sustainable supply chain management projects. Journal of Business Logistics, 35(4), 318–337.

Gligor, D. M. (2014). A cross-disciplinary examination of firm orientations’ performance outcomes: The role of supply chain flexibility. Journal of Business Logistics, 35(4), 281–298.

Schoenherr, T., Modi, S. B., Talluri, S., & Hult, G. T. M. (2014). Antecedents and Performance Outcomes of Strategic Environmental Sourcing: An Investigation of Resource-Based Process and Contingency Effects. Journal of Business Logistics, 35(3), 172–190.

Agradecimentos

O presente trabalho foi realizado com apoio do CNPq, Conselho Nacional de Desenvolvimento Científico e Tecnológico – Brasil. Processo n°: 409582/2013-1. O primeiro autor é bolsista do CNPq – Brasil.

  • Suporte financeiro: Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq): Processos 409582/2013-1 e 311477/2015-1. O primeiro autor é Bolsista PQ do CNPq – Brasil.

Referências

  • Aranha, F., & Zambaldi, F. (2008). Análise fatorial em administração São Paulo: Cengage Learning.
  • Beaujean, A. A. (2014). Latent variable modeling using R: a step-by-step guide New York: Routledge.
  • Bido, D. S. (2014). Escalas como ferramentas de diagnóstico e gestão: que peso dar aos dados (análise fatorial exploratória) e que peso dar à teoria e pesquisas anteriores (análise fatorial confirmatória)? In Anais do 38º EnANPAD Rio de Janeiro: ANPAD.
  • Chin, W. W., Thatcher, J. B., Wright, R. T., & Steel, D. (2013). Controling for common method variance in PLS analysis: the measured latent marker variable approach. In H. Abdi, W. W. Chin, V. E. Vinzi, G. Russolillo & L. Trinchera (Eds.). New perspectives in partial least squares and related methods (pp. 231-239). New York: Springer.
  • Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied multiple regression/correlation analysis for the behavioral sciences (3. ed.). New Jersey: Lawrence Erlbaum Associates.
  • Conway, J. M., & Huffcutt, A. I. (2003). A review and evaluation of exploratory factor analysis practices in organizational research. Organizational Research Methods, 2(6), 147-168. http://dx.doi.org/10.1177/1094428103251541
    » http://dx.doi.org/10.1177/1094428103251541
  • Costello, A. B., & Osborne, J. W. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment, Research & Evaluation, 10(7), 1-9.
  • Fabrigar, L. R., Wegener, D. T., Maccallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 3(4), 272-299. http://dx.doi.org/10.1037/1082-989X.4.3.272
    » http://dx.doi.org/10.1037/1082-989X.4.3.272
  • Fávero, L. P., Belfiore, P., Silva, F. L., & Chan, B. L. (2009). Análise de dados: modelagem multivariada para tomada de decisões (1. ed.). Rio de Janeiro: Elsevier.
  • Guide, V. D. R., Jr., & Ketokivi, M. (2015). Notes from the editors: restructuring the Journal of Operations Management. Journal of Operations Management, 38, 1-86. http://dx.doi.org/10.1016/S0272-6963(15)00073-X
    » http://dx.doi.org/10.1016/S0272-6963(15)00073-X
  • Hair, J. F., Jr., Babin, B., Money, A. H., & Samouel, P. (2005). Fundamentos de métodos de pesquisa em administração Porto Alegre: Bookman.
  • Hair, J. F., Jr., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7. ed.). Upper Side River: Prentice Hall.
  • Hinkin, T. R. (1995). A review os scale development practices in the study of Organizations. Journal of Management, 5(21), 967-988. http://dx.doi.org/10.1177/014920639502100509
    » http://dx.doi.org/10.1177/014920639502100509
  • Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104-121. http://dx.doi.org/10.1177/109442819800100106
    » http://dx.doi.org/10.1177/109442819800100106
  • Hurley, A. E., Scandura, T. A., Schriesheim, C. A., Brannick, M. T., Seers, A., Vanderberg, R. J., & Williams, L. J. (1997). Exploratory and confirmatory factor analysis: guidelines, issues and alternatives. Journal of Organizational Behavior, 18(6), 667-683. http://dx.doi.org/10.1002/(SICI)1099-1379(199711)18:6<667::AID-JOB874>3.0.CO;2-T
    » http://dx.doi.org/10.1002/(SICI)1099-1379(199711)18:6<667::AID-JOB874>3.0.CO;2-T
  • Jöreskog, K. G. (2007). Factor analysis and its extensions. In R. Cudeck & R. C. MacCallum (Eds.), Factor analysis at 100: historical developments and future directions (pp. 47-77). New Jersey: Lawrence Erlbaum Associates.
  • Kaiser, H. F. (1970). A second generation Little Jiffy. Psychometria, 4(35), 401-415. http://dx.doi.org/10.1007/BF02291817
    » http://dx.doi.org/10.1007/BF02291817
  • Kimura, H. (2015). Editorial. Revista de Administração Contemporânea, 3(19), 1-5.
  • Malhotra, N. (2012). Pesquisa de marketing: uma orientação aplicada (6th ed.). Porto Alegre: Bookman.
  • Mantovani, D. M. N., & Bido, D. S. (2015). Análise Fatorial na Pesquisa em Administração: exploratória ou confirmatória? Eis a questão. In Anais do 39º EnANPAD Rio de Janeiro: ANPAD.
  • Nosek, B. A., Aarts, A. A., Anderson, C. J., Anderson, J. E., & Kappes, H. B. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. PMid:26315443. http://dx.doi.org/10.1126/science.aac4716
    » http://dx.doi.org/10.1126/science.aac4716
  • Osborne, J. W. (2014). Best practices in exploratory factor analysis Louisville: CreateSpace Independent Publishing Platform. E-book.
  • Pasquali, L. (2012). Análise fatorial para pesquisadores Brasília: LabPAM.
  • Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: the use of factor analysis for instrument development in health care research Thousand Oaks: Sage.
  • Podsakoff, P. M., Mackenzie, S. B., & Podsakoff, N. P. (2012). Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology, 63(1), 539-569. PMid:21838546. http://dx.doi.org/10.1146/annurev-psych-120710-100452
    » http://dx.doi.org/10.1146/annurev-psych-120710-100452
  • Podsakoff, P. M., Mackenzie, S. B., Lee, J. Y., & Podsakoff, M. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended remedies. The Journal of Applied Psychology, 5(88), 879-903. PMid:14516251. http://dx.doi.org/10.1037/0021-9010.88.5.879
    » http://dx.doi.org/10.1037/0021-9010.88.5.879
  • Rosseel, Y. (2016). The lavaan tutorial Belgium: Department of Data Analysis, Ghent University. Recuperado em 9 de agosto de 2016, de http://lavaan.ugent.be/tutorial/tutorial.pdf
    » http://lavaan.ugent.be/tutorial/tutorial.pdf
  • Sanchez, G. (2013). PLS Path Modeling with R Berkeley: Trowchez Editions. Recuperado em 9 de agosto de 2016, de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
    » http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
  • UnBCIÊNCIA. (2013). Consórcio replica 13 efeitos experimentais de estudos em Psicologia Recuperado em 12 de outubro de 2017, de https://www.unbciencia.unb.br/humanidades/97-psicologia/78-consorcio-replica-13-efeitos-experimentais-de-estudos-em-psicologia
    » https://www.unbciencia.unb.br/humanidades/97-psicologia/78-consorcio-replica-13-efeitos-experimentais-de-estudos-em-psicologia
  • Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: a content analysis and recommendations for best practices. The Counseling Psychologist, 6(34), 806-838. http://dx.doi.org/10.1177/0011000006288127
    » http://dx.doi.org/10.1177/0011000006288127
  • XLSTAT. (2017a). Consumer satisfaction analysis in Excel with PLSPM Recuperado em 12 de outubro de 2017, de https://help.xlstat.com/customer/es/portal/articles/2239701-applying-a-plspm-model-to-analyze-consumer-satisfaction?b_id=9283
    » https://help.xlstat.com/customer/es/portal/articles/2239701-applying-a-plspm-model-to-analyze-consumer-satisfaction?b_id=9283
  • XLSTAT. (2017b). PLS Path Modelling Recuperado em 12 de outubro de 2017, de https://www.xlstat.com/en/solutions/features/pls-path-modelling
    » https://www.xlstat.com/en/solutions/features/pls-path-modelling

Datas de Publicação

  • Publicação nesta coleção
    30 Out 2017
  • Data do Fascículo
    Apr-Jun 2018

Histórico

  • Recebido
    09 Ago 2016
  • Aceito
    24 Mar 2017
Universidade Federal de São Carlos Departamento de Engenharia de Produção , Caixa Postal 676 , 13.565-905 São Carlos SP Brazil, Tel.: +55 16 3351 8471 - São Carlos - SP - Brazil
E-mail: gp@dep.ufscar.br