Qualidade do relato dos procedimentos metodológicos em periódicos nacionais na área de administração de empresas: o caso da modelagem em equações estruturais nos periódicos nacionais entre 2001 e 2010

Quality of reporting methodological procedures in national publications in the area of business administration: the case of structural equation modelling

Qualidade do relato dos procedimentos metodológicos em periódicos nacionais na área de administração de empresas: o caso da modelagem em equações estruturais nos periódicos nacionais entre 2001 e 2010

Quality of reporting methodological procedures in national publications in the area of business administration: the case of structural equation modelling

Diógenes de Souza Bido^I; Cesar Alexandre de Souza^II; Dirceu da Silva^III; Arilda Schmidt Godoy^IV; Rosane Rivera Torres^V

^IDoutor em Administração de Empresas pela Faculdade de Economia e Administração da Universidade de São Paulo - FEA/USP. Professor do Programa de Pós-Graduação em Administração de Empresas do Centro de Ciências Sociais e Aplicadas da Universidade Presbiteriana Mackenzie, São Paulo/SP/Brasil. Endereço: Av. Santo Antônio, 472, Vila Osasco. Osasco/SP. CEP: 06086-065. E-mail: [e-mail]

^IIDoutor em Administração de Empresas pela FEA/USP. Professor do Programa de Pós-Graduação em Administração de Empresas da FEA/USP, São Paulo/SP/Brasil. E-mail: [e-mail]

^IIIDoutor em Educação pela USP. Professor do Programa de Pós-Graduação em Administração da Universidade Nove de Julho - PPGA/Uninove, São Paulo/SP/Brasil. E-mail: [e-mail]

^IVPós-doutora pela Escola de Administração da Universidade Federal do Rio Grande do Sul - PPGA/EA/UFRGS. Professora do Programa de Pós-Graduação em Administração de Empresas do Centro de Ciências Sociais e Aplicadas da Universidade Presbiteriana Mackenzie, São Paulo/SP/Brasil. E-mail: [e-mail]

^VDoutora em Administração de Empresas pela FEA/USP. Professora da Escola de Artes, Ciências e Humanidades da USP - EACH/USP, São Paulo/SP/Brasil. E-mail: [e-mail]

RESUMO

Esta pesquisa teve o objetivo de avaliar a qualidade da descrição dos procedimentos metodológicos de artigos que utilizaram a modelagem em equações estruturais (MEE), incluindo a análise fatorial confirmatória e a path analysis, e que foram publicados na RAE, RAUSP, REAd, O&S, RAC e RAE-eletrônica entre 2001 e 2010. A partir da revisão da literatura metodológica, foi elaborado um check list para avaliar as treze etapas da MEE, sendo validado com 33 especialistas. Os principais resultados da análise de 68 artigos encontrados foram: a impossibilidade de replicar os estudos devido à falta de informações e o uso de estratégias exploratórias sem a posterior validação. Por outro lado, a justificativa do método utilizado e a explicação das implicações teóricas dos resultados são aspectos que têm sido atendidos plenamente. O check list foi um importante subproduto desta pesquisa, pois, a partir dele, são propostas novas linhas de investigação e até mesmo seu uso como ferramenta didática.

Palavras-chave: Modelagem em equações estruturais (MEE). LISREL. Metodologia quantitative. Periódicos da área de administração

ABSTRACT

The aim of this research is to evaluate the quality of the description of the methodological procedures reported in articles that employed structural equation modeling (SEM), including confirmatory factor analysis and path analysis, which were published in RAE, RAUSP, Read, O&S, RAC and RAE-eletrônica journals between 2001 and 2010. A checklist for evaluating the articles was derived from the literature and was validated with 33 experts. The main results of the analysis of the 68 articles found were: an inability to replicate studies due to a lack of information and the use of exploratory research strategies without further validation. On the other hand, justifying the use of SEM use and the explanation of the theoretical implications of research findings are aspects that were fully met by the papers. The checklist itself is an important byproduct of this research, given that new lines of research regarding the application of the SEM method are derived from it and it can also be used as a teaching tool in research methodology courses.

Keywords: Structural equation modeling (SEM). LISREL, Quantitative methodology. Journals from the administration area

Introdução

A metodologia quantitativa é composta por uma infinidade de ferramentas estatísticas, cujos objetivos podem ser: descrição, previsão ou explicação. Quando o objetivo é o de explicação, o pesquisador pode utilizar métodos experimentais, porém, isto pode ser inviabilizado por diversos motivos, seja a impossibilidade de manipular as variáveis, isolar o fenômeno da influência de outras variáveis e, até mesmo, por questões éticas. Desta forma, métodos não experimentais para a análise de relações causais ou inferências causais têm sido propostos, vários deles baseados na análise das correlações (ou covariâncias) entre as variáveis. Na verdade, não há um método estatístico que "comprove" a causalidade, o que se faz é obter modelos causais compatíveis com os dados e procurar identificar a alternativa que tem maior apoio da teoria. Shipley (2002, p.3) exemplifica da seguinte maneira: "Como a forma de um objeto fixa a forma de sua sombra, os padrões de causação direta e indireta fixam a 'sombra' correlacional que nós observamos nos dados".

Para esta finalidade, um dos métodos que tem se destacado em pesquisas na área de ciências sociais é a modelagem em equações estruturais (MEE). Exemplos de temas pesquisados empregando a MEE, em âmbito nacional e internacional, incluem: estratégia (SILVA et al., 2007; SHOOK et al., 2004), marketing (BREI; LIBERALI NETO, 2004; 2006; BAUMGARTNER; HOMBURG, 1996), responsabilidade corporativa (SALMONES; CRESPO; BOSQUE, 2005), contabilidade (SMITH; LANGFIELD-SMITH, 2004) e finanças (YANG et al., 2010).

Segundo Hair Jr. et al. (2005, p. 468), a MEE é "uma técnica de análise multivariada que combina aspectos da regressão múltipla (examinando relações de dependência) e da análise fatorial (representando fatores não diretamente medidos - as variáveis latentes ou construtos), para estimar uma série de relações de dependência simultaneamente". A MEE possibilita aos pesquisadores em Administração de Empresas avaliarem as propriedades psicométricas de suas escalas de mensuração e, simultaneamente, estudarem a relação entre conceitos não observáveis ou construtos. Isso tem feito com que a MEE tenha sido chamada de uma técnica de "análise multivariada de segunda geração" (CHIN, 1998).

O "preço" dessa habilidade e flexibilidade é a complexidade da técnica, o que faz com que o pesquisador que queira usar a MEE com o rigor necessário tenha que se preparar, não só em metodologia de pesquisa quantitativa, mas também nos detalhes estatísticos envolvidos.

Por outro lado, os softwares disponíveis para estimar esses modelos têm sido melhorados a cada ano, e pesquisas internacionais têm apontado que os pesquisadores menos preparados acabam por confiar mais acentuadamente nas opções pré-programadas (default), que nem sempre são as escolhas adequadas para as análises realizadas (FORD; MACCALLUM; TAIT, 1986 apud CONWAY; HUFFCUTT, 2003). Essa opção aumenta a probabilidade de que se cometam erros nas análises por desconhecimento dos pressupostos que deveriam ser atendidos pelos dados e das conseqüências ao se usar um parâmetro sugerido pelo software.

As dificuldades com o uso da MEE têm gerado preocupação quanto à qualidade dos artigos e das pesquisas acadêmicas realizadas a partir dessa técnica. Smith e Langfield-Smith (2004), por exemplo, avaliaram a situação de pesquisas da área de contabilidade (Management Accounting) que empregaram a MEE. Foram analisados vinte artigos publicados em dez periódicos, durante o período de 1980 a 2001, e identificados os seguintes problemas: métodos de estimação e índices de adequação inapropriados para as características da amostra; amostra muito pequena; e falta de informações importantes no relato para se conseguir verificar ou replicar o estudo (nove dos vinte artigos).

Outro exemplo é o trabalho de Shook et al. (2004), no qual foram avaliados 92 artigos publicados em dez periódicos durante o período de 1984 a 2002, os quais tratavam da pesquisa em estratégia e tinham utilizado a MEE. Novamente, os resultados são preocupantes:

- Em 81% dos estudos não foi relatado se a amostra era distribuída normalmente;

- Em 39% não foi avaliada a confiabilidade dos construtos;

- Em 4% não foram relatadas as medidas de adequação do ajuste; e

- A matriz analisada (correlação ou covariância) não foi incluída em 84% dos estudos.

No Brasil, a discussão sobre a adequação do uso da modelagem em equações estruturais (MEE) é relativamente recente. Podem ser destacadas as opiniões de Silva (2005), o levantamento realizado por Brei e Liberali Neto (2006) e, mais recentemente, as recomendações para a aplicação da MEE apresentadas por Silva et al. (2007).

Por outro lado, o número de artigos publicados nos principais periódicos acadêmicos nacionais quase que dobrou entre 2007 e 2010 em relação ao que foi publicado entre 2001 e 2006, como será apresentado mais adiante, a partir dos dados desta pesquisa (Tabela 1). Tal fenômeno mostra a importância desse tipo de avaliação também no contexto nacional.

O presente trabalho pretende contribuir para essa discussão, apresentando os resultados de uma pesquisa que teve como objetivo: avaliar a qualidade da descrição dos procedimentos metodológicos de artigos que utilizaram a modelagem em equações estruturais (incluindo a análise fatorial confirmatória e a path analysis) e que foram publicados nos principais periódicos da área de Administração de Empresas.

O trabalho está assim estruturado: inicialmente, são tratados os aspectos ligados ao uso da MEE e as etapas necessárias à sua aplicação; em seguida, é descrita a metodologia empregada na elaboração do check list para a avaliação dos artigos analisados, construído a partir de pesquisa bibliográfica e validado por especialistas da área; na seqüência, é descrita a metodologia empregada para a avaliação dos artigos, são apresentados os resultados e propostas novas linhas de pesquisa.

Etapas da Análise e Decisões Metodológicas

A MEE, vista como um método de pesquisa e não como uma técnica de análise de dados, envolve atividades e decisões que incluem: a escolha do referencial teórico a ser utilizado; elaboração do modelo estrutural (que especifica a relação entre os construtos) e do modelo de mensuração (especificação dos indicadores para mensurar os construtos ou variáveis latentes) que, às vezes, envolve a construção de instrumentos para a coleta de dados; a coleta de dados propriamente dita; o teste do modelo e; finalmente, a interpretação dos resultados à luz da teoria que foi usada para justificá-lo (BOLLEN, 1989; SCHUMAKER; LOMAX, 2004; HAIR JR. et al., 2005; KLINE, 2005).

Há uma variedade de livros disponíveis atualmente para orientar os pesquisadores nesse processo. No Quadro 1, são apresentadas as etapas necessárias à aplicação da MEE definidas em quatro desses livros, e que compuseram a base para a elaboração do check list proposto nesta pesquisa.

A escolha por essas quatro referências foi baseada nos resultados de Stapleton e Leite (2005). Ao avaliarem o currículo e a bibliografia de 55 cursos de MEE, os autores identificaram Bollen (1989) como a bibliografia mais mencionada, sendo leitura obrigatória em 10 cursos e recomendada em outros 16, e Kline (2005) como leitura obrigatória em 12 cursos e recomendada em outros dois. Ainda nessa pesquisa, o livro de Schumacker e Lomax (2004) foi mencionado em cinco cursos e, por isso, incluído no referido estudo por ter uma abordagem mais prática que Bollen (1989) e Kline (2005), com exemplos resolvidos nos softwares LISREL, AMOS e EQS, e, assim, seu conteúdo poder complementar o que já tinha sido tratado por aqueles autores.

Finalmente, foi decidido incluir o livro de Hair Jr. et al. (2005) porque é um dos mais acessíveis e, por isso, provavelmente, é o primeiro, senão o único, contato que muitos pesquisadores tiveram com a MEE, especialmente no Brasil.

Apesar de o livro de Bollen (1989) ser um texto mais teórico, rico em definições e demonstrações matemáticas e o de Schumacker e Lomax (2004) ser o mais prático do ponto de vista de uso do software, no Quadro 1, é possível observar que ambos apresentam praticamente as mesmas etapas para a utilização da MEE. Os dois autores começam o processo pela análise fatorial confirmatória (AFC), justificando essa opção pelo fato de a AFC ser mais simples que a MEE e porque, na avaliação dos resultados do modelo, primeiro se deve avaliar e, eventualmente, reespecificar o modelo de mensuração - que lida com as medidas dos construtos - e somente depois, o modelo estrutural - que lida com as relações entre os construtos.

As seqüências de atividades definidas por Hair Jr. et al. (2005) e Kline (2005) são semelhantes entre si, mas, diferentemente dos dois primeiros livros, eles começam pelo modelo estrutural e não pelo modelo de mensuração. Essas diferenças podem ser destacadas da seguinte forma: Boolen (1989) procura definir e distinguir AFE e MEE, explicando seu "funcionamento" do ponto de vista matemático; Hair Jr. et al. (2005) e Kline (2005) focam em como a pesquisa deveria ser planejada e executada; finalmente, Schumacker e Lomax (2004) explicam a AFE e a MEE usando softwares.

Na quinta coluna do Quadro 1, está a proposta apresentada por este trabalho, elaborada a partir da revisão de literatura e das considerações apresentadas pelos quatro modelos analisados (as quatro primeiras colunas do Quadro 1). A seqüência proposta procurou incorporar e conciliar as etapas descritas nas quatro referências.

É importante considerar que a MEE não deveria ser discutida apenas como um método estatístico para a análise de dados quantitativos, mas, sim, como um método de pesquisa; como tal, é mais fielmente caracterizada por uma série de idas-e-vindas do que por uma lista de itens em uma seqüência pré-definida. Assim, a partir dessas 13 etapas, foi elaborado o fluxograma do Apêndice A, que apresenta a modelagem como um "casamento" entre a teoria e os dados empíricos, como foi proposto por Lohmöller (1989, p.13-16).

Preparação do Check List para Avaliação dos Artigos

A partir das etapas propostas, foi elaborada uma lista com os itens que deveriam ser observados em cada uma delas, compondo o check list para avaliação de artigos que utilizam a MEE, o que, segundo Shook et al. (2004), é o momento de identificação das "boas práticas" para julgar as decisões dos pesquisadores.

A revisão da literatura permitiu observar que o check list de Schumacker e Lomax (2004, p.230-259) era o mais completo; por isso, foi decidido utilizá-lo como base para iniciar a preparação do check list para a presente pesquisa, com a complementação de outros autores, a saber: McDonald e Ho (2002), Boomsma (2000), Chin (1998), Hoyle e Panter (1995), Raykov, Tomer e Nesselroade (1991), Breckler (1990), Brei e Liberali Neto (2006).

Foram consultados, também, os trabalhos de Steiger (1988), Baumgartner; Homburg (1996), MacCallum e Austin (2000), Boomsma (2000), Jarvis, Mackenzie e Podsakoff (2003), mas não foram usados na análise de conteúdo que gerou o check list, porque já tinham a sua informação representada em artigos mais novos, por exemplo, Steiger (1988) tinha sido citado por Chin (1998) e McDonald e Ho (2002).

Em uma primeira etapa, foram gerados 95 itens pelos pesquisadores, que depois foram revisados, agrupando aqueles que tratavam de informações próximas, eliminando aqueles mais relacionados às questões "operacionais", como "Você usou 'normal scores' do LISREL devido à amostra ser pequena ou não normal?" (SCHUMACKER; LOMAX, 2004, p.252). Essas questões mais operacionais foram transformadas em questões mais gerais, nesse caso: "Você avaliou a normalidade das variáveis e descreveu como lidou com a não normalidade?". Além disso, todas as questões foram colocadas no mesmo tempo verbal, como se o usuário tivesse que responder afirmativamente às questões colocadas. Essa revisão foi feita por um dos pesquisadores e criticada por outros dois, resultando em um check list com 78 itens.

Em uma segunda etapa, os 78 itens foram submetidos à avaliação de acadêmicos brasileiros que têm produção científica relacionada ao uso de MEE. Para isso, foi realizada uma "busca" no Lattes por assunto "equações estruturais", o que resultou em 468 pesquisadores, sendo 390 doutores, dos quais, 53 da área de Administração de Empresas ou Estatística.

O check list (versão com 78 itens) foi enviado por e-mail para que essas 53 pessoas fizessem uma avaliação qualitativa dos itens e, também, que atribuíssem notas de 1 a 4 para a importância de cada item, em relatos de pesquisas ou artigos derivados de pesquisas que utilizam a MEE, considerando a seguinte classificação: 1 = não é importante relatar; 2 = deve ser incluída, pelo menos, uma nota ou comentário; 3 = devem ser incluídos os resultados mais relevantes e; 4 = devem ser incluídos os resultados mais relevantes + análise detalhada dos resultados. Essa escala ordinal foi desenvolvida pelos autores com a finalidade de representar diferentes níveis de relatos que devem ser incluídos no artigo, de acordo com a importância percebida pelo respondente. O recebimento das respostas foi monitorado e se repetiu mais duas vezes o envio de mensagens aos não respondentes. Além disso, foram contatados novos pesquisadores indicados pelos respondentes (estratégia conhecida como "bola de neve").

Deu-se por concluída essa coleta de dados quando já tinham sido contatados 77 pesquisadores, obtendo-se 45 (58,4%) respostas, sendo 33 consideradas válidas. O descarte de 12 respostas se deu porque havia uma ressalva do respondente de que não se sentira capacitado a avaliar o check list.

Os 33 pesquisadores que opinaram sobre os itens do questionário pertenciam às seguintes instituições: Mackenzie (6), FEA/USP (4), FGV-SP (3), UFPB (3), UnB (3), PUC-RS (1), Universidade Católica de Brasília (1), UFRGS (1), UFPR (1), UFPE (1), IBMEC-RJ (1), UNINOVE (1), FEI (1), UFMG (1), UNIP (1), Faculdade Novos Horizontes (1), União Educacional Minas Gerais (1), University of Texas at San Antonio (1) e UFAL (1). O currículo Lattes possibilitou confirmar que todos os pesquisadores tinham experiência em MEE, seja por sua formação ou devido à atividade de pesquisa e orientação.

As informações qualitativas prestadas pelos respondentes foram utilizadas com o objetivo de diminuir o tamanho do check list para 48 itens, enquanto as informações quantitativas foram utilizadas na análise desempenho versus importância, apresentada mais adiante na seção de resultados. O Quadro 2 apresenta os itens do check list descritos de forma resumida (a versão completa pode ser obtida por solicitação ao primeiro autor).

Reforçando a validade de conteúdo do check list, observou-se que todos os itens de Mueller e Hancock (2010, p.372) estão contemplados, com exceção do uso de variáveis de controle na etapa 2 (especificação do modelo estrutural) e da adequação da quantidade de indicadores por variável latente na etapa 3 (especificação do modelo de mensuração).

Seleção e Avaliação dos Artigos

A etapa seguinte da pesquisa foi a aplicação do check list para análise de artigos que utilizaram a MEE (incluindo aqueles que se limitaram apenas à aplicação da AFC sem o desenvolvimento do modelo estrutural e aqueles que utilizaram a técnica de path analysis, ou seja, apenas utilizaram a MEE para testar o modelo estrutural com variáveis observadas, sem a utilização de variáveis latentes), publicados nos periódicos mais relevantes na área de Administração no período de janeiro de 2001 a dezembro de 2010.

A justificativa para escolha desse tipo de produção deve-se ao fato de, geralmente, o conteúdo de uma dissertação ou tese ser divulgado como artigo em anais ou eventos e, posteriormente, passar por críticas, sendo revisado e encaminhado para publicação em periódicos; por isso, se diz que são publicações definitivas. Quanto ao período de dez anos, este foi considerado adequado para incluir um número suficiente de artigos que pudessem ser utilizados na análise de tendências.

A seleção dos periódicos partiu da classificação do sistema Qualis da CAPES. No início da pesquisa (2007), as seguintes revistas estavam classificadas como "nacional A" (em 2009, as três primeiras foram reclassificadas como B1 e as três últimas como B2): RAC - Revista de Administração Contemporânea; RAE Eletrônica, RAE - Revista de Administração de Empresas, O&S - Organizações & Sociedade, RAUSP - Revista de Administração e REAd. Revista Eletrônica de Administração.

Para os seis periódicos selecionados e o período de dez anos considerado na avaliação, todos os artigos foram verificados e aqueles que utilizaram MEE, AFC ou path analysis foram separados para posterior análise. Para minimizar a possibilidade de algum artigo não ser identificado para posterior avaliação, a busca foi realizada por dois pesquisadores independentes e a RAUSP foi verificada por um terceiro pesquisador.

Foram identificados 69 artigos (referências disponíveis com o 1º autor) que usaram a MEE, AFC ou path analysis, porém, um artigo publicado na REAd em 2010 comentava que tinha usado AFC, mas não apresentou nenhum resultado, por isso, ele foi desconsiderado. A Tabela 1 apresenta a distribuição dos artigos por ano e por periódico.

Esses artigos foram avaliados por um dos pesquisadores com base no check list, sendo atribuídas as seguintes notas para cada item do check list: 0 = era aplicável, mas não foi relatado; 0,5 = era aplicável, mas foi relatado parcialmente ou o que está relatado não está de acordo com as recomendações metodológicas; 1 = era aplicável e foi relatado completamente; e NA = item não era aplicável ao artigo.

Como o check list era o mesmo para a AFC, MEE e path analysis, em alguns casos, havia itens não aplicáveis, por esse motivo a nota geral para cada artigo foi atribuída como uma porcentagem [(total de pontos / total de itens aplicáveis)*100]. Essas notas foram analisadas quanto à tendência central e dispersão das pontuações obtidas; pontuação por periódico; tendência (pontuação pelo ano de publicação); influência do número de páginas na pontuação; e pontuação por seção do check list (ou etapa da análise).

Resultados

Avaliação dos artigos considerando todas as etapas - pontuação geral

Para responder ao objetivo geral, quanto à qualidade do relato dos procedimentos metodológicos de artigos que fizeram uso da MEE, em primeiro lugar, foi avaliada a distribuição da pontuação.

O teste de Kolmogorov-Smirnov não rejeitou que a distribuição dos pontos seja normal (p > 0,2), mas, pelo histograma (Figura 1), é possível observar um caso isolado, que se trata de um artigo publicado em 2007, na REAd, e que usou a MEE, mas apenas apresentou uma figura com os resultados de cargas fatoriais e coeficientes estruturais e nada mais, por isso, sua pontuação foi de apenas 13,9.

A média de 55,4 pontos em uma escala de 0 a 100 está bem abaixo do resultado que era esperado para artigos publicados nos principais periódicos brasileiros. As próximas análises esclarecem quais etapas da MEE têm sido menos atendidas e buscam padrões de comparação que sejam mais realistas do que o máximo da escala.

A segunda etapa de análise consistiu na comparação entre os periódicos, que é apresentada na Figura 2, na qual se observa que não há diferença na média da pontuação entre os periódicos brasileiros (p > 0,2 na ANOVA), mas a RAC se destaca por ter sido a que publicou mais artigos e, mesmo assim, manteve uma pequena dispersão em relação aos demais periódicos.

Até este momento, o padrão de comparação usado foi o valor 100 (máximo de pontos), mas, um padrão mais realista, conforme o julgamento dos pesquisadores, foi definido a partir da avaliação de seis artigos publicados em 2010 no Journal of Management (JoM), que foi escolhido como um padrão, porque é um dos periódicos de maior fator de impacto na área de Administração: 3,747, segundo o website do JoM (2011). A quantidade de seis artigos foi definida de forma arbitrária, apenas para se ter alguma variabilidade que possibilitasse uma análise mais precisa da pontuação média do JoM.

Na Figura 2, se observa que cinco dos seis artigos do JoM estão acima da média brasileira, de modo que a diferença de 10,4 pontos foi detectada como significante (p < 0,05, teste-t e por bootstrap com 1000 re-amostragens no PASW Statistics 18).

Comparar os resultados dos artigos brasileiros com o máximo da escala (gap de 55,4 para 100) ou compará-los com o JoM (gap de 55,4 para 65,8) produz conclusões contrárias. No primeiro caso, a conclusão seria preocupante do ponto de vista do avanço do conhecimento, a partir de artigos incompletos, mas, no segundo caso, a conclusão é mais animadora, já que a diferença encontrada é bem coerente com a classificação desses periódicos (o que reforça a validade de critério do check list como instrumento de avaliação). Nas análises por etapa da MEE (seção 5.2), são identificadas quais as etapas específicas que necessitam de maior atenção dos autores, pareceristas e editores.

A terceira análise procurou avaliar se havia alguma tendência de melhora nesses resultados ao longo do tempo. A Figura 3 leva à conclusão de que a tendência é de estabilidade da pontuação.

Geralmente, um dos motivos declarados (e razoáveis) para não se detalhar todas as etapas de análise é a limitação de páginas; por isso, na quarta análise, foi avaliado o efeito da quantidade de páginas na pontuação. Primeiramente, foi realizada uma padronização, pois cada periódico possui um formato diferente de página, espaçamento e letras, que se procedeu da seguinte forma.

1. Uma página do artigo, com texto em todas as suas linhas, foi copiada para o MS-Word e formatada como: página A4, letra Times New Roman 12, espaçamento simples e margens 3, 3, 2, 2.

2. Fator de conversão = (quantidade de linhas do artigo / 50)

   Onde: 50 = quantidade de linhas em uma página A4

3. Contada a quantidade de páginas do artigo (valores inteiros), descontando a capa e o resumo.

4. Quantidade de páginas padronizada = quantidade de páginas na publicação * fator de conversão

Observou-se que a quantidade de páginas variou de 11,0 a 27,4, com 22 artigos (32,4%) na faixa de 11 a 15 páginas, e 33 artigos (48,5%) na faixa de 16 a 20 páginas.

Na análise de regressão linear simples, identificou-se que a pontuação independe da quantidade de páginas, concluindo-se que as diferenças se devam mais às decisões dos próprios autores do que às restrições de formatação.

Avaliação dos artigos por etapa da MEE - seções do check list

Para cada bloco do check list (etapas da MEE - E1 a E13), foram calculadas as médias da pontuação obtida nos itens aplicáveis e são apresentadas na Figura 4.

As etapas com as maiores médias foram a justificativa (E1) e a discussão dos resultados (E13), que podem ser consideradas como aplicáveis a qualquer artigo científico, independente da metodologia utilizada, ou seja, justificar o método utilizado e explicar as implicações teóricas obtidas a partir dos resultados são aspectos que têm sido atendidos plenamente por esses artigos.

No outro extremo, há itens com médias inferiores a 40: identificação do modelo (E4), exame e preparação dos dados (E6), estimação do modelo (E7), avaliação do modelo de mensuração (E8), avaliação do path model (E10) e a validação do modelo (E12).

A respeito desses resultados, é possível especular que a identificação do modelo (E4) e o exame e preparação dos dados (E6), talvez, não estejam sendo relatados completamente nos artigos por serem considerados como "problemas resolvidos". Quanto à identificação do modelo (E4), isso é aceitável, já que um modelo com problema de identificação não convergiria para uma solução final e, para os metodólogos, o pesquisador deveria avaliar a identificação do modelo "antes" da coleta de dados, para não correr o risco de inviabilizar a análise por esse tipo de problema.

Entretanto, quanto ao exame e exploração dos dados (E6), dois aspectos são importantes: vários métodos de estimação, por exemplo, o ML (maximum likelihood), assumem que os dados possuem uma distribuição normal multi-variada e, em segundo lugar, a falta da matriz de covariâncias ou de correlações e desvios-padrão impedem o uso desses artigos em futuras pesquisas do tipo meta-análise ou mesmo o teste de modelos equivalentes, por parte de outros pesquisadores. O resultado para a etapa estimação do modelo (E7) foi comentado junto com o resultado da Figura 5, na próxima seção.

O baixo resultado para a avaliação do modelo de mensuração (E8) pode ser explicado da seguinte forma: quando se usa a MEE, o foco da pesquisa está nas relações entre os construtos ou variáveis latentes, então, maior ênfase é dada ao modelo estrutural (teste de hipóteses), como se observa pelos valores mais altos nas etapas E2, E9 e E11 da Figura 4.

Apesar da avaliação do modelo estrutural (E9) ter tido uma pontuação média superior a 50, um de seus itens (relatar o valor do R²) só foi atendido por 39% dos artigos (20 em 51). Geralmente, comentam-se apenas os valores dos coeficientes estruturais para justificar o atendimento ou rejeição das hipóteses, sem discutir o poder preditivo do modelo.

A avaliação do path model (E10) foi unânime em não ser atendida, nem nos artigos brasileiros e nem nos artigos do JoM; logo, a sugestão de McDonald e Ho (2002, p.73-75) carece de maior divulgação ou testes pela academia para ficar reconhecido o seu valor. Para essa recomendação, os autores se basearam na análise de artigos publicados em que o modelo de mensuração e o estrutural estavam com índices de ajuste adequados, mas o path model (calculado pela diferença dos dois modelos) não apresentava índices de ajuste adequados. Concluem que "o ajuste do modelo estrutural composto [completo] pode parecer satisfatório quando as poucas restrições impostas pelo path model não são, de fato, especificadas corretamente" (McDONALD; HO, 2002, p.75).

Quanto à validação do modelo, que seria aplicável a mais da metade dos artigos avaliados (36), só foi realizada em três deles. Este é um resultado preocupante, porque, se o modelo foi alterado para se ajustar aos dados - seja através de uma análise fatorial exploratória prévia para eliminar os itens com baixas cargas fatoriais ou, posteriormente, na etapa de estimação do MEE, quando o autor tomou decisões baseadas nos índices de modificação -, o estudo deixou de ser confirmatório (teste de teorias) e passou para um contexto exploratório. É interessante observar que a modificação do modelo (E11) teve um resultado razoável, logo, os autores têm buscado justificar as alterações do ponto de vista teórico, porém, sem validar o modelo final em uma segunda amostra.

O que relatar? Importância versus Desempenho

Para avaliar o que havia de comum na opinião dos especialistas (importância de ser relatado) e dos autores (desempenho na avaliação com o check list), foi elaborado o gráfico apresentado na Figura 5. O alinhamento dos pontos indica que há coerência entre o que tem sido publicado (visão dos autores) e a opinião dos especialistas (importância). Destacando-se que apenas três especialistas também pertenciam ao grupo de autores, a concordância entre os dois grupos não se justifica por serem as mesmas pessoas, mas, sim, por ser um consenso na academia.

No primeiro quadrante (alta importância e alto desempenho) da Figura 5, observam-se as etapas (E1 = Justificativa; E2 = Especificação do modelo estrutural; E3 = Especificação do modelo de mensuração; E11 = Modificação do modelo; E13 = Discussão dos resultados.) que são consideradas prioritárias pelos especialistas e têm sido atendidas de modo adequado pelos artigos publicados. De certo modo, esses itens representam a "espinha dorsal" de um artigo que tenha utilizado MEE, o que é confirmado pelos artigos internacionais (JoM), que apresentaram os mesmos resultados.

No segundo quadrante (alta importância e baixo desempenho), estão as etapas (E8 = Avaliação do modelo de mensuração e E12 = Validação do modelo) que necessitam de uma maior atenção por parte dos autores de artigos que usaram a MEE. Esses resultados podem indicar que os autores têm priorizado o relato do modelo estrutural em detrimento do modelo de mensuração e, também, que tem sido rotineiro o uso da MEE em contexto exploratório, já que é comum a revisão dos modelos de mensuração, por exemplo, retirando itens com baixas cargas fatoriais e, dessa forma, ajustando o modelo aos dados, sem a devida validação em uma amostra nova. Os resultados do JoM reforçam a necessidade de melhoria no relato dessas etapas, já que seus valores foram superiores em mais de 10 pontos.

O terceiro quadrante (baixa importância e baixo desempenho) inclui os itens: "Preparação dos dados" (E6) e "Avaliação do path model" (E10). O primeiro, provavelmente, porque tanto os autores como os especialistas devem ter pressuposto que, por ser uma etapa da análise quantitativa que tem sido realizada de forma adequada, não mereça maior destaque no artigo, o que é coerente com a expressão "limpeza dos dados". O segundo não foi realizado por nenhum dos artigos avaliados, e seis dos 33 especialistas nem avaliaram esse item, enquanto cinco atribuíram o valor 1, nove atribuíram o valor 2, cinco, o valor 3 e oito deles, o valor 4. Apesar de a recomendação de McDonald e Ho ser de 2002, para os autores brasileiros, essa etapa é desconhecida e, para os especialistas, está longe de ser um consenso. Nesse caso, a divulgação do check list pode estimular que esse teste passe a ser usado.

Ainda no quadrante de baixa importância e baixo desempenho, encontra-se a etapa identificação do modelo (E4), que já foi comentada na Figura 4, e a etapa estimação do modelo (E7), que apresentou a maior diferença com relação aos artigos do JoM (27 pontos abaixo). Este é um dos aspectos que necessita de maior atenção por parte dos autores e avaliadores, pois a falta dessas informações (software, matriz utilizada, método de estimação) inviabilizam a replicação do estudo.

O quarto quadrante (baixa importância e alto desempenho) contém as demais etapas (coleta de dados e avaliação do modelo completo), que têm sido tratadas de maneira satisfatória pelos autores.

Considerações Finais

O que relatar? E com que detalhamento e profundidade? Estas são questões que devem ser abordadas por editores, avaliadores e autores de artigos que tenham usado metodologias quantitativas, em particular a MEE, porque um relato pobre dos passos metodológicos pode impedir que os resultados da pesquisa sejam avaliados adequadamente.

Além disso, é improvável que haja progresso nas pesquisas em Administração que se originam de trabalhos brasileiros realizados com a metodologia da MEE, porque se inviabiliza a replicação em outros contextos e a execução de meta-análises.

Boomsma (2000) reforça a recomendação de que, a partir do relato, seja possível replicar a pesquisa, bem como as análises feitas, e conclui, com bom-humor, da seguinte forma:

Um dos critérios para avaliação de um manuscrito pode ser que o modelo seja replicável por uma fonte objetiva, de modo a evitar quaisquer falhas que possam ter ocorrido. Se o critério de replicação não pode ser atendido, o manuscrito poderia ser enviado para o Journal of Irreproducible Results ou seu sucessor, The Annals of Improbable Research (BOOMSMA, 2000, p. 462)

A área de Administração no Brasil tem ampliado o uso dos métodos quantitativos (SILVA, 2005), e parte desse movimento se dá por uma busca de ampliar publicações em periódicos internacionais.

Para que uma melhor qualidade dos relatos possa ser obtida, é necessário o esforço tanto dos autores, como dos revisores e, principalmente, dos editores. Por isso, considera-se que as principais contribuições deste artigo estão mais voltadas para esses "praticantes", no sentido de: elaborar o check list com os critérios de avaliação do relato da pesquisa e que poderão ser utilizados para identificar as etapas que necessitam maiores cuidados na redação; entender o fluxograma como a etapa do "fazer", enquanto o check list, a etapa do "relatar".

Outra contribuição esperada é o uso desses resultados e do check list como recurso didático em disciplinas de metodologia de pesquisa ou de análise de dados quantitativos, em que o fazer e o relatar sejam discutidos em profundidade.

O principal objetivo do artigo era avaliar os artigos publicados, mas o instrumento desenvolvido (o check list) acabou se mostrando um dos subprodutos da pesquisa que inspira novos questionamentos e pesquisas, por exemplo:

Qual a relação entre a pontuação total obtida no check list e a classificação Qualis do periódico?

Os resultados nas etapas da MEE (blocos do check list) discriminariam os artigos publicados em periódicos de cada tipo (A1, A2, B1, B2,...)?

Como os autores dos artigos avaliados aprenderam a MEE? Quais cursos formais e quanto de esforço como auto-didata (estudo e pesquisa)? Há relação entre a formação e a pontuação obtida com o check list?

Como a modelagem em equações estruturais tem sido abordada nos currículos dos cursos de pós-graduação em Administração no Brasil?

A partir dos resultados obtidos e considerando que a análise fatorial exploratória (AFE) pode ser utilizada como etapa anterior à análise fatorial confirmatória (AFC) ou à MEE, sua avaliação seria tão importante e interessante quanto aquelas que foram feitas para a AFC e MEE. Apesar disso, não foi identificada pesquisa brasileira que tratasse apenas da AFE. Os resultados apresentados por Froemming et al. (2000), em relação à qualidade das pesquisas quantitativas publicadas na década de 90 na RAE, RAUSP e ENANPAD, gera uma expectativa de que "as coisas não vão bem" com os artigos que usaram a AFE, o que é reforçado pelos resultados de Gosling e Gonçalves (2004, p. 21). Por isso, estudo similar a esse, que focasse apenas na AFE, continua sendo recomendado.

A principal limitação desta pesquisa está no fato das avaliações terem sido realizadas por apenas um pesquisador que, por um lado, evita o erro entre avaliadores, mas, por outro, impossibilita a avaliação do viés que possa ter ocorrido devido ao próprio avaliador.

A generalização também não é recomendada, já que foram analisados todos os artigos que usaram MEE, AFC ou path analysis em seis periódicos brasileiros. Para estes, é um censo, mas o que dizer para artigos publicados em outros periódicos? Por isso, a investigação demanda sua continuação no sentido de abarcar periódicos de outras classificações Qualis.

Artigo recebido em 23/12/2009.

Última versão recebida em 30/07/2011.

Artigo aprovado em 24/01/2012.

APÊNDICE A - Fluxograma para AFC, MEE ou path analysis

Para testar a validade de modelos modificados, idealmente, uma amostra nova e da mesma população deveria estar disponível ou, pelo menos, algum tipo de validação cruzada deveria ser feita. (BOOMSMA, 2000, p.476; CHIN, 1998, p.xii; HOYLE, PANTER, 1995, p.174). Um modelo modificado não deveria receber o status de "confirmatório".

APÊNDICE A - Fluxograma para AFC, MEE ou path analysis

• BAUMGARTNER, H.; HOMBURG, C. Applications of structural equation modeling in marketing and consumer research: a review. International Journal of Research in Marketing, v.13, n.2, p.139-162, abr.1996.
• BOLLEN, K. A. Structural equations with latent variables New York: John Wiley & Sons, Inc., 1989.
• BOOMSMA, A. Reporting analyses of covariance structure. Structural Equation Modeling: A Multidisciplinary Journal, v.7, n.3, p. 461-483, 2000. Disponível em: <http://www.ppsw.rug.nl/~boomsma/boomsma00.pdf>.  Acesso em: 28 jul. 2011.
• BRECKLER, S. J. Applications of covariance structure modeling in psychology: cause for concern? Psychological Bulletin, v.107, n.2, p.260-273, 1990.
• BREI, V. A.; LIBERALI NETO, G. O Uso de modelagem em equações estruturais na área de marketing no Brasil. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, ENANPAD, 28., 2004, Curitiba. Anais... Rio de Janeiro: ANPAD, 2004.
• BREI, V. A.; LIBERALI NETO, G. O uso da técnica de modelagem em equações estruturais na área de marketing: um estudo comparativo entre publicações no Brasil e no exterior. Revista de Administração Contemporânea, v.10, n.4, p.131-151, out./dez. 2006.
• CHIN, W. W. Issues and opinions on SEM. Management Information Systems Quarterly, v.22, n.1, p.vii-xvi, mar.1998.
• CONWAY, J. M.; HUFFCUTT, A. I. A review and evaluation of exploratory factor analysis practice in organizational research. Organizational Research Methods, v.6, n.2, p.147-168, 2003.
• FORD, J. K.; MACCALLUM, R. C.; TAIT, M. The application of exploratory factor analysis in applied psychology: a critical review and analysis. Personnel Psychology, v.39, n.2, p.291-314, 1986.
• FROEMMING, L. M. S.; LUCE, F. B.; PERIN, M. G. et al. Análise da qualidade dos artigos científicos da área de marketing no Brasil: as pesquisas survey na década de 90. Revista de Administração Contemporânea, v.4, n.3, p.201-219, set./dez. 2000.
• GOSLING, M.; GONÇALVES, C. A. Idéias metodológicas dos autores de estratégia dos ENANPADs: uma meta-análise. Revista Eletrônica de Administração, Edição 41, v.10, n.5, p.1-26, set./out. 2004. Disponível em: <http://www.read.adm.ufrgs.br/edicoes/pdf/artigo_292.pdf>. Acesso em: 28 jul. 2011.
• HAIR JR., J. F.; ANDERSON, R. E.; TATHAM, R.L.; BLACK, W. C. Análise multivariada de dados 5a Ed. Porto Alegre: Bookman, 2005.
• HOYLE, R. H.; PANTER, A. T. Writing about structural equation models. In: HOYLE, R. H. (Ed.). Structural equation modeling: concepts, issues, and applications. California: Sage Publications, 1995. p.158-176.
• JARVIS, C. B.; MACKENZIE, S. B.; PODSAKOFFF, P. M. A critical review of construct indicators and measurement model misspecification in marketing and consumer research. Journal of Consumer Research, v.30, n.2, p.199-218, 2003.
• JOURNAL OF MANAGEMENT. Two-year impact factor Disponível em: <http://jom.sagepub.com/>. Acesso em: 28 jul. 2011.
• KLINE, R. B. Principles and practice of structural equation modeling. 2^nd Ed. New York: the Guilford Press, 2005.
• LOHMÖLLER, J.-B. Latent variable path modeling with partial least squares. Heidelberger: Physica-Verlag, 1989.
• MACCALLUM, R. C.; AUSTIN, J. T. Applications of structural equation modeling in Psychological Research. Annual Review of Psychology, v.51, n.1, p.201-226, fev. 2000.
• MCDONALD, R. P.; HO, M. R. Principles and practice in reporting structural equation analyses. Psychological Bulletin, v.7, n.1, p.64-82, 2002.
• MUELLER, R. O.; HANCOCK, G. R. Structural equation modeling. In: HANCOCK, G. R.; MUELLER, R. O. (Ed.). The reviewer's guide to quantitative methods in the Social Sciences. New York: Routledge, 2010. p.371-383.
• RAYKOV, T.; TOMER, A.; NESSELROADE, J. R. Reporting structural equation modeling results in Psychology and Aging: some proposed guidelines. Psychology and Aging, v.6, n.4, p.499-503, 1991.
• SALMONES, M. M. D.; CRESPO, A.; BOSQUE, I. D. Influence of corporate social responsibility on loyalty and valuation of services. Journal of Business Ethics, v.61 n.4, p.369-385, 2005
• SCHUMACKER, R. E.; LOMAX, R. G. A beginner's guide to structural equation modeling. 2nd Ed. New Jersey: Lawrence Erlbaum Associates, Publishers, 2004.
• SHIPLEY, B. Cause and correlation in Biology: a user's guide to path analysis, structural equations and causal inference. UK: Cambridge University Press, 2002.
• SHOOK, C. L.; KETCHEN JR., E. J.; HULT, G. T. M.; KACMAR, K.M. An assessment of the use of structural equation modeling in strategic management research. Strategic Management Journal, v.25, n.4, p.397-404, 2004.
• SILVA, J. F. Métodos quantitativos na pesquisa em administração: usos e abusos. ANPAD, 20.03.2005. Disponível em: <http://www.anpad.org.br/publicacoes_informativo_opiniao.php?cod_informativo=3>. Acesso em 28 jul. 2011.
• SILVA, J. F.; COSTA, L. S. V.; LANZER, E. A. Considerações sobre a aplicação da modelagem de equações estruturais em Estratégia. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, ENANPAD, 31., 2007, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2007.
• SMITH, D.; LANGFIELD-SMITH, K. Structural equation modeling in management account research: critical analysis and opportunities. Journal of Accounting Literature, v.23, p.49-86, 2004.
• STAPLETON, L. M.; LEITE, W. L. A review of syllabi for a sample of structural equation modeling courses. Structural Equation Modeling, v.12, n.4, p.642-664, 2005.
• STEIGER, J. H. Aspects of person-machine communication in structural modeling of correlations and covariances. Multivariate Behavioral Research, v.23, n.2, p.281-290, 1988. Disponível em: <http://www.statpower.net/Steiger%20Biblio/Steiger88b.pdf>. Acesso em: 28 jul. 2011.
• YANG, C; LEE, C; YAN-CHIANG, G; LEE, Y. Co-determination of capital structure and stock returns - a LISREL approach: an empirical test of Taiwan stock markets. The Quarterly Review of Economics and Finance, v.50, n.2, p.222-233, 2010.

Datas de Publicação

• Publicação nesta coleção
  21 Jun 2012
• Data do Fascículo
  Mar 2012

Histórico

• Recebido
  23 Dez 2009
• Aceito
  24 Jan 2012
• Revisado
  30 Jul 2011