Acessibilidade / Reportar erro

Meta, mega e retroanálises correlacionais: comparando dados primários em Psicologia

Correlational meta, mega and retroanalyses: comparing primary data in Psychology

Meta, mega y retroanálisis correlacionales: comparando datos primarios en Psicología

Resumos

Na tentativa de promover a transformação de informações em conhecimento, este artigo compara as meta-análises com duas de suas variantes, as mega-análises e as retroanálises, técnicas desenvolvidas para a síntese e a equiparação de resultados pouco precisos ou contraditórios. Enquanto as meta-análises referem-se à síntese dos resultados de diferentes pesquisas primárias, as mega-análises referem-se à síntese dos dados coletados por pesquisas primárias e as retroanálises à recriação e posterior síntese desses mesmos dados. Por meio de uma simulação, o Estudo 1 pareia o viés médio de meta, mega e retroanálises em função de nove diferentes configurações que variam conforme a quantidade de estudos empregados e do tamanho da amostra individual de cada um desses estudos, nas modalidades de dados completos, leve e severa ausência de dados. No Estudo 2, os mesmos dados utilizados na simulação de ausência severa foram empregados para testar a precisão de mega e retroanálises quando se realiza a imputação de dados. Os resultados apontam para uma leve superioridade geral das mega-análises, diferença essa que diminui, até desaparecer, em situações ideais.

Meta-análise; Mega-análise; Retroanálise; Conhecimento; Análise estatística


In an attempt to promote the transformation of information into knowledge, this article compares meta-analyses with two of its variants, mega-analyses and retro-analyses, techniques developed to summarize and compare results that are not very accurate or contradictory. While meta-analyses refer to the synthesis of results of different primary researches. mega-analyses refer to the synthesis of results collected by primary researches and retroanalyses, to the recreation and posterior synthesis of that data. Using a simulation, Study 1 pairs the average trends from meta, mega and retroanalyses regarding nine different configurations that vary according to the number of studies used and the size of the individual sample of each of those studies, in the full data, light data and severe lack of data modes. In Study 2, the same data used in the simulation of severe lack of data were used to test the accuracy of mega and retroanalyses when performing data imputation. The results show a slight general superiority of mega-analyses, a difference that fades away in ideal situations.

Meta-analysis; Mega-analyses; Retroanalyses; Knowledge; Statistical analysis


En la tentativa de fomentar la transformación de informaciones en conocimiento, este artículo compara los meta-análisis con dos de sus variantes, los mega-análisis y los retro-análisis, técnicas desarrolladas para la síntesis y la equiparación de resultados poco precisos o contradictorios. Mientras los meta-análisis se refieren a la síntesis de los resultados de distintas investigaciones primarias, los mega-análisis se refieren a la síntesis de los datos recolectados por investigaciones primarias, y los retro-análisis, a una nueva creación y posterior síntesis de esos mismos datos. Por medio de una simulación, el Estudio 01 parea el sesgo medio de meta-, mega- y retro-análisis en función de nueve distintas configuraciones que varían según la cantidad de estudios llevados a cabo y el tamaño de la muestra individual de cada uno de esos estudios, en las modalidades de datos completos, leve y severa ausencia de datos. En el estudio 02, los mismos datos utilizados en la simulación de ausencia severa han sido empleados para testar la precisión de mega- y retro-análisis cuando se lleva a cabo la imputación de datos. Los resultados señalan hacia una leve superioridad general de los mega-análisis. Esa diferencia disminuye, hasta desaparecer, en situaciones ideales

Meta-análisis; Mega-análisis; Retro-análisis; Conocimiento; Analisis estadístico


ARTIGOS

Meta, mega e retroanálises correlacionais: comparando dados primários em Psicologia

Correlational meta, mega and retroanalyses: comparing primary data in Psychology

Meta, mega y retroanálisis correlacionales: comparando datos primarios en Psicología

Igor Reszka Pinheiro* * Doutor em Psicologia pela Universidade Federal de Santa Catarina, Florianópolis – SC – Brasil. E-mail: pinheiro_ir@yahoo.com.br ; Roberto Moraes Cruz** ** Doutor em Engenharia de Produção pela Universidade Federal de Santa Catarina. Docente dos Programas de Pós-Graduação em Psicologia e de Engenharia de Produção da Universidade Federal de Santa Catarina, Florianópolis – SC – Brasil. E-mail: robertocruzdr@gmail.com

Universidade Federal de Santa Catarina

Endereço para correspondência Endereço para correspondência Igor Reszka Pinheiro Rua Heitor Luz 97, apto 205, Centro. CEP: 88015-500. Florianópolis, SC. E-mail: pinheiro_ir@yahoo.com.br

RESUMO

Na tentativa de promover a transformação de informações em conhecimento, este artigo compara as meta-análises com duas de suas variantes, as mega-análises e as retroanálises, técnicas desenvolvidas para a síntese e a equiparação de resultados pouco precisos ou contraditórios. Enquanto as meta-análises referem-se à síntese dos resultados de diferentes pesquisas primárias, as mega-análises referem-se à síntese dos dados coletados por pesquisas primárias e as retroanálises à recriação e posterior síntese desses mesmos dados. Por meio de uma simulação, o Estudo 1 pareia o viés médio de meta, mega e retroanálises em função de nove diferentes configurações que variam conforme a quantidade de estudos empregados e do tamanho da amostra individual de cada um desses estudos, nas modalidades de dados completos, leve e severa ausência de dados. No Estudo 2, os mesmos dados utilizados na simulação de ausência severa foram empregados para testar a precisão de mega e retroanálises quando se realiza a imputação de dados. Os resultados apontam para uma leve superioridade geral das mega-análises, diferença essa que diminui, até desaparecer, em situações ideais.

Palavras-chave: Meta-análise, Mega-análise, Retroanálise, Conhecimento, Análise estatística.

ABSTRACT

In an attempt to promote the transformation of information into knowledge, this article compares meta-analyses with two of its variants, mega-analyses and retro-analyses, techniques developed to summarize and compare results that are not very accurate or contradictory. While meta-analyses refer to the synthesis of results of different primary researches. mega-analyses refer to the synthesis of results collected by primary researches and retroanalyses, to the recreation and posterior synthesis of that data. Using a simulation, Study 1 pairs the average trends from meta, mega and retroanalyses regarding nine different configurations that vary according to the number of studies used and the size of the individual sample of each of those studies, in the full data, light data and severe lack of data modes. In Study 2, the same data used in the simulation of severe lack of data were used to test the accuracy of mega and retroanalyses when performing data imputation. The results show a slight general superiority of mega-analyses, a difference that fades away in ideal situations.

Keywords: Meta-analysis, Mega-analyses, Retroanalyses, Knowledge, Statistical analysis

RESUMEN

En la tentativa de fomentar la transformación de informaciones en conocimiento, este artículo compara los meta-análisis con dos de sus variantes, los mega-análisis y los retro-análisis, técnicas desarrolladas para la síntesis y la equiparación de resultados poco precisos o contradictorios. Mientras los meta-análisis se refieren a la síntesis de los resultados de distintas investigaciones primarias, los mega-análisis se refieren a la síntesis de los datos recolectados por investigaciones primarias, y los retro-análisis, a una nueva creación y posterior síntesis de esos mismos datos. Por medio de una simulación, el Estudio 01 parea el sesgo medio de meta-, mega- y retro-análisis en función de nueve distintas configuraciones que varían según la cantidad de estudios llevados a cabo y el tamaño de la muestra individual de cada uno de esos estudios, en las modalidades de datos completos, leve y severa ausencia de datos. En el estudio 02, los mismos datos utilizados en la simulación de ausencia severa han sido empleados para testar la precisión de mega- y retro-análisis cuando se lleva a cabo la imputación de datos. Los resultados señalan hacia una leve superioridad general de los mega-análisis. Esa diferencia disminuye, hasta desaparecer, en situaciones ideales.

Palavras clave: Meta-análisis, Mega-análisis, Retro-análisis, Conocimiento, Analisis estadístico.

A Psicologia, da mesma forma que a ciência como um todo, atingiu uma etapa do seu desenvolvimento em que a informação é abundante, mas isso já não se pode dizer do conhecimento. As pesquisas se intensificam, os artigos se multiplicam e os consensos escasseiam. Estaria a torrente de novas informações, em vez de abastecer o referencial factual das teorias, afogando as unanimidades em uma miríade de irregularidades? Nas ciências sociais, habitualmente, tem-se a sensação de que sim (Hunt, 1997). Este artigo aborda um dos métodos especialmente desenvolvidos para reverter essa tendência (Glass, 1976; Hafdahl, 2007), a meta-análise, assim como duas de suas variantes, a megaanálise e a retroanálise.

Meta-análises, também chamadas de sínteses quantitativas, combinações de informações ou revisões sistemáticas (Cheung, 2008), são um conjunto de métodos quantitativos utilizados para comparar e combinar os resultados de pesquisas primárias, geralmente por meio de tamanhos de efeito, tais como o d de Hedges, a razão de chance e o coeficiente de correlação. Esta última métrica, conhecida ainda como correlação de Pearson ou coeficiente de correlação produto-momento, além de ser uma das mais frequentes no universo da meta-análise, também é a mais aconselhada para a investigação de relações complexas (Hafdahl, 2007), o que é bastante comum na Psicologia.

Mesmo que exista, virtualmente, infinitas formas de se combinar coeficientes de correlação, a tradição meta-analítica se foca em duas estratégias básicas: o método de Hedges e Olkin e o método de Hunter e Schmidt. Resumidamente, enquanto o primeiro advoga a necessidade de se utilizar a transformação de Fisher, já que teoricamente as correlações não apresentam a propriedade aditiva, o segundo defende somente uma média ponderada (Field, 2001). Além desses, ambos univariados, novos métodos multivariados foram desenvolvidos especificamente para sintetizar matrizes inteiras de correlação, uma vez que não ignoram a dependência inerente entre as correlações, levando em conta a covariância entre esses tamanhos de efeito (Furlow & Beretvas, 2005).

Inúmeros estudos já empregaram esse tipo de meta-análise multivariada para a criação e a testagem de teorias, geralmente também auxiliados por modelos de equações estruturais (estes supridos pelas matrizes de correlação combinadas). Dunst e Trivette (2009), por exemplo, testaram as influências do cuidado centrado na família, na saúde mental de pais e filhos, e chegaram à conclusão de que os efeitos dessa prática são indiretos e mediados por suas crenças de autoeficácia. Fan, Jackson, Yang, Tan, e Zhang (2010), por sua vez, após aglutinarem dezenove matrizes de correlação para avaliar a estrutura interna do Teste de Inteligência Emocional Mayer-Salovey- Caruso, descobriram que um modelo de três fatores possui melhor encaixe que o habitual de quatro. Halpert, Stuhlmacher, Crenshaw, Litcher e Bortel (2010), ainda, propuseram e testaram um modelo do processo de negociação, demonstrando que o sucesso do negociador se obtém somente quando o foco está nos objetivos e na cooperação.

Muitos outros exemplos de meta-análises correlacionais poderiam ser citados, contudo, a idéia central é sempre a mesma: convergir dados para deles extrair o conhecimento sintético de um corpus pouco preciso ou cheio de contradições. Algumas questões, todavia, ainda precisam ser respondidas: Qual é a precisão dos métodos multivariados se comparados com formas alternativas de se sintetizar matrizes de correlação (Hafdahl, 2008)? Seriam as meta-análises capazes de lidar somente com dados ausentes se o padrão de distribuição destes for completamente aleatório (Kim, & Bentler, 2002)? O que é mais relevante às sínteses quantitativas, a quantidade de pesquisas empregadas ou o tamanho individual das amostras de cada uma dessas pesquisas (Furlow, & Beretvas, 2005)?

Esta investigação teve por objetivo, justamente, contribuir para a resolução dessas questões por meio de uma comparação entre três modalidades de meta-análises: o já bem aceito e consolidado método multivariado de Cheung e Chan (2005); a mega-análise, uma extrapolação teórica feita por Dillon (1982) e; a retroanálise, uma proposta alternativa dos autores deste artigo. Após uma breve explanação teórica dessas três abordagens, seguem-se dois estudos nos quais, primeiro, compara-se o desempenho da meta, da mega e da retroanálise em função do número de matrizes empregadas e da quantidade de sujeitos em cada amostra individual e, depois, compara-se novamente a mega e a retroanálise em uma situação específica de ausência de dados que requer imputação.

Longe da ambição de oferecer a palavra final a respeito do mais adequado método estatístico para se combinar coeficientes de correlação, o presente material buscou, prioritariamente, promover as revisões sistemáticas e, por conseguinte, a convergência do conhecimento, sobretudo na Psicologia. Destarte, as fórmulas e demais algoritmos utilizados foram postos em detrimento das figuras e das tabelas que melhor transmitem a noção dos processos indicados, na esperança de que este texto seja inteligível para os pesquisadores dos mais diversos referenciais teóricos. Assim como Gene Glass (1976) escreve em seu trabalho seminal, já está na hora de se saber ao menos tanto quanto se tem encontrado provas.

Sínteses quantitativas

A história da meta-análise, bem como seu nome, tem início com o artigo de Glass (1976) intitulado Primary, secondary, and meta-analysis of research. Em seu discurso, Glass apresenta esse método não como a análise original de um banco de dados (pesquisas primárias) ou como a reanálise dos bancos de dados (pesquisas secundárias), mas como a análise das análises. Mais que uma mera somatória dos prós e dos contras dos resultados primários, sejam eles quantitativos ou qualitativos, a respeito de uma mesma temática (método da contagem de votos), esse procedimento visa ponderar e relativizar em uma métrica comum cada informação original para que elas componham um único indicador com intervalos de confiança mais estreitos e com maior poder estatístico (Hunter & Schmidt, 1990). A Figura 1, portanto, apresenta esse esquema e esclarece que o objeto da meta-análise são os resultados das pesquisas primárias, dos quais se calcula o novo tamanho de efeito.


Quando há, porém, a possibilidade de acesso aos dados originais, Dillon (1982) sugere que se faça, em vez de uma meta-análise, uma mega-análise. A compilação de inúmeros dados originários de pesquisas primárias, viável normalmente apenas em programas colaborativos da área médica (Costrafreda, 2009), segue a lógica de que quanto maior – aproximando-se do infinito – é a população de um estudo, mais precisos e generalizáveis seriam os seus resultados. A Figura 2, então, exibe os dados primários como o objeto da mega-análise, dos quais, em um contexto ideal, derivariam resultados ótimos e flexíveis, já que passíveis de uma infinidade de novas análises sem a necessidade de conversões.


Dada a frequente impossibilidade de acesso aos dados primários nas ciências sociais, uma terceira opção faz-se válida, a retroanálise, sobretudo por necessitar somente dos resultados primários, à semelhança da metaanálise. Essa variante propõe-se a recriar os dados originais, retrocedendo uma etapa, para que dessa forma se torne tão eficaz e flexível quanto a mega-análise, contudo, sem as suas restrições logísticas. A figura 3 exibe essa nova proposta e destaca a diferença entre os dados originais e os dados recriados, uma vez que a retroanálise utiliza-se da técnica de Transformação Inversa (Inverse Transform Sampling), a qual embute erro de amostragem, dependendo do tamanho da população recriada.


É certo afirmar, desde já, que nenhum desses métodos é melhor que os demais, apenas mais adequado a situações específicas. Inúmeras comparações já foram realizadas entre os mais diversos tipos de meta-análise (Cheung & Chan, 2005; Furlow & Beretvas, 2005; Hafdahl, 2008; dentre outros), em especial entre as técnicas uni e multivariadas, mas, até onde se sabe, não existem estudos sistemáticos que parearam o desempenho de meta e mega-análises, menos ainda da sugerida retroanálise. Nisso, no Estudo 1, relatado a seguir, verificou-se a performance de cada um desses métodos nos contextos de dados completos, poucos dados ausentes e muitos dados ausentes. Mais à frente, no Estudo 2, comparou-se novamente a precisão, mas, desta vez, somente de mega e retroanálise, em uma circunstância que requer imputação de dados, esta pouco elaborada na meta-análise.

Estudo 1

O primeiro estudo comparativo entre a meta, a mega e a retroanálise buscou diferenciar a precisão desses três métodos nos contextos mais comuns encontrados nas pesquisas em psicologia do Brasil e do mundo. Para tal, dois fatores foram levados em consideração: que a publicação de replicações exatas é desencorajada pelos editores de revistas científicas, o que torna os dados ausentes a regra e não a exceção em matrizes de correlação sintetizadas (Becker, 1992); e que o padrão de ausência de correlações entre as variáveis de cada estudo primário baseia-se, prioritariamente, nas orientações teóricas dos pesquisadores, o que o caracteriza como ausente ao acaso (missing at random) (Furlow & Beretvas, 2005). Nisso, uma simulação foi conduzida com dados completos e com dois padrões de ausência ao acaso.

Método

Primeiramente, para que houvesse um parâmetro único de comparação, simulou-se, com o auxílio do software MVN (Uebersax, 2006), um banco de dados contendo 100.000 respostas de distribuição normal a nove variáveis, obedecendo à matriz de correlação exibida pela Figura 4. Tal matriz é análoga aos resultados oferecidos por pesquisas tipicamente voltadas para a investigação de processos cognitivos, traços de personalidade ou intervenções terapêuticas, podendo ser entendida, por exemplo, como o nível de relacionamento pareado entre os escores de criatividade, inteligência fluída, os cinco aspectos do Big Five e duas modalidades alternativas de treinamento. Buscou-se utilizar diferentes magnitudes de correlação para testar possíveis diferenças no desempenho de cada um dos três métodos de síntese quantitativa em questão com base na força das relações. Todas as matrizes combinadas por meta, mega ou retroanálise foram, posteriormente, comparadas com esta para o conhecimento do viés de cada procedimento.


Dividiu-se aleatoriamente, então, a população total de 100.000 respostas em grupos de 20, 100 e 250 respostas, as quais serviram como simulação de pesquisas contendo essas três quantidades de sujeitos em suas respectivas amostras (K). Depois, juntaram-se esses grupos em blocos de 5, 25 e 100 unidades, os quais simularam a quantidade de estudos (N) empregados em cada tipo de análise. Por meio desse desenho 3 x 3, obteve-se as 9 diferentes configurações que foram testadas: 1) 5 estudos com 20 sujeitos cada; 2) 5 estudos com 100 sujeitos cada; 3) 5 estudos com 250 sujeitos cada; 4) 25 estudos com 20 sujeitos cada; 5) 25 estudos com 100 sujeitos cada; 6) 25 estudos com 250 sujeitos cada; 7) 100 estudos com 20 sujeitos cada; 8) 100 estudos com 100 sujeitos cada e; 9) 100 estudos com 250 sujeitos cada.

O mesmo procedimento, após ser realizado com os dados completos, foi conduzido com 2 variáveis ausentes por estudo, o que equivale a 42% de correlações faltantes, e com 6 variáveis ausentes por estudo, o que equivale a 92% de correlações faltantes. Optou-se por esses valores para simular uma ocasião em que há leve ausência de dados e outra em que há severa ausência de dados. Para que o padrão de ausência pudesse ser considerado ao acaso, ou seja, relacionado ao uso de determinadas variáveis, mas não aos seus valores, seguiu-se, repetidamente quando N igual a 25 ou a 100, os padrões exibidos pelas Figuras 05a e 05b. Esses gabaritos simulam a constante utilização das mesmas variáveis por diferentes pesquisas, o que sugere uma preferência teórica e não numérica. Isso reflete o fato de que determinadas linhas de pesquisa em Psicologia costumam se ater a fenômenos específicos ou, mesmo, a instrumentos cuja dimensionalidade pode ser fracionada. Não raro, por exemplo, as sínteses quantitativas exibem casos em que somente um ou dois fatores do Big Five são mensurados em diferentes pesquisas, ou que uma determinada intervenção sempre é pareada à criatividade, mas nunca à inteligência. Para, contudo, viabilizar os procedimentos estatísticos e impedir que houvesse correlações completamente faltantes na ocasião de ausência severa, um estudo aleatório de cada configuração se manteve com os dados completos.


Com o auxílio de uma planilha do Excel, calcularam-se as matrizes de correlação de cada estudo em cada configuração, as quais foram utilizadas nas modalidades de meta e retroanálise. As meta-análises foram conduzidas segundo o método multivariado descrito por Cheung e Chan (2005), o qual possui aplicativo próprio no Software R versão 2.11.1 (2010). As retroanálises, por sua vez, primeiro, tiveram seus dados recriados por meio do programa MVN (Uebersax, 2006) e, em seguida, por meio do SPSS versão 17, configurado para a exclusão pairwise nos casos de dados ausentes, assim, obtiveram as matrizes de correlação compiladas. As mega-análises, por fim, também tiveram suas matrizes finais calculadas por meio do SPSS, configurado novamente para a exclusão pairwise, desta vez, utilizando-se dos dados brutos de cada uma das 9 configurações.

Todas as 36 correlações (diagonal inferior de uma matriz 9 x 9) de cada uma das 9 matrizes resultantes, arredondadas para a terceira casa decimal, foram tabuladas e subtraídas da matriz verdadeira (Figura 4). Os valores resultantes foram consideradas as medidas de viés, já que estas configuram o quanto cada correlação obtida se desvia da correlação verdadeira. Valores positivos indicam uma subestimativa do coeficiente de correlação (associada ao Erro Tipo II em pesquisa) e valores negativos indicam uma superestimativa do tamanho de efeito (associada ao Erro Tipo I em pesquisa).

Além dos valores relativos, calculou-se também a média dos módulos de cada uma das 9 configurações, bem como dos agrupamentos de configurações por número de estudos (N), dos agrupamentos de configurações por quantidade de sujeitos em cada amostra individual (K), do agrupamento total das 9 configurações e do agrupamento total das 6 configurações com K maior que 20 (configurações 2, 3, 5, 6, 8 e 9). Os resultados foram tabelados, pareados e geraram os gráficos disponíveis na próxima seção, esta restrita somente aos dados mais relevantes, dadas as limitações de espaço. Seu conjunto completo pode ser obtido junto ao primeiro autor deste artigo.

Resultados

Inicialmente, como foi proposto verificar o desempenho dos três tipos de sínteses quantitativas em função da magnitude das correlações, todos os vieses das 9 configurações em cada modalidade de análise foram pareados de acordo com o seu tamanho verdadeiro (correlações até 0,5 foram consideradas pequenas e maiores que 0,5 grandes). Com os dados completos, os testes T para amostras independentes apresentaram significância estatística principalmente nas configurações de N e K pequenos. As meta-análises exibiram os maiores contrastes (7 diferenças significativas) e as retroanálises os menores (4 diferenças significativas). Na ocorrência de ausência leve, o mesmo padrão geral foi apresentado, contudo, todos os métodos obtiveram a mesma quantidade de contrastes (4 diferenças significativas). Já no caso de ausência severa, foram poucos os casos em que alguma configuração demonstrou diferenças significativas entre as pequenas e as grandes correlações no que se refere à quantidade de viés. Nesta modalidade, as retroanálises exibiram os maiores contrastes (6 diferenças significativas) e as meta-análises os menores (nenhuma diferença significativa). Em geral, aparentemente, as diferenças se tornam significativas quando a população total (K x N) de cada método é baixa (inferior a 1.250) ou quando há muitos dados ausentes, ambos indicativos de perda de precisão.

Passando para o resultado dos agrupamentos, a Tabela 1 apresenta, além da média dos módulos de cada configuração, os dados obtidos em função do número de estudos (N = 5, 25 ou 100), da quantidade de sujeitos em cada amostra individual (K = 20, 100 ou 250), do total das 9 configurações e do total das 6 configurações com K maior que 20. Este segundo total foi necessário para uma comparação mais equilibrada, pois, como se percebe, as únicas configurações que apresentam viés anormalmente elevados foram as número 1, 4 e 7 (todas com K igual a 20), especialmente nas retroanálises.

O desempenho geral (T. > 20) com os dados completos exibe igualdade entre todos os três métodos de sínteses quantitativas (viés = 0,017). Isso significa que, se levada em consideração a média dos coeficientes de correlação da matriz verdadeira (rr = 0,619), os valores obtidos por mega, retro e meta-análises varia entre r = 0,636 e r = 0,602. Surpreendentemente, em ambos os casos de dados faltantes, o viés foi ainda menor em todas as modalidades (viés < 0,016), com exceção da retroanálise na ocorrência de falta severa (viés = 0,019). O melhor resultado na média entre as modalidades, como esperado, foi o da mega-análise (viés = 0,011), deixando empatadas em segundo lugar a meta e a retroanálise (viés = 0,015).

Examina-se, então, graficamente o desempenho dos agrupamentos por número de estudos e quantidade de sujeitos em cada amostra individual na Figuras 6. Primeiramente, é nítida a melhora no desempenho dos três métodos de síntese quantitativa com o aumento de ambos estudos (N) e sujeitos (K), especialmente em função deste último. A partir de amostras de 100 sujeitos em cada estudo, as diferenças no viés provocadas pelos diferentes métodos tornam-se ínfimas, contudo, elas crescem juntamente com o aumento da quantidade de dados ausentes. Com K igual a 20 e a 100, as mega-análises obtiveram os melhores resultados em média, seguidas pelas meta-análises e, depois, pelas retroanálises. Com K igual a 250, mega e retroanálises empataram e obtiveram os melhores desempenhos em média.


Já no que se refere ao número de estudos empregados (N), os resultados foram bem mais constantes: as mega-análises sempre obtiveram os melhores resultados em média, seguidas pelas meta-análises e, depois, pelas retroanálises. A inspeção visual das letras A, C e E da Figuras 6 permite distinguir que, enquanto mega e meta-análises apresentaram melhoras sensíveis com o aumento de N, as retroanálises mantiveramse bastante estáveis. Tal característica das retroanálises, todavia, só foi exibida nas suas médias absolutas. Se consideradas as médias relativas (disponíveis com o primeiro autor do artigo), as retroanálises também apresentam melhoras visíveis com o aumento de N, chegando a obter o melhor desempenho na modalidade de dados completos.

Ainda é pertinente mencionar, assim sendo, que o viés relativo (quando considerado o sinal do desvio entre a correlação obtida e a correlação verdadeira) foi sempre negativo para mega e meta-análises, mas foi positivo nas modalidades de dados completos e ausência severa para as retroanálises. Isso significa que, em geral, as matrizes de correlação sintetizadas por meio de mega ou meta-análises tendem a superestimar relacionamentos entre duas variáveis psicológicas quaisquer, como a extroversão e a criatividade, por exemplo, e que aquelas combinadas por meio das retroanálises tendem a subestimá-los. Por fim, se considerados os vieses relativos, com dados completos e com ausência leve, as retroanálises obtiveram os melhores desempenhos gerais (T. > 20), seguidas igualmente por mega e meta-análises e; com ausência severa, as mega-análises obtiveram o primeiro lugar, seguidas por meta e, depois, retroanálises.

Estudo 2

Como o cenário de ausência severa de dados abriu a possibilidade de correlações completamente inexistentes caso uma das simulações de estudo não tivesse sido mantida com todas as suas relações, uma situação em particular fez-se presente: a possibilidade de imputação de informações. Não raro, em função dos diferentes referenciais teóricos dos pesquisadores, as meta-análises se deparam com situações em que alguns estudos, por exemplo, mediram a correlação entre as variáveis A (criatividade) e B (inteligência) e outros entre as variáveis B (inteligência) e C (extroversão). Seria possível extrapolar os resultados e encontrar a correlação entre A (criatividade) e C (extroversão)? Hunt (1997), no epílogo de seu livro sobre a história das sínteses quantitativas, não só afirma que sim, como também prevê que a descoberta de respostas além dos dados obtidos será o futuro da meta-análise.

No intuito de verificar, por meio da mesma métrica de viés utilizada no Estudo 1, se, porém, a imputação de informações acarretaria em grande perda de precisão, o segundo estudo deste artigo reexaminou o cenário de ausência severa de dados. Desta vez, contudo, na falta de especificações sobre como proceder imputações com o método meta-analítico de Cheung e Chan (2005) sem ferir a sua mecânica, somente mega e retroanálises foram testadas.

Método

Utilizou-se, no Estudo 2, o mesmo banco de dados simulado no Estudo 1 para o contexto de ausência severa, bem como suas 9 configurações, porém, obedecendo rigorosamente ao gabarito exibido na Figura 05b, ou seja, sem nenhum estudo contemplando todas os relacionamentos entre as variáveis. Nisso, 22 correlações (Var1 x Var4; Var1 x Var5; Var1 x Var6; Var1 x Var7; Var1 x Var8; Var2 x Var4; Var2 x Var5; Var2 x Var6; Var2 x Var7; Var2 x Var8; Var3 x Var6; Var3 x Var7; Var3 x Var8; Var3 x Var9; Var4 x Var6; Var4 x Var7; Var4 x Var8; Var4 x Var9; Var5 x Var 8; Var5 x Var9; Var6 x Var8 e; Var6 x Var9), dentre as 36 possíveis, passaram a encontrar-se completamente inexistentes. Nesse cenário, é como se nenhum pesquisador já tivesse publicado algum artigo contendo a relação numérica entre cerca de 3/5 das 9 variáveis sintetizadas, mas que, somando-se os pares, o grupo como um todo estivesse vinculado por pelo menos um elemento.

Dentre as mais diversas opções de método de imputação (substituição das casas ausentes pelas médias de suas variáveis; substituição pelas medianas; substituição pelo resultado de linhas de regressão; substituição pelo resultado de linhas de regressão com uma medida de erro etc.), optou-se pelo uso do algoritmo de Expectation Maximization (EM), pois, aparentemente esse é o processo mais bem recomendado pela literatura metaanalítica (Becker, 1992; Kim & Bentler, 2002; dentre outros). Para tal, compilaram-se todos os dados brutos dos estudos das megaanálises e os dados recriados dos estudos das retroanálises de cada configuração em tabelas que foram inseridas no SPSS e submetidas à sua análise de dados faltantes, configurada para estimar, por meio do EM, uma distribuição normal para as casas vazias. O número máximo de interações, para que os resultados convergissem à máxima verossimilhança com tolerância de 0,0001, foi de 5.000.

As matrizes de correlações estimadas pelo algoritmo de EM foram subtraídas, cada uma a sua vez, da matriz verdadeira (Figura 04, novamente), resultado, exatamente como no Estudo 1, nas medidas de viés. Calcularam-se os valores relativos e as médias dos módulos de cada uma das 9 configurações, assim como dos agrupamentos de configurações por número de estudos, por quantidade de sujeitos em cada amostra individual, do agrupamento total das 9 configurações e das 6 configurações com K maior que 20. Nos resultados a seguir, além dos vieses encontrados por todas as 36 correlações submetidas aos dados imputados (Imputação Simples), também são exibidos os valores encontrados pela mistura das 22 correlações obtidas dos dados imputados com as demais 14 correlações obtidas pelos dados já existentes configurados para a exclusão pairwise (Imputação Mista).

Resultados

Como é possível conferir na Tabela 2, a imputação de dados não foi capaz de convergir em duas das configurações das mega-análises (1 e 6) e em outras duas configurações das retroanálises (4 e 5). Com base nas 7 demais configurações, entretanto, percebe-se que a população total (K x N) novamente afetou a precisão das sínteses quantitativas, desta vez, de maneira mais ríspida, tornando constantes os vieses somente após 2.500 sujeitos. Após esse número de corte, enquanto a imputação nos dados das retroanálises ainda apresentou uma variação súbita na configuração 8, a imputação das mega-análises permaneceu estável.

O desempenho geral (T. > 20) das mega-análises, em ambas as modalidades, foi superior ao das retroanálises em 0,011. As mega-análises com imputação simples obtiveram uma média de viés igual a 0,036 e, com imputação mista, igual a 0,035. Já as retroanálises com imputação simples obtiveram uma média de viés igual a 0,047 e, com imputação mista, igual a 0,046. Em relação ao valor médio da matriz verdadeira de correlações (rr= 0,619), isso significa que, utilizandose da imputação mista (sutilmente melhor), o valor obtido por mega-análise variaria entre r = 0,654 e r = 0,584 e, o valor obtido por retroanálise variaria entre r = 0,665 e r = 0,573. Dificilmente, em qualquer um desses casos, a imputação de dados iria interferir na interpretação típica utilizada em Psicologia (associações fracas continuariam sendo tidas como fracas, médias como médias e fortes como fortes).

Neste estudo, diferentemente do anterior, todavia, ambos os métodos em ambas as modalidades tenderam a apresentar valores relativos negativos, o que indica uma superestimativa das relações. A exceção foi a configuração número 1 das retroanálises nas duas modalidades, o que explica os totais desse método serem superiores aos totais com K maiores que 20.

Quanto ao viés dos agrupamentos por número de estudos e por quantidade de sujeitos em cada amostra, percebe-se que as mega-análises apresentaram uma tendência de melhora linear com o aumento de K e N individualmente, mas, as retroanálises não. Como é possível visualizar na Figura 7, no caso de imputação de dados, em ambas as modalidades, o viés das retroanálises aparenta ser pouco influenciado por essas variáveis, oscilando sempre em torno de uma média.

Já as mega-análises, ao contrário do Estudo 1, exibiram grande melhora em função do número de estudos e pequena em função do tamanho de cada amostra.


Severas limitações no número de estudos empregados e no volume de cada amostra sugerem o uso de retroanálises e não de mega-análises, já que as médias das configurações com N igual a 5 e 25 e com K igual 20 foram superiores no primeiro método. Apesar das retroanálises terem obtido um desempenho geral inferior ao das mega-análises, elas exibiram o melhor resultado individual dentre as 9 diferentes configurações em ambas as modalidades (configuração 1) e, também, a melhor média dentre as configurações agrupadas pelo tamanho das amostras (K = 20). Nisso, por mais que a tendência geral deste estudo aponte para uma ligeira superioridade da utilização dos dados brutos, novas pesquisas devem ser conduzidas para se esclarecer o potencial dos dados recriados.

Discussão e Considerações

Algumas corroborações e outras tantas novas especulações podem ser feitas com base nos resultados apresentados. Inicialmente, conforme teoricamente esperado (Dillon, 1982), as mega-análises são, de fato, ótimas soluções para a síntese quantitativa de informações. O uso de dados brutos é vantajoso em termos de precisão, suporta informações ausentes ao acaso e permite a imputação bem sucedida em casas vazias, considerada a sua margem de erro. Sua grande limitação refere-se ao fator logístico, este vinculado ao acesso aos bancos de dados originais das pesquisas primárias, o que tende a ser bastante dificultado pelo mau arquivamento das informações, pelos interesses das instituições financiadoras, pela política de privacidade dos sujeitos respondentes e, até, pela indisposição dos pesquisadores.

A impossibilidade de acesso a essas informações, contudo, não demonstra ser deveras prejudicial às sínteses quantitativas, já que ambas, meta e retroanálise, também apresentaram reduzidas medidas de viés em situações adequadas. Para a meta-análise, essas situações, conforme já apontavam algumas referências, estão principalmente relacionadas às grandes quantidades de estudos sintetizados (Hafdahl, 2008) e ao controle do Erro Tipo I (Cheung & Chan, 2005). Uma nova situação encontrada por esta pesquisa é a utilização de dados ausentes ao acaso, não apenas os ausentes completamente ao acaso (missing completely at random), como já indicado pela literatura (Furlow & Beretvas, 2005).

As retroanálises, por sua vez, dependem, principalmente, da quantidade de sujeitos na amostra de cada estudo utilizado. Tal fato se deve ao erro amostral proveniente do processo de recriação dos dados, o qual é diretamente proporcional ao tamanho da população de cada correlação. Nisso, esse método se mostra válido para sintetizar matrizes de correlações apenas quando se emprega pesquisas primárias cuja população estudada (N) é igual ou superior a 100. Ademais, as retroanálises ainda suportam a extrapolação de dados com uma margem de erro média inferior a 0,05, viés que tende a desvalorizar a variância dos relacionamentos em somente 0,0025. Isso significa que, não havendo o acesso aos dados primários por qualquer que seja o motivo, o procedimento de recriação proposto nesta pesquisa é uma alternativa bastante válida, pelo menos, para formulação de hipóteses a respeito do relacionamento e, por conseguinte, da dimensionalidade dos construtos psicológicos.

Toda imputação de dados, entretanto, deve ser procedida com muita parcimônia, uma vez que ela está sujeita, não só à inserção de erro de medida, mas também à coerência lógica. Por mais que, estatisticamente, seja sempre possível estimar a correlação entre duas variáveis quaisquer em mega e retroanálises (e provavelmente em meta-análises), esse valor não fará sentido se proveniente de um artefato conceitual. Quando, por exemplo, em um questionário sobre cuidados parentais, os homens deixam em branco os itens referentes à amamentação, é errôneo proceder a imputação, já que além de criar respostas sem sentido algum, elas ainda irão distorcer os dados verdadeiros. Uma sugestão para impedir ao menos essa última distorção é o emprego da modalidade de imputação mista.

Este artigo utilizou-se de simulações e, como todas as simulações apresentam limitações (Kim & Bentler, 2002), esta não é uma exceção. Somente 9 configurações foram testadas em cada modalidade, sempre com uma mesma matriz verdadeira 9 x 9. Os resultados, portanto, mesmo que sugerindo uma tendência estável após certo ponto, restringem-se a esse universo e só são passíveis de generalização em circunstâncias semelhantes. É pertinente ressaltar, por exemplo, que as pequenas medidas de viés foram obtidas considerando-se uma validade de construto perfeita, o que não é a regra nas ciências humanas, as quais muitas vezes obtêm dados severamente distorcidos (Hunter & Schmidt, 1990). No campo de estudo da criatividade, por exemplo, muito ainda se debate a respeito do número de fatores que compõe os testes de pensamento divergente (Kim, 2006), o que leva a crer que ou nenhuma medida é plenamente adequada, ou a própria criatividade está teorizada de forma equivocada. A realização de sínteses quantitativas nessa e em outras áreas de estudo da Psicologia devem levar em consideração, então, que o emprego de uma única medida como elemento de vínculo certamente irá distorcer os dados para determinadas concepções empíricas dos fenômenos. Sugere-se, nesse caso, a compilação de não apenas uma, mas sim várias medidas dos mesmos fenômenos, o que direcionaria a imputação dos dados para um espaço conceitual misto.

Por fim, ainda é apropriado lembrar que as sínteses quantitativas não são apenas transformações estatísticas (Cheung, 2008). Sugere-se a todos os pesquisadores agora interessados em meta, mega e retroanálises que se atentem também aos desenhos de pesquisa, à coleta e ao registro dos dados, à ética em cada procedimento e à criteriosa interpretação das informações sintetizadas, afinal, o objetivo da ciência como um todo é o conhecimento. Espera-se que a Psicologia, em particular, tire proveito desses métodos tão promissores à interpretação de fenômenos complexos.

Recebido 22/11/2010

1ª Reformulação 11/11/2013

Aprovado 12/12/2013

  • Becker, B. (1992). Missing data and the synthesis of correlation matrices. In Anais do Annual Meeting of the American Education Research Association, São Francisco, CA.
  • Cheung, M. (2008). A model for integrating fixed-, random-, and mixed-effects meta-analyses into structural equation modeling. Psychological Methods, 13(3), 182-202. doi: 10.1037/a0013163
  • Cheung, M., & Chan, W. (2005). Meta-analytic structural equation modeling: A two-stage approach. Psychological Methods, 10, 40-64. doi: 10.1037/1082-989X.10.1.40
  • Costafreda, S. (2009). Pooling fMRI data: Meta-analysis, megaanalysis and multi-center studies. Frontiers in Neuroinformatics, 3(33), 2-10. doi: 10.3389/neuro.11.033.2009
  • Dillon, J. (1982). Superanalysis. American Journal of Evaluation, 3(4), 35-43 doi: 10.1177/109821408200300411
  • Dunst, C., & Trivette, C. (2009). Meta-analytic structural equation modeling of the influences of family-centered care on parent and child psychological health. International Journal of Pediatrics, 1-9. doi:10.1155/2009/576840
  • Fan, H., Jackson, T., Yang, X., Tang, W., & Zhang, J. (2010). The factor structure of the Mayer-Salovey-Caruso Emotional Intelligence Test V 2.0 (MSCEIT): A meta-analytic structural equation modeling approach. Personality and Individual Differences, 48(7), 781-785. doi: 10.1016/j.paid.2010.02.004
  • Field, A. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180. doi: 10.1037/1082- 989X.6.2.161
  • Furlow, C., & Beretvas, S. (2005). Meta-analytic methods of pooling correlation matrices for structural equation modeling under different patterns of missing data. Psychological Methods, 10(2), 227-254. doi: 10.1037/1082-989X.10.2.227
  • Glass, G. (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 5(10), 3-8. doi: 10.3102/0013189X005010003
  • Hafdahl, A. (2007). Combining correlation matrices: Simulation analysis of improved fixed-effects methods. Journal of Educational and Behavioral Statistics, 32(2), 180-205. doi: 10.3102/1076998606298041
  • Hafdahl, A. (2008). Combining heterogeneous correlation matrices: Simulation analysis of fixed-effects methods. Journal of Educational and Behavioral Statistics, 33(4), 507-533. doi: 10.3102/1076998607309472
  • Halpert, J., Stuhlmacher, A., Crenshaw, J., Litcher, C., & Bortel, R. (2010). Paths to negotiation success. Negotiation and Conflict Management Research, 3(2), 91-116. doi: 10.1111/j.1750- 4716.2010.00051.x
  • Hunt, M. (1997). How science takes stock: The history of metaanalysis. Nova Iorque: Russell Sage Foundation.
  • Hunter, J., & Schmidt, F. (1990). Methods of meta-analysis: Correcting error and bias in research findings. Newbury Park: Sage Publications.
  • Kim, K. (2006). Can we trust creativity tests? A review of the Torrance Tests of Creative Thinking (TTCT). Creativity Research Journal, 18(1), 3-14. doi: 10.1207/s15326934crj1801_2
  • Kim, K., & Bentler, P. (2002). Tests of homogeneity of means and covariance matrices for multivariate incomplete data. Psychometrika, 67(4), 609-624. doi: 10.1007/BF02295134
  • R Development Core Team. (2010). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria Recuperado de http://www.R-project.org.
  • Uebersax, J. (2006). MVN program for random multivariate normal numbers. Recuperado de http://ourworld.compuserve.com/homepages/jsuebersax
  • Endereço para correspondência
    Igor Reszka Pinheiro
    Rua Heitor Luz 97, apto 205, Centro. CEP: 88015-500. Florianópolis, SC.
    E-mail:
  • *
    Doutor em Psicologia pela Universidade Federal de Santa Catarina, Florianópolis – SC – Brasil. E-mail:
  • **
    Doutor em Engenharia de Produção pela Universidade Federal de Santa Catarina. Docente dos Programas de Pós-Graduação em Psicologia e de Engenharia de Produção da Universidade Federal de Santa Catarina, Florianópolis – SC – Brasil. E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      17 Out 2014
    • Data do Fascículo
      Jun 2014

    Histórico

    • Aceito
      12 Dez 2013
    • Recebido
      22 Nov 2010
    • Revisado
      11 Nov 2013
    Conselho Federal de Psicologia SAF/SUL, Quadra 2, Bloco B, Edifício Via Office, térreo sala 105, 70070-600 Brasília - DF - Brasil, Tel.: (55 61) 2109-0100 - Brasília - DF - Brazil
    E-mail: revista@cfp.org.br