Acessibilidade / Reportar erro

Meta-análise em pesquisas científicas: enfoque em metodologias

Meta analysis in scientific research: a methodological approach

Resumos

Este texto descreve os princípios básicos de sistematização com enfoque em meta-análise. É apresentado o estado da arte da meta-análise, recuperando informações de sua evolução e metodologias básicas para sua realização. São descritos seus antecedentes históricos, os limites das abordagens clássicas de revisão de literatura, as bases conceituais, os objetivos e justificativas. É indicada uma metodologia geral para realização da meta-análise. São apresentados os critérios para a definição dos objetivos. São descritos os procedimentos de sistematização das informações e gestão de base bibliográfica de dados destinada aos estudos meta-analíticos (seleção, codificação, filtragem de dados). São apresentadas as análises mais comuns (gráfica, ponderações), a escolha do modelo estatístico (um fator explicativo qualitativo, um efeito qualitativo ou quantitativo), os fatores de interferência, os procedimentos pós-analíticos (variações residuais, heterogeneidade entre resultados). Em síntese, este texto mostra que a meta-análise é superior às formas tradicionais de revisão de literatura por estimar com maior precisão os efeitos dos tratamentos, ajustando-os para a heterogeneidade experimental. No entanto, a meta-análise exige os efeitos na sistematização e análise dos resultados da pesquisa.

análise sistêmica; produção animal; revisão de literatura; sistematização


This text describes a basic approach of systematization with focus on meta-analysis. It is presented the art state of the meta-analysis, recovering information of its evolution and basic methodologies for its accomplishment. In this text are described the historical antecedents of meta-analysis, the limits of the classic approaches of literature review, the conceptual bases and the objectives. It is indicated a general methodology for meta-analysis procedures. The criteria for the definition of the objectives are presented. The procedures of the systematization and management of bibliographical data base selected to meta-analytic studies are described (selection, code, data filtration). The most common analysis (graph, adjustments) are presented, the choice of the statistical model (a qualitative explanatory factor, a qualitative or quantitative effect), the interference factors and the post-analytic procedures (residual variations, heterogeneity among results). In conclusion, this text shows that meta-analysis is better than traditional methods of literature review for esteeming with more precision the treatments effects adjusting it's for the experimental heterogeneity. However, the meta-analysis requires discipline in the systematization and analysis of the research results.

animal production; literature review; systematization


NUTRIÇÃO DE NÃO RUMINANTES

Meta-análise em pesquisas científicas - enfoque em metodologias

Meta analysis in scientific research: a methodological approach

Lovatto P.A.; Lehnen C.R.; Andretta I.; Carvalho A.D.; Hauschild L.

Universidade Federal de Santa Maria, Departamento de Zootecnia, Campus Camobi, 97119-900, Santa Maria, RS. lovatto@smail.ufsm.br

RESUMO

Este texto descreve os princípios básicos de sistematização com enfoque em meta-análise. É apresentado o estado da arte da meta-análise, recuperando informações de sua evolução e metodologias básicas para sua realização. São descritos seus antecedentes históricos, os limites das abordagens clássicas de revisão de literatura, as bases conceituais, os objetivos e justificativas. É indicada uma metodologia geral para realização da meta-análise. São apresentados os critérios para a definição dos objetivos. São descritos os procedimentos de sistematização das informações e gestão de base bibliográfica de dados destinada aos estudos meta-analíticos (seleção, codificação, filtragem de dados). São apresentadas as análises mais comuns (gráfica, ponderações), a escolha do modelo estatístico (um fator explicativo qualitativo, um efeito qualitativo ou quantitativo), os fatores de interferência, os procedimentos pós-analíticos (variações residuais, heterogeneidade entre resultados). Em síntese, este texto mostra que a meta-análise é superior às formas tradicionais de revisão de literatura por estimar com maior precisão os efeitos dos tratamentos, ajustando-os para a heterogeneidade experimental. No entanto, a meta-análise exige os efeitos na sistematização e análise dos resultados da pesquisa.

Palavras-chave: análise sistêmica, produção animal, revisão de literatura, sistematização

ABSTRACT

This text describes a basic approach of systematization with focus on meta-analysis. It is presented the art state of the meta-analysis, recovering information of its evolution and basic methodologies for its accomplishment. In this text are described the historical antecedents of meta-analysis, the limits of the classic approaches of literature review, the conceptual bases and the objectives. It is indicated a general methodology for meta-analysis procedures. The criteria for the definition of the objectives are presented. The procedures of the systematization and management of bibliographical data base selected to meta-analytic studies are described (selection, code, data filtration). The most common analysis (graph, adjustments) are presented, the choice of the statistical model (a qualitative explanatory factor, a qualitative or quantitative effect), the interference factors and the post-analytic procedures (residual variations, heterogeneity among results). In conclusion, this text shows that meta-analysis is better than traditional methods of literature review for esteeming with more precision the treatments effects adjusting it's for the experimental heterogeneity. However, the meta-analysis requires discipline in the systematization and analysis of the research results.

Key words: animal production, literature review, systematization

1. Introdução

Nas últimas décadas a produção científica mundial evoluiu de forma exponencial. No Brasil, essa evolução foi mais tardia e, embora não tenha sido homogênea, existem áreas onde ela seguiu o comportamento mundial. Essa produtividade científica é resultado do interesse contínuo para o desenvolvimento de novas tecnologias, que instigam à ciência a compreensão cada vez mais detalhada dos mecanismos científicos. Isso fez com que o elevado número de publicações se transformasse num problema para a seleção e análise qualificada da literatura. Mas esse problema é necessário, benéfico e fundamental para a evolução do conhecimento. No entanto, o grande volume de informações pode dificultar a contextualização do problema com erros de interpretação ou análise.

Diante disso, várias alternativas foram sugeridas para analisar e sistematizar as informações. Há mais de duas décadas foi proposta a meta-análise, procedimento que combina resultados de vários estudos para fazer uma síntese reproduzível e quantificável dos dados. Essa síntese melhora a potência estatística na pesquisa dos efeitos dos tratamentos, sendo mais precisa na estimação e tamanho do efeito. A meta-análise permite, em caso de resultados aparentemente discordantes, obter uma visão geral da situação (Boissel et al., 1989; Boissel, 1994; D'Agostino & Weintraub, 1995).

No domínio agrícola, em especial na área animal, o número de meta-análises publicadas tem aumentado nos últimos anos (Lovatto & Sauvant, 2002; Martin & Sauvant, 2002; Offner et al., 2003; Eugêne et al., 2004; Hauptli et al., 2007), sinalizando que esse procedimento possa se tornar rotina nesse campo da ciência. Várias razões podem justificar o ingresso tardio das ciências animais na meta-análise. Algumas delas, mais conceituais, têm origem na estrutura evolutiva da ciência, baseada essencialmente num paradigma cartesiano. Outras resultam de nossa formação educacional, que tem dificuldade em definir e executar planos pedagógicos inter e multidisciplinares. Mas as demandas dos pesquisadores e também dos usuários das tecnologias estão estimulando e forçando o uso de alternativas para metodologias analíticas da literatura que dêem visões globais e quantitativas dos resultados experimentais.

Nesse sentido, a Comissão Organizadora da 44ª REUNIÃO ANUAL DA SBZ inova ao colocar na pauta do evento temas considerados novas metodologias, como a meta-análise. Este texto tem dois objetivos principais. O primeiro é indicar o estado da arte da meta-análise, recuperando informações de sua evolução e metodologias básicas para sua realização. O segundo é de contribuir com o debate sobre metodologias analíticas sistêmicas de literatura em produção animal. Para tanto, apresentaremos inicialmente uma abordagem histórica, na seqüência as razões que justificam a meta-análise, em seguida alguns procedimentos operacionais básicos e, finalmente, as conclusões.

2. Meta-análise: antecedentes históricos

Em 1952, Hans J. Eysenck concluiu que a psicoterapia não tinha nenhum efeito benéfico, o que desencadeou grande debate entre os profissionais dessa área. Vinte anos de pesquisa e avaliação de centenas de estudos não resolveram os problemas levantados por esse debate. Para provar que Eysenck estava errado, Smith & Glass (1977) agregaram estatisticamente resultados de 375 pesquisas em psicoterapia e concluíram que a psicoterapia tem efeitos. Smith e Glass chamaram esse método de meta-análise.

A meta-análise se desenvolveu inicialmente nas ciências sociais, na educação, na medicina e, mais tarde, na agricultura. Os fundamentos da meta-análise são muito anteriores às observações de Smith e Glass. Fisher (1935) afirmou que ao realizar testes de probabilidades independentes, um ou nenhum podem ser significativos, mas a associação deles dá a impressão de que as probabilidades são em geral mais baixas que se fossem obtidas por acaso. Mas desde 1932, Fisher propunha um método para combinar os valores de p. Isso traz à tona a idéia de valores de probabilidade acumulativos. Os primeiros trabalhos que se interessaram pela problemática da combinação dos resultados de várias experimentos independentes foram realizados por Cochran (1954). O método publicado por Mantel & Haenszel (1959) se tornou um dos principais nessa área. Muitos pesquisadores acham que isso serviu como base estatística da moderna meta-análise.

Mas foi recentemente que o interesse pela meta-análise se intensificou. A Figura 1 mostra a evolução nos últimos 26 anos das publicações científicas internacionais (indexadas PubMed) e nacionais (indexadas Scielo) tratando de meta-análise. Em nível internacional houve uma evolução exponencial das publicações, passando de 23 em 1980 para mais de 3.700 em 2006. O cenário nacional não seguiu essa tendência. Os primeiros dois artigos sobre o tema surgiram em 1999 alcançando em 2006 oito publicações.


3. Meta-análise: limites das abordagens clássicas

Um dos artigos que melhor discute as razões do uso da meta-análise foi publicado por Sauvant et al. (2005). Por ser aplicado diretamente às ciências animais, nosso texto utiliza esse artigo como referência mais importante. Nele os autores reiteram que na transformação de resultados de pesquisa em um conhecimento utilizável, um único experimento não pode ser conclusivo para uma inferência. Isso porque os resultados de um experimento refletem as condições experimentais. Embora as metodologias do experimento sejam estabelecidas para que os resultados amostrais possam ser extrapolados à população, a comunidade científica geralmente confirma os primeiros resultados através de experimentos adicionais. Dessa forma, para um mesmo assunto, dezenas, ou até mesmo centenas de experimentos são realizados.

4. Meta-análise: bases conceituais

Métodos tradicionais de revisão têm como objetivo extrair informações de trabalhos publicados com ou sem (mais comum) análises estatísticas. Quando são realizadas análises estatísticas, os testes usados às vezes não são adequados por serem dependentes do tamanho da amostra. Isso pode fazer com que resultados não significativos não tenham mesmo peso que os significativos. A meta-análise muda o enfoque, a direção e a magnitude dos efeitos entre os estudos. Outro aspecto crítico das revisões tradicionais é que elas ignoram as diferenças de condições experimentais aplicadas entre os estudos. Isso evidencia que, sem o ajuste dessas diferenças através de ferramentas apropriadas, os resultados não serão compilados na base de dados de forma coerente e confiável (Anello & Fleiss, 1995). A variabilidade observada inter-experimentos é, normalmente, atribuída à variação aleatória (Victor, 1995). A meta-análise possibilita uma estimativa imparcial do efeito de tratamento, com um aumento da precisão. Devido aos efeitos conflitantes, os estudos individualizados produzem estimativas de associações que divergem de abordagens mais sistêmicas. A consideração completa de heterogeneidade entre estudos, em particular de possíveis fontes de variação, permite um cálculo mecanicista de uma medida global de efeito.

5. Meta-análise: objetivos e justificativas

5.1. Obter novos resultados

A meta-análise pode evidenciar um efeito de um tratamento que, individualmente, não permite estabelecer conclusões por falta de potência analítica (baixo n). Nesta situação, a meta-análise melhora o poder analítico do modelo, aumentando as chances de evidenciar diferenças entre os tratamentos (caso existam). Porém, o reagrupamento de vários tratamentos de n reduzido não garante que a meta-análise gere resultados conclusivos. É desejável que os artigos utilizados tenham um desenho experimental correto, sobretudo com relação às repetições. Existem casos onde uma meta-análise positiva não foi confirmada por experimentos subseqüentes. A meta-análise representa um meio muito interessante para justificar a necessidade de um experimento (Fagard et al., 1996).

5.2. Síntese de resultados contraditórios

Em certos domínios, os dados disponíveis para uma decisão são constituídos por certo número de tratamentos conclusivos e por alguns tratamentos não conclusivos. Essa situação pode se explicar por um tamanho insuficiente da amostra ou n. A meta-análise permite fazer uma síntese dos dados contraditórios por menor que seja sua potência analítica.

5.3. Aumento da precisão analítica

O reagrupamento de vários experimentos induz a uma melhor precisão na avaliação do tamanho do efeito do tratamento. Isso se deve a uma análise fundamentada em uma quantidade maior de informação, acompanhada do aumento de comparações entre temas.

5.4. Melhor representatividade

A avaliação oriunda da meta-análise se aproxima mais ao efeito da aplicação prática do tratamento. Considerados individualmente, cada trabalho foi realizado com vários cuidados específicos. Muitas vezes esses cuidados experimentais estão distantes do conjunto da população. Reagrupando os tratamentos com características diferentes, a meta-análise permite ajustar (ou corrigir) a média geral dos estudos aos fatores de variação. O efeito do tratamento é avaliado levando em conta diferentes condições, o que aumenta sua aplicabilidade para a população.

5.5. Ajuda para a planificação e geração de hipótese nova

A meta-análise pode ser realizada em diferentes momentos da definição do problema, da questão a ser respondida e de um novo dispositivo experimental. Durante a fase de planificação de um novo experimento, a meta-análise fornece os meios para fazer uma síntese do conhecimento adquirido sobre o tema. Ela permite assim reforçar a hipótese de que o tratamento produz um efeito. Os resultados obtidos facilitarão o cálculo do número de repetições. A meta-análise pode identificar hipóteses diferentes das que motivaram os experimentos incluídos na meta-análise. É necessário observar com cuidado a validação de uma hipótese através de dados que serviram para gerar a mesma hipótese.

6. Meta-análise: natureza de dados e dos fatores

Os dados avaliados por meta-análise podem ser de natureza qualitativa, expressos, por exemplo, por um código tipo [0-1]. Eles também podem ser expressos em forma de percentagem, de sobrevivência ou, o mais comum em nosso domínio, de dados quantitativos resultantes de medidas sobre indivíduos, de tecidos ou de produtos. A questão da natureza dos fatores estudados em meta-análise é importante por considerar e tratar a heterogeneidade entre tratamentos e/ou experimentos. O fator publicação ou experimento é considerado como um efeito aleatório se cada amostra for tida como uma representação de uma população maior. Neste contexto, diferenças entre experimentos são resultados da variabilidade da amostragem aleatória e o objetivo é em geral controlar a variabilidade deste fator.

Trata-se de um efeito fixo se cada experimento ou grupo de experimentos vem de uma população diferente. Nesse caso, as modalidades podem ser escolhidas pela comunidade de pesquisadores. Nessa condição, o objetivo principal é classificar e explicar essas modalidades. Se o objetivo é obter uma lei geral de resposta a uma prática, é conveniente verificar se os experimentos agrupados são representativos dos vários contextos nos quais as práticas em questão serão aplicadas. Este último aspecto é importante, mas às vezes negligenciado. Ao sistematizar o tema, busque um efeito fixo que permita classificar esses contextos.

7. Meta-análise: dificuldades do tratamento das bases de dados

A base de dados se apresenta em geral em linhas (tratamentos, lotes, tipos experimentais) e em colunas (medidas e codificações). Um dos maiores problemas é que a planilha pode conter células vazias, o que reduz os recursos analíticos descritivos multidimensionais e obriga a avançar por uma abordagem uni ou bidimensional. Esta última abordagem é freqüente em meta-análise para estudar os pares (variável explicada - variável explicativa). Por outro lado, o meta-dispositivo experimental constituído por uma base de dados agrupada, nunca é organizado com antecedência, não sendo clássico, equilibrado ou ortogonal (Sauvant et al., 2005). Além disso, na maioria das situações tratadas por meta-análise, a variabilidade entre os tratamentos é mais importante que aquela induzida experimentalmente dentro dos tratamentos. Somado a isso, as relações existentes entre duas variáveis não são idênticas entre e dentro dos tratamentos. Nessa situação, a questão que se apresenta é se a relação inter ou intra-tratamentos tem um alcance mais geral.

8. Meta-análise: procedimentos

Alguns procedimentos (Figura 2) constituem as boas práticas e compõem a engenharia da meta-análise, devendo ser aplicados do modo mais rigoroso possível.


8.1. Definição do objetivo

O tema da pesquisa pode ser determinado através de variáveis dependentes, independentes ou comumente pesquisadas. Nesse contexto, é fundamental relacionar as causas e efeitos das variáveis. Antes de tudo, é necessário definir um objetivo de pesquisa, uma problemática, quem é a pessoa essencial para definir as fases seguintes e, em particular, a codificação, filtragem, a ponderação dos dados e o modelo estatístico. Nós podemos ter objetivos mais ou menos focados, fazendo um estudo exploratório do tipo vigilância bibliográfica. Mas sempre são os objetivos que determinam todo o processo meta-analítico.

8.2. Sistematização das informações

Toda a meta-análise é baseada na sistematização de um conjunto de dados obtidos principalmente da literatura científica. Em situações especiais os dados podem ser obtidos de experimentos não publicados. A construção da base de dados depende da organização lógica das informações descritas no material bibliográfico. Em vista da disponibilidade de dados, é necessário limitar a pesquisa bibliográfica no espaço (amplitude geográfica) e tempo (período de inclusão dos artigos). Utilize as definições operacionais das variáveis, a qualidade dos artigos, os participantes e o desenho experimental. A busca pode ser em bases digitais (ex. portal Periódicos Capes). Selecione o conjunto final de artigos, faça individualmente e não exclua artigos não significativos. Os dados a serem extraídos dependem dos objetivos, mas é importante elaborar um formulário de extração de dados (principalmente informações do material/métodos e resultados). Não é ideal ter critérios pré-determinados para inclusão e exclusão de artigos. É desejável que esses critérios sejam desenvolvidos à medida que se interage com a literatura. Para incluir ou excluir artigos de baixa qualidade se parte do pressuposto que todos os resultados possam ter erros potenciais (qualidade metodológica).

Um cuidado especial deve ser observado quanto à máxima incluímos estudos publicados porque foram revisados. Resultados significativos serão publicados mais que os não significativos. É difícil tentar identificar e recuperar todos os experimentos onde se conheçam os critérios de elegibilidade. As fontes potenciais para identificação de documentos são bases de dados bibliográficas informatizadas, autores que trabalham no mesmo tema de pesquisa, programas de conferência, dissertações, revisão de artigos, procura manual de periódicos relevantes, relatórios, entre outros.

8.3. Codificação de dados

A primeira fase essencial de um trabalho meta-analítico é a codificação dos dados das publicações incluídas na base. Torna-se necessário também codificar por objetivo experimental anunciado e avaliado em cada publicação. Isso nos remete a definir tantos códigos quanto os objetivos experimentais agrupados na base. Essas codificações são indispensáveis para interpretar os dados considerando os vários objetivos experimentais. Existem situações onde é necessário discretizar uma variável contínua transformando-a, de acordo com o objetivo, em uma variável discreta. Essa variável terá n modos em uma só coluna, ou várias colunas de n modos (codificando 0-1). Essa codificação permite localizar, ou considerar estatisticamente, as modalidades dos fatores experimentais, as características principais, um tipo de medida, equipe de pesquisa, etc. Na prática é importante incluir na base todas as informações disponíveis que são aplicáveis aos objetivos da pesquisa.

8.4. Filtragem dos dados

A qualidade dos resultados da meta-análise se deve também a filtragem dos dados, que se desenvolve em três fases. A primeira consiste em assegurar que uma publicação candidata para a entrada na base tenha coerência com os objetivos do trabalho. Uma vez selecionada, a publicação deve ser explorada exaustivamente através de uma leitura crítica e eventuais erros devem ser anotados. Embora óbvio, esse trabalho deve ser realizado por pessoas que tenham conhecimento suficiente no tema. Não é possível terceirizar essa tarefa a membros da equipe sem treinamento prévio. Nossa experiência tem demonstrado que os doutorandos e mestrandos podem, após uma formação completa, realizar adequadamente essa tarefa. No caso de graduandos, é necessário que os mesmos tenham capacidade de análise e interpretação sistêmica das informações.

Depois disso, se a publicação for aceita, seus dados são transferidos, com precaução para evitar enganos de transcrição, para a base de dados. Após a inserção da publicação na base de dados, é importante considerar no conjunto das características gerais e das relações da base, se a mesma não apresenta um comportamento anormal. Se for o caso, a publicação deve ser deixada de lado sem ser eliminada definitivamente, pois pode ser novamente consultada no decorrer de trabalho.

8.5. Análise dos dados

8.5.1. Gráfica

A análise gráfica de dados representa uma fase essencial de uma meta-análise. Essa análise permite, pela visualização das representações gráficas, identificar rapidamente as informações e relações importantes. Essa abordagem é muito útil porque nos dá uma idéia inicial e geral da heterogeneidade e coerência dos dados sobre a natureza e a importância das relações inter ou intra-experimentos. A análise gráfica sistemática dos dados permite também estabelecer hipóteses ou clarear pontos-chave para a escolha de um modelo estatístico. Ela permite ainda identificar rapidamente, devido a codificação de dados, indivíduos ou experimentos que apresentam condição particular ou aberrante. A análise gráfica pode também identificar a existência de não linearidade e de interações e localizar nos dados explorados experimentalmente as zonas possível e plausível de mesmas variações. Ela permite ainda estimar valores de variáveis para qual o esforço da pesquisa foi maior.

8.5.2. Do meta-dispositivo experimental

É necessário conhecer o meta-dispositivo constituído pela estrutura dos experimentos para cada característica explicativa. Para isso, diferentes procedimentos devem ser aplicados antes e depois da análise estatística.

No caso de uma variável explicativa, é útil codificar os tipos e freqüências dos diferentes dispositivos experimentais aplicados. Esse conhecimento pode ser essencial para certas fases da interpretação. Histogramas do conjunto de tratamentos e de experimentos sobre a variável explicativa dão uma idéia da distribuição do esforço de pesquisa. É importante também considerar as variações intra-experimentos das variáveis explicativas. Variações intra-experimentos de amplitudes muito pequenas não são interessantes para obter leis de resposta intra. Outro aspecto importante é saber se existe ou não, um efeito significativo do experimento sobre as características tratadas como variável explicativa. No caso de efeito significativo, é necessário prestar atenção sobre o procedimento estatístico para estudar um efeito intra-experimento, pois não existe correlação entre efeitos intra e inter-experimentos.

No caso de duas ou mais variáveis explicativas a serem incluídas no mesmo modelo, é sugerido examinar, gráfica e estatisticamente, as relações globais, inter e intra-experimentos. Isso permite observar o grau de independência entre estas variáveis e a possibilidade de interpretar independentemente coeficientes de regressão.

8.5.3. Ponderações

Os experimentos agrupados numa meta-análise são freqüentemente muito variados em relação a critérios como o número de animais, dispositivo experimental e variação residual (desvio padrão) após o tratamento estatístico. É necessário considerar essa diversidade no momento da análise. É conveniente, então, considerar a escolha do sistema de ponderação de experimentos. Globalmente temos dois tipos de ponderações.

As ponderações justificadas pela teoria estatística: no modelo linear geral e onde as variâncias das observações são diferentes e conhecidas, os estimadores do máximo de veros-similhança são obtidos ponderando cada observação pelo inverso da variância do resultado do experimento i, ou seja, (ni/Sri2), onde ni é o número de observações individuais da qual obtivemos a média. Outras ponderações i usam o inverso da variância residual (1/Sri2) ou o desvio padrão residual (1/Sri), ou novamente a raiz quadrada/Sr). Mas a aplicação dessas ponderações apresenta a inconveniência de modificar os valores de parâmetros (desvio padrão residual....) tornando difícil o interesse estatístico de uma ponderação. Para evitar isso, ST-Pierre (2001) propôs a divisão de cada ponderação pelo valor do conjunto para obter parâmetros que possuam a mesma escala. Esta necessidade depende do software utilizado. Por exemplo, com a opção weight do SAS, há normalização automática de ponderações para que a soma seja igual a um.

Nas ponderações de acordo com outros critérios considera-se, por exemplo, a força do experimento (quer dizer a capacidade de evidenciar um efeito cuja amplitude é definida a priori) ou até mesmo a duração da experimentação. É também desejável considerar, por ponderação, uma nota de avaliação global, parcialmente subjetiva, da qualidade do experimento após a leitura crítica da publicação. Esta qualidade deve ser avaliada de acordo com uma grade elaborada por um ou vários especialistas do tema considerado. Mas o interesse da ponderação diminui quando o número de experimentos considerados aumenta (Sauvant et al., 2005).

Outra questão recorrente sobre esse tema é saber se é mais oportuno ponderar uma experimentação ou os tratamentos que correspondem em geral aos resultados médios de um lote de animais. Realmente, uma parte heterogênea, rejeitada pelos autores da publicação baseada num teste de homogeneidade, de homocedacidade ou variância, pode ser analisada adequadamente por meta-análise. Porém, para ser realizado, esse procedimento pressupõe o conhecimento das variações intra de cada tratamento ou lote. Infelizmente, essa informação raramente está disponível nas publicações.

Outro aspecto que merece reflexão na aplicação de ponderações é a relevância da escolha de um dispositivo experimental em relação a um objetivo científico. Para muitas variáveis de difícil medida, o dispositivo experimental geralmente aplicado em animais é o quadrado latino. A vantagem deste dispositivo é usar um número reduzido de animais, controlar a variância individual, ter coeficientes de variação baixos e maior poder analítico. Por outro lado, pela evolução fisiológica dos animais, os períodos experimentais aplicados são, em geral, bastante curtos. Isso significa que os efeitos testados podem dar informação unicamente sobre modificações passageiras consideradas durante prazo limitado. Isso levanta a questão da validade do processo de inferência. Podemos nos questionar sobre a relevância dos dispositivos experimentais fornecendo algumas variações residuais mais elevadas, envolvendo mais animais e aumentando a duração experimental.

8.5.4. Escolha de um modelo estatístico

A variável resposta pode ser contínua ou discreta. Como a meta-análise se desenvolveu historicamente em ciências da educação, depois em medicina, com variáveis respostas binárias, nosso interesse é somente para variáveis respostas contínuas que são a maioria de nossas situações. No caso de variável resposta binária (doente/sadio) é utilizado o modelo linear generalizado. Como o problema do viés de publicação é onipresente em medicina, há tendência geral de se publicar artigos que mostrem efeitos significativos. Se dois estudos sobre o mesmo tema são realizados por equipes diferentes, um pode observar presença e o outro ausência de efeito significativo. O estudo com efeito positivo tem mais chances de ser publicado, mesmo que aquele com efeito negativo tenha qualidade semelhante. Dessa forma, a meta-análise que selecionar somente artigos publicados vai sofrer esse viés. Isso não é comum em estudos de produção animal, pois as pesquisas buscam a quantificação do efeito e não unicamente provar sua existência. De maneira geral há duas situações, dependendo se a variável resposta é dependente de um fator qualitativo ou quantitativo.

8.5.5. Caso de um fator explicativo qualitativo

O modo mais simples para analisar os dados é aplicando um modelo estatístico de análise de variância:

Onde: Yij é a variável resposta; βi efeito do tratamento; αj fator experimental que pode ser fixo ou aleatório; (βα)ij efeito da interação tratamento x estudo, fixo ou aleatório; eij variação residual.

Nesse modelo as observações podem ou não ser ponderadas. Métodos alternativos foram propostos para integrar esses diferentes aspectos num único teste global de significância, mas parece que eles são menos poderosos que o modelo linear ponderado descrito anteriormente.

8.5.6. Caso de um fator explicativo quantitativo

No contexto de pesquisa de uma lei de resposta Y = f (X), ST-PIERRE (2001) propôs o ajuste dos resultados de n experimentos (i = 1 a n) e m tratamentos (j = 1 a m) por um modelo estatístico do tipo análise de variância-covariância:

Onde: Yij: variável resposta, tratamento j do experimento j; Bo: termo constante, geralmente considerado como um efeito fixo; si: ordenada à origem aleatória dos experimentos i; B1: coeficiente de regressão geral Y sobre X (efeito fixo); Xij: variável explicativa quantitativa; bi: efeito aleatório do experimento i sobre o coeficiente de regressão de Y sobre X. eij: erro aleatório. ST-Pierre (2001) simulou um conjunto de dados correspondendo a esse modelo e mostrou a necessidade de fazer uma análise da relação intra-experimento e não global (integrando todas as observações sem distinção).

8.5.7. Escolha entre um efeito qualitativo ou quantitativo

O debate antigo bloco ou covariável pode ser aplicado em certos controles de efeito intra-experimento. Se este corresponde a um critério quantitativo com senso concreto, ele pode ser melhor controlado por covariável. É o caso, por exemplo, do reagrupamento de experimentos realizados com animais em crescimento com diferenças importantes entre eles de estágio de crescimento. Neste caso, é indicado utilizar o peso vivo como critério de controle da variação inter-experimentos.

8.5.8. Considerando os fatores de interferência

Os fatores de interferência são as variações das condições aplicadas inter-experimentos suscetíveis de modular à resposta de um tratamento. Esses fatores podem ser de natureza quantitativa ou qualitativa, não necessariamente conhecidos a priori. No primeiro caso, é importante estudar a (s) resposta (s) considerada (s) em função dos valores do fator interferente (estudo da interação se o número de graus de liberdade permite). É comum que a resposta de critério explicado dependa do valor da testemunha desse critério ou do valor da variável explicativa.

8.5.9. Procedimentos pós-analíticos

Após a aplicação de um modelo estatístico de ajuste de dados, é conveniente realizar diferentes procedimentos pós-analíticos. Eles permitem conhecer melhor certos limites da análise realizada e saber se são necessárias algumas análises complementares.

8.5.9.1.A estrutura das variações residuais

Após a análise, é importante estudar a distribuição de resíduos (eij). Eles devem seguir uma lei normal, o que pode ser testado através de métodos disponíveis como os testes dos Qui2, de Shapiro-Wilks e gráficos. Os desvios studentizados muito elevados (>3, de acordo com o número de observações no estudo) podem ser considerados como aberrantes. No caso de uma meta-análise, a exclusão de lotes (ou tratamentos) pela análise dos desvios studentizados pode "mutilar" um experimento obrigando sua exclusão completa da interpretação. Dessa forma, é necessário avaliar adequadamente as conseqüências da exclusão de um tratamento. Finalmente, é necessário examinar as possíveis relações inter ou intra-experimento que poderiam aparecer entre os resíduos e as variáveis explicativas. Exemplos práticos de análise residual podem ser observados nos trabalhos de Martin & Sauvant (2002) e Offner et al. (2003).

8.5.9.2. Heterogeneidade entre resultados de estudo

Se os resultados dos estudos diferem muito, talvez não seja adequado combiná-los. O desafio é a forma de medir essa adequação. Nesse sentido, uma alternativa é examinar estatisticamente o grau de semelhança nos resultados dos estudos (testar a heterogeneidade). Observar se nesses procedimentos os resultados de um estudo reflete um único efeito subjacente em lugar de uma distribuição de efeitos. Se este teste mostra resultados homogêneos, as diferenças entre estudos são assumidas como conseqüências da variação do teste, sendo indicado um modelo de efeitos fixos. Porém, se os testes mostrarem heterogeneidade significativa, um modelo com efeitos aleatórios é necessário. Uma limitação principal dessa abordagem é a falta de poder dos testes estatísticos (eles freqüentemente não rejeitam a hipótese nula de resultados homogêneos mesmo com diferenças significativas entre estudos). Embora não exista nenhuma solução estatística para isso, a heterogeneidade entre resultados experimentais não deveria ser vista como um problema para a meta-análise.

9. Conclusões

A meta-análise é superior às formas tradicionais de revisão de literatura. Ela estima com maior precisão o efeito dos tratamentos, ajustando-os para a heterogeneidade experimental.

A meta-análise permite produzir informação útil com custos reduzidos.

A meta-análise é uma ferramenta importante para mostrar áreas onde a evidência disponível é insuficiente e onde são necessários novos estudos.

A meta-análise exige disciplina no processo de sistematizar os resultados da pesquisa.

10. Referências

Correspondências devem ser enviadas para: lovatto@smail.ufsm.br

  • ANELLO, C.; FLEISS, J.L. Exploratory or analytic meta-analysis: Should we distinguish between them? Journal of Clinical Epidemiology, v.48, n.1, p.109-116, 1995.
  • BOISSEL, J.P. Méta-analyse des essais cliniques; intérêts et limites. Archives des Maladies du Coeur et des Vaisseaux, v.87, n.IV, p.11-17, 1994.
  • BOISSEL, J.P.; BLANCHARD, J.; PANAK, E.et al. Considerations for the meta-analysis of randomized clinical trials. Summary of a panel discussion. Controlled Clinical Trials, v.10, p.254-281, 1989.
  • COCHRAN, W.G. The combination of estimates from different experiments. Biometrics, v.10, p.101-129, 1954.
  • D'AGOSTINO, R.B.; WEINTRAUB, M. Meta-analysis: A method for synthesizing research. Clinical Pharmacology an Therapeutics, v.58, p.605-616, 1995.
  • EUGÈNE, M.; ARCHIMÈDE, H.; SAUVANT, D. Quantitative meta-analysis on the effects of defaunation of the rumen on growth, intake and digestion in ruminants. Livestock Production Science, v. 85, p.81-97, 2004.
  • FAGARD, R.H.; STAESSEN, J.A.; THIJS, L. Advantages and disadvantages of the meta-analysis approach. Journal of Hypertension, v.14, n.(S2), p.S9-S13, 1996.
  • FISHER, R.A. The disign of experiments Edinbourgh: Oliver and Boyd, 1935. 260p.
  • HAUPTLI, L.; HAUSCHILD, L.; LOVATTO, P. A. Adição de extratos vegetais e antimicrobianos de síntese para leitões na creche: Estudo meta-analítico. Ciência Rural, v.7, in press, 2007.
  • LOVATTO, P.A.; SAUVANT, D. Méta-analyse et modélisation de l'ingestion volontaire chez le porc en croissance. Journées Rech. Porcine en France, v.34, p.129-134, 2002.
  • MANTEL, N.; HAENSZEL, W.M. Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, v.22, p.719-748, 1959.
  • MARTIN, O.; SAUVANT, D. Meta-analysis of input/output kinetics in lactating dairy cows. Journal Dairy Science, v. 85, p.3363-3381, 2002.
  • OFFNER, A.; BACH, A.; SAUVANT, D. Quantitative review of in situ starch degradation in the rumen. Animal Feed Science and Technology, v.106, n.1-4, p.81-93, 2003.
  • SAUVANT, D.; SCHMIDELY, P.; DAUDIN, J.J. Les méta-analyses des données expérimentales: Applications en nutrition animale. INRA Productions Animales, v.8, n.1, p.63-73, 2005.
  • SMITH, M.L.; GLASS, G.V. Meta-analysis of psychotherapy outcome studies. Am Psichol, v.32, n.9, p.752-760, 1977.
  • ST-PIERRE, N.R. Invited review: Integrating quantitative findings from multiple studies using mixed model methodology. J Dairy Sci, v.84, p.741-755, 2001.
  • VICTOR, N. "the challenge of meta-analysis": Discussion. Indications and contra-indications for meta-analysis. Journal of Clinical Epidemiology, v.48, n.1, p.5-8, 1995.

Datas de Publicação

  • Publicação nesta coleção
    05 Ago 2008
  • Data do Fascículo
    Jul 2007
Sociedade Brasileira de Zootecnia Universidade Federal de Viçosa / Departamento de Zootecnia, 36570-900 Viçosa MG Brazil, Tel.: +55 31 3612-4602, +55 31 3612-4612 - Viçosa - MG - Brazil
E-mail: rbz@sbz.org.br