Como avaliar criticamente revisões sistemáticas e metanálises?

How to critically assess systematic reviews and meta-analyses?

SÉRIE: MEDICINA BASEADA EM EVIDÊNCIAS E TERAPIA INTENSIVA

Como avaliar criticamente revisões sistemáticas e metanálises?^*

How to critically assess systematic reviews and meta-analyses?

Otávio Berwanger^I; Erica Aranha Suzumura^II; Anna Maria Buehler^II; João Bosco Oliveira^III

^IDiretor do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) – São Paulo, SP

^IICoordenadora de Pesquisa Clínica do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) – São Paulo, SP

^IIIMédico Pesquisador do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) – São Paulo, SP

^{Endereço para correspondência}

RESUMO

JUSTIFICATIVA E OBJETIVOS: Revisões sistemáticas são ferramentas importantes no fornecimento de evidências para tomada de decisão na prática da Terapia Intensiva. O objetivo deste estudo foi descrever os elementos importantes na avaliação crítica das revisões sistemáticas existentes em Terapia Intensiva.

CONTEÚDO: Na avaliação crítica da revisão sistemática, é necessário que o intensivista atente para a estruturação da questão a ser respondida, a estratégia de busca utilizada, os critérios de inclusão e a qualidade metodológica dos estudos incluídos, e como foram extraídos os dados levantados. Além disso, uma revisão sistemática relevante deve apresentar resultados consistentes (caso tenha sido realizada metanálise) ou a causa de heterogeneidade deve ter sido explorada, e os resultados devem ser aplicáveis no paciente crítico.

CONCLUSÕES: Para o correto emprego da evidência científica disponível, é necessário que o intensivista avalie criticamente a qualidade dos dados apresentados nas revisões sistemáticas, selecionando as informações relevantes para o manuseio do paciente crítico.

Unitermos: avaliação crítica da literatura, metanálise, revisão sistemática

SUMMARY

BACKGROUND AND OBJECTIVES: Systematic reviews are important knowledge generating tools to help the decision making process in the Critical Care Unit. This narrative aims to describe the important elements used to critically appraise intensive care-related systematic reviews.

CONTENTS: When critically assessing systematic reviews, one should pay particular attention to the importance and appropriateness of the research question, the search strategy, the inclusion criteria and methodological quality of the studies included, and the methods of data extraction. In addition, a relevant systematic review must have consistent data (in case of a meta-analysis) or the cause of the heterogeneity must have been adequately explored, and results must be applicable in critical patients.

CONCLUSIONS: To apply correctly the available scientific evidence, one should critically assess data quality of systematic reviews, selecting the relevant information to manage the critically ill patient.

Key words: critical appraisal, meta-analysis, systematic review

INTRODUÇÃO

A revisão sistemática é um dentre os diversos tipos de delineamento de pesquisa, sendo importante fonte de evidências para tomada de decisão na prática da Terapia Intensiva. Entretanto, nem toda revisão sistemática fornece dados robustos e confiáveis. Para o correto emprego da evidência científica disponível, é necessário que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revisões sistemáticas, selecionando, dessa maneira, as informações relevantes para o manuseio do paciente crítico. Com o intuito de fornecer subsídios para avaliação crítica de revisões sistemáticas e metanálises existentes em Terapia Intensiva.

O objetivo deste estudo foi descrever os elementos importantes na avaliação crítica das revisões sistemáticas existentes em Terapia Intensiva.

POR QUE AS REVISÕES SISTEMÁTICAS SÃO NECESSÁRIAS?

As revisões sistemáticas identificam, dentre os inúmeros estudos publicados sobre determinado tema, aqueles com superior qualidade metodológica, cujos resultados podem ser utilizados na prática médica. Além disso, como resultados conflitantes freqüentemente emergem de estudos diferentes abordando a mesma questão e estudos individuais raramente possuem poder estatístico suficiente para fornecer respostas definitivas, as revisões sistemáticas têm grande importância como ferramenta de investigação científica para a tomada de decisão, com custos bem menores do que os exigidos para a realização de estudos de larga escala^1-3.

O que são Revisões sistemáticas?

Revisões sistemáticas são investigações científicas, com metodologia definida "a priori" por um protocolo, empregando estudos originais como sua "população"^4,5. Seu objetivo é sintetizar os resultados de estudos primários utilizando estratégias que diminuam a ocorrência de erros aleatórios e sistemáticos. Por exemplo, pode-se ter uma revisão sistemática de estudos aleatorizados que compararam o efeito de colóides e cristalóides em pacientes internados em Centros de Terapia Intensiva (CTI). Entretanto, as revisões sistemáticas não se restringem a estudos de tratamento, podendo abranger estudos observacionais, prognósticos e diagnósticos, entre outros¹.

Qual a Diferença entre Revisão Sistemática Quantitativa e Qualitativa?

Revisões sistemáticas podem ser classificadas em quantitativas ou qualitativas. As revisões sistemáticas quantitativas lançam mão de métodos estatísticos para sumarizar os resultados dos estudos primários sob um único parâmetro clínico-epidemiológico [como odds ratio (OR), risco relativo (RR), número necessário para tratar (NNT), sensibilidade, likelihood ratios, entre outros]. A combinação estatística dos resultados de diversos estudos é denominada metanálise. As revisões qualitativas, por sua vez, apresentam os resultados dos estudos de forma conjunta, mas sem sumarizá-los¹. As revisões sistemáticas com metanálises, de um modo geral, possuem maior relevância clínico-epidemiológica que as revisões qualitativas, contudo, fatores como heterogeneidade e inconsistência nos resultados podem impedir a união dos diferentes estudos sob uma única medida, inviabilizando a realização de uma metanálise¹.

Quais as Diferenças entre Revisão Sistemática e Revisão Tradicional?

Diferentemente das revisões sistemáticas, os artigos tradicionais de revisão, atualmente denominados revisões narrativas, são simples revisões da literatura, formatadas semelhantemente a capítulos de livro e que geralmente abordam temas de forma ampla e sem metodologia de seleção pré-estabelecida, não sendo considerados estudos originais^1,6-9.

COMO AVALIAR CRITICAMENTE UMA REVISÃO SISTEMÁTICA?

Para decidir se o resultado de uma revisão sistemática possui validade e aplicabilidade, o intensivista deve estar preparado para avaliá-la quanto à qualidade metodológica, a importância dos resultados e aplicabilidade^1,2. Os princípios para avaliação crítica de uma revisão sistemática estão descritos no quadro 1.

O ESTUDO POSSUI VALIDADE INTERNA?

A Revisão Sistemática Delimita uma Questão Clínica Estruturada e Focada?

Para a realização de uma revisão sistemática de qualidade, é necessária a formulação de uma questão científica estruturada. Os autores devem definir o tipo de paciente, intervenção, comparação e objetivo. Esse formato de questão, também utilizado na Medicina Baseada em Evidências, tem o acrônimo PICO (Paciente, Intervenção, Comparação, Objetivos)^10-12. Por exemplo: "Em pacientes criticamente enfermos (P), os colóides (I) são superiores aos cristalóides (C) em reduzir a mortalidade (O)?".

Foi Realizada uma Estratégia de Busca Abrangente?

Idealmente, uma revisão sistemática deve reunir toda a evidência existente referente a um assunto¹. A estratégia de busca e seleção deve ser definida antes da consulta aos diferentes bancos de dados. Uma revisão sistemática adequadamente delineada deve evitar o uso de apenas um banco de dados (p. ex.: MedLine), que pode não conter todos os artigos publicados sobre o tema. É fundamental a consulta a outras bases como CENTRAL (Registro de ensaios clínicos aleatórios da Cochrane Collaboration), EMBASE (Excerpta Medica Database), LILACS (Literatura Latino-Americana e do Caribe em Ciências da Saúde), e a verificação das referências citadas em artigos originais e de revisão sobre o tema². Além disso, deve-se minimizar o viés de publicação – que ocorre quando o número de estudos publicados não é representativo do total de estudos sobre o tema – tentando-se identificar estudos não-publicados nas bases de dados de teses de Mestrado e Doutorado das principais universidades ou em bases digitais, nos resumos apresentados em congressos, e em consultas à especialistas². Acredita-se que apenas 1/3 das metanálises incluíram estudos com resultados negativos publicados em jornais de menor circulação ou não publicados (chamados "grey literature")^13-15. A exclusão destes estudos nas metanálises pode levar a estimativas exageradas da efetividade de uma intervenção¹⁵.

Os Critérios de Inclusão e Exclusão dos Estudos foram Definidos a Priori?

Os critérios de inclusão e exclusão devem ser descritos e rigorosamente seguidos. Dessa forma, o intensivista pode decidir se os resultados possuem relevância e aplicabilidade na sua prática diária^16,17. De modo geral, estabelece-se a priori o tipo de paciente/condição clínica a ser estudado, o tipo de estudo a ser incluído, o tipo de intervenção, o tipo de controle, o tipo de desfecho e o período de publicação². Não é aconselhável que a revisão sistemática abranja, dentre os critérios de inclusão, aspectos de qualidade metodológica dos estudos, visto que os mesmos serão explorados posteriormente na análise¹⁶.

Os Autores Avaliaram a Qualidade Metodológica dos Estudos Incluídos na Revisão Sistemática?

Além da busca incompleta de estudos, outro problema comum nas revisões sistemáticas é a inclusão de estudos de baixa qualidade, que pode comprometer a confiabilidade nos resultados da revisão^16,18,19. Quando resultados de estudos primários de baixa qualidade metodológica são utilizados, a eficácia clínica e estatística de determinadas intervenções pode ser falsamente exagerada^20,21. Dessa forma, após inclusão, durante a fase de análise dos resultados, todo estudo terá sua qualidade metodológica avaliada conforme descrito adiante^2,21-23.

Os Autores Realizaram um Processo de Extração de Dados Padronizado e sem Vieses?

Outro aspecto importante a ser observado é se durante a extração dos dados os revisores estavam cegos quanto aos periódicos onde os estudos foram publicados, os autores e os resultados^24-26. Ainda, os formulários de coleta de dados devem ser padronizados e elaborados previamente ao levantamento dos estudos, a fim de garantir que os dados não foram definidos de forma post hoc, pois a exploração das informações em um busca de resultado favorável à hipótese dos autores pode gerar falso-positivos².

OS RESULTADOS GERADOS PELA REVISÃO SISTEMÁTICA SÃO IMPORTANTES?

Os Autores Realizaram Metanálise? Se SIM, qual foi a Estimava de Efeito Conjunto? Os Achados foram Precisos?

A metanálise é uma abordagem estatística que combina resultados de estudos relevantes para responder uma questão²⁷. A importância da metanálise consiste primariamente em sintetizar as evidências disponíveis, e apontar áreas onde há necessidade de mais pesquisas^3,28. Em uma metanálise, métodos estatísticos são utilizados para sumarizar os resultados de diversos estudos em uma única medida denominada, genericamente, estimativa de efeito conjunto²⁹.

Não é necessário conhecer detalhadamente os métodos estatísticos, porém, familiarizar-se com alguns conceitos pode facilitar a interpretação dos dados. Simplificadamente, os métodos utilizados são:

• Parâmetro clínico-epidemiológico de sumarização dos resultados;

• Método de quantificação da contribuição dos estudos para análise.

Na utilização do parâmetro clínico-epidemiológico, deve-se primeiramente determinar se os dados são binários (sim/não, presente/ausente, etc.) ou contínuos (pressão arterial, peso, etc.). Variáveis binárias podem ser combinadas em medidas como OR, RR, e NNT. Tanto o OR como o RR são medidas de eficácia da intervenção, já o NNT informa o impacto clínico. Dados contínuos podem ser sumarizados em médias entre os grupos.

Em metanálise de estudos diagnósticos, os resultados podem ser sumarizados como sensibilidade, especificidade e likelihood ratios. Em metanálise de estudos observacionais, os resultados são sumarizados como RR e OR. Já as de estudos prognósticos utilizam hazard ratio e medidas de tempo para um evento³⁰.

Quando não há diversidade e nem heterogeneidade importantes, aqueles estudos com maior poder estatístico (leia-se, estudos com maior população e maior efeito da intervenção) possuirão mais "peso". Nesse caso, utiliza-se o método de efeitos fixos, que pressupõe que todos os estudos apontaram um mesmo efeito. Quando há diversidade e heterogeneidade, é utilizado o modelo de efeitos-aleatórios, que distribui o peso de maneira mais uniforme, valorizando a contribuição dos estudos pequenos e, conseqüentemente, fornece um intervalo de confiança (IC) mais amplo³¹.

Os resultados de uma metanálise podem ser representados por um gráfico do tipo forest plot, como mostrado na figura 1.

Nesse tipo de figura, cada linha representa um estudo, sendo que a última representa a combinação dos resultados (metanálise) que é simbolizada por um "diamante". O resultado de cada estudo é descrito tanto de forma gráfica (os "quadrados" representam RR ou razão de riscos e os "traços", os IC) quanto de forma numérica. Quando o IC não ultrapassa a linha de nulidade, pode-se afirmar que o resultado é estatisticamente significativo. Estudos maiores possuem IC mais estreitos, ou seja, resultados mais precisos e maior contribuição para a metanálise que também é representada graficamente (quanto maior a área do quadrado, maior o peso) e valor percentual. A vantagem dos forest plots é sumarizar, em uma única figura, todas as informações sobre o efeito/precisão do tratamento e a contribuição de cada estudo para a análise.

Os Resultados Foram Consistentes Entre os Diferentes Estudos? Se NÃO, os Autores Exploraram Potenciais Causas de Heterogeneidade?

Os estudos primários tendem a ser diferente em relação ao perfil do paciente incluído, tipo de intervenção utilizada e definição do desfecho. Tal diferença é denominada heterogeneidade clínica. Adicionalmente, os estudos podem diferir em aspectos metodológicos, o que é denominado heterogeneidade metodológica. Atualmente as heterogeneidades clínica e metodológica são englobadas sob o termo diversidade que, na maioria das vezes, possui impacto no resultado³².

O método mais utilizado para avaliação da diversidade é o teste de heterogeneidade (semelhante ao teste Qui-quadrado), que parte do pressuposto que os achados dos estudos primários são iguais (hipótese nula) e verifica se os dados encontrados refutam esta hipótese³³. Se a hipótese nula for confirmada, os estudos são considerados homogêneos (p > 0,05)²⁰. Esse teste apresenta baixo poder discriminatório quando o número de estudos incluídos é pequeno, portanto, um teste não significativo não exclui necessariamente a heterogeneidade. Alguns autores argumentam que um pouco de heterogeneidade sempre está presente, logo, não faria sentido testar sua presença, mas quantificá-la. Dessa forma, recentemente, foi proposta a medida denominada inconsistência (I²), que mede quanto da diferença, entre os estudos, é devida à heterogeneidade. Geralmente o resultado é expresso em porcentagem, sendo que inconsistências de até 25% são consideradas baixas, 50% intermediárias e maiores que 75% altas (quando a realização da metanálise é questionável)³⁰.

OS RESULTADOS SÃO APLICÁVEIS NA PRÁTICA?

Os Estudos da Revisão Incluem Pacientes Semelhantes ao Meu?

Se os seus pacientes preencherem os critérios de inclusão e exclusão estabelecidos pelos estudos incluídos na revisão, não há muita discussão quanto à aplicabilidade dos resultados. Se não for o caso, deve-se questionar se existe alguma razão que torna os resultados não aplicáveis. Geralmente não é encontrada razão significativa, possibilitando a generalização dos resultados.

A Intervenção em Estudo está Disponível no meu Meio de Trabalho? É de Baixo Risco de Complicações e Custo?

Antes de empregar uma intervenção, deve-se considerar se há disponibilidade em nosso meio e o risco de evento adverso caso o paciente permaneça sem receber a intervenção. Quanto maior a possibilidade de o paciente apresentar um evento caso não seja tratado, mais provável torna-se o benefício. Na avaliação do impacto econômico da intervenção, é interessante considerar análises de custo-efetividade, sobre eficácia do tratamento e custos envolvidos. Economistas sugerem que "custo-efetividade" e não "efetividade clínica" é o critério mais adequado na escolha de uma intervenção³⁴. O princípio "os recursos serão sempre escassos", utilizado inclusive em países desenvolvidos, deve ser considerado devido às limitações do nosso sistema de saúde.

O Paciente (ou substituto legal) Aceita Receber o Tratamento Proposto?

Os pilares para a aplicação da Medicina Baseada em Evidências incluem: a existência de estudos com resultados relevantes, a experiência clínica individual e a preferência dos pacientes^1,35. A decisão do paciente deve ser respeitada e a equipe do CTI deve estar à disposição para esclarecer dúvidas e apresentar opções embasadas cientificamente³⁶.

REVISÕES SISTEMÁTICAS VERSUS ENSAIOS CLÍNICOS ALEATORIZADOS INDIVIDUAIS

Apesar de muitos investigadores considerarem que uma revisão sistemática não tem o mesmo valor científico de um estudo individual de larga escala, é incomum que este último forneça respostas definitivas às questões clínicas³⁷. Portanto, revisões sistemáticas e ensaios clínicos aleatorizados são métodos complementares, com o objetivo comum de buscar evidências científicas sólidas a serem utilizadas na prática médica (Figura 2).

CONCLUSÃO

Revisões sistemáticas em terapia intensiva são necessárias para sumarizar os dados existentes na área, refinar hipóteses e definir racionalmente áreas de pesquisas futuras. Com essa ferramenta, o intensivista que busca embasamento científico para tomada de decisão pode agregar dados cientificamente robustos à sua experiência prática e à opinião de seu paciente. Entretanto, para o correto emprego da evidência científica disponível, é necessário que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revisões sistemáticas, selecionando, dessa maneira, as informações relevantes para o manejo do paciente crítico.

• 01. Cook DJ, Mulrow CD, Haynes RB - Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med, 1997;126:376-380.
• 02. Moher D, Cook DJ, Jadad AR et al - Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess, 1999;3::i-iv,1-98.
• 03. Dixon E, Hameed M, Sutherland F et al - Evaluating meta-analyses in the general surgical literature: a critical appraisal. Ann Surg, 2005;241:450-459.
• 04. Mulrow CD - The medical review article: state of the science. Ann Intern Med, 1987;106:485-488.
• 05. Cook DJ, Sackett DL, Spitzer WO - Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam Consultation on Meta-Analysis. J Clin Epidemiol, 1995;48:167-171.
• 06. Neihouse PF, Priske SC - Quotation accuracy in review articles. DICP, 1989;23:594-596.
• 07. Mulrow C, Langhorne P, Grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995.
• 08. Liberati A - Meta-analysis: statistical alchemy for the 21^st century": discussion. A plea for a more balanced view of meta-analysis and systematic overviews of the effect of health care interventions. J Clin Epidemiol, 1995;48:81-86.
• 09. Bangert-Drowns RL - Misunderstanding meta-analysis. Eval Health Prof, 1995;18:304-314.
• 10. Cummings SR, Browner WS, Hulley SB - Elaborando a Questão de Pesquisa, em: Hulley SB, Cummings SR, Browner WS et al - Delineando a Pesquisa Clínica: Uma Abordagem Epidemiológica, 2Ş Ed, Porto Alegre: Artmed, 2003.
• 11. Nobre MR, Bernardo WM, Jatene FB - Evidence based clinical practice. Part 1-well structured clinical questions. Rev Assoc Med Bras, 2003;49:445-449.
• 12. da Costa Santos CM, de Mattos Pimenta C, Nobre MR - The PICO strategy for the research question construction and evidence search. Rev Lat Am Enfermagem, 2007;15:508-511.
• 13. Alderson P, Roberts I - Should journals publish systematic reviews that find no evidence to guide practice? Examples from injury research. BMJ, 2000;320:376-376.
• 14. Cook DJ, Guyatt GH, Ryan G et al - Should unpublished data be included in meta-analyses? Current convictions and controversies. JAMA, 1993;269:2749-2753.
• 15. McAuley L, Pham B, Tugwell P et al - Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analyses? Lancet, 2000;356:1228-1231.
• 16. Moja LP, Telaro E, D'Amico R et al - Assessment of methodological quality of primary studies by systematic reviews: results of the metaquality cross sectional study. BMJ, 2005;330(7499):1053.
• 17. Egger M, Juni P, Bartlett C et al - How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess, 2003;7:1-76.
• 18. Chalmers TC, Lau J - Meta-analytic stimulus for changes in clinical trials. Stat Methods Med Res, 1993;2:161-172.
• 19. Verhagen AP, de Vet HC, de Bie RA et al - The art of quality assessment of RCTs included in systematic reviews. J Clin Epidemiol, 2001;54:651-654.
• 20. Hearst N, Grady D, Barron HV et al - Pesquisa com Dados Existentes: Análise de Dados Secundários, Estudos Suplementares e Revisões Sistemáticas, em: Hulley SB, Cummings SR, Browner WS ET al - Delineando a Pesquisa Clínica: Uma Abordagem epidemiológica, 2Ş Ed, Porto Alegre: Artmed, 2003.
• 21. Schulz KF, Chalmers I, Hayes RJ et al - Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA, 1995;273:408-412.
• 22. Schulz KF, Grimes DA - Blinding in randomised trials: hiding who got what. Lancet, 2002;359:696-700.
• 23. Altman DG, Dore CJ - Randomisation and baseline comparisons in clinical trials. Lancet, 1990;335(8682):149-153.
• 24. Jadad AR, Moore RA, Carroll D et al - Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials, 1996;17:1-12.
• 25. Moher D, Pham B, Jones A et al - Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analysis? Lancet, 1998;352:609-613.
• 26. Berlin JA - Does blinding of readers affect the results of meta-analyses? University of Pennsylvania Meta-analysis Blinding Study Group. Lancet, 1997;350:185-186.
• 27. Stroup DF, Berlin JA, Morton SC et al - Meta-analysis of observational studies in epidemiology: a proposal for reporting. JAMA, 2000;283:2008-2012.
• 28. Sutton AJ, Abrams KR, Jones DR - An illustrated guide to the methods of meta-analysis. J Eval Clin Pract, 2001;7:135-148.
• 29. Coutinho ESF - Meta-análise, em: Medronho RA, Carvalho DM, Bloch KV et al - Epidemiologia. São Paulo: Atheneu, 2003;447-455.
• 30. Higgins JP, Thompson SG, Deeks JJ et al - Measuring inconsistency in meta-analyses. BMJ, 2003;327(7414):557-560.
• 31. Lau J, Ioannidis JP, Schmid CH - Quantitative synthesis in systematic reviews. Ann Intern Med, 1997;127:820-826.
• 32. Mulrow C, Langhorne P, Grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995.
• 33. Lau J, Ioannidis JP, Schmid CH - Summing up evidence: one answer is not always enough. Lancet, 1998;351:123-127.
• 34. Dowie J - Evidence-based', cost-effective' and preference-driven' medicine: decision analysis based medical decision making is the pre-requisite. J Health Serv Res Policy, 1996;1:104-113.
• 35. McDonald CJ - Medical heuristics: the silent adjudicators of clinical practice. Ann Intern Med, 1996;124:56-62.
• 36. Hux JE, Naylor CD - Communicating the benefits of chronic preventive therapy: does the format of efficacy data determine patients' acceptance of treatment? Med Decis Making, 1995;15:152-157.
• 37. Davidoff F, Case K, Fried PW - Evidence-based medicine: why all the fuss? Ann Intern Med, 1995;122:727

*

Recebido do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor), São Paulo, SP

Datas de Publicação

• Publicação nesta coleção
  22 Jan 2008
• Data do Fascículo
  Dez 2007