Como minimizar vieses em revisões sistemáticas de estudos observacionais

RESUMO

Embora as revisões sistemáticas tenham inúmeras vantagens, eles são vulneráveis a vieses que podem mascarar os verdadeiros resultados do estudo e, portanto, devem ser interpretados com cautela. A proposta deste artigo é revisar criticamente a literatura acerca das revisões sistemáticas de estudos observacionais, enfatizando os erros que podem afetar este tipo de desenho de estudo e as possíveis estratégias para superar esses erros. Trata-se de uma revisão integrativa da literatura. A pesquisa bibliográfica foi conduzida nas bases de dados: States National Library of Medicine, Scientific Electronic Library Online, e Google Scholar. Para a busca em bases de dados foram utilizados os descritores: revisão, viés (epidemiologia) e estudos observacionais como assunto. Também foram consultados livros e documentos com relevância para o tema. A coleta dos dados foi realizada entre junho e julho de 2016. Os erros mais conhecidos, presentes no delineamento de revisões sistemáticas, foram os relacionados com a seleção e publicação. Embora este tipo de estudo esteja sujeito a possíveis erros, as medidas preventivas postas em prática durante o planejamento de revisões sistemáticas e até mesmo durante e após a sua execução podem ajudar a garantir o rigor científico. Esta revisão da literatura pode servir como um instrumento importante para o desenvolvimento e interpretação de revisões sistemáticas de estudos observacionais.

Descritores:
Revisão; Viés (Epidemiologia); Estudos Observacionais como Assunto

ABSTRACT

Although systematic reviews have numerous advantages, they are vulnerable to biases that can mask the true results of the study and therefore should be interpreted with caution. This article aims at critically reviewing the literature about systematic reviews of observational studies, emphasizing the errors that can affect this type of study design and possible strategies to overcome these errors. This is an integrative literature review whose search was conducted in the databases States National Library of Medicine, Scientific Electronic Library Online and Google Scholar. The following descriptors were used: review, bias (epidemiology) and observational studies as the subject, including relevant books and documents which were consulted. Data collection was conducted between June and July 2016. The most known errors present in the design of systematic reviews were those related to the selection and publication. Although this type of study is subject to possible errors, preventive measures used during the planning of systematic reviews and even during and after their implementation can help ensure scientific rigor. This literature can serve as an important tool for the development and interpretation of systematic reviews of observational studies.

Keywords:
Review; Bias (Epidemiology); Observational Studies as Topic

Introdução

Pesquisas epidemiológicas visam construir conhecimento e ainda, obter resultados válidos e precisos. Em estudos epidemiológicos requer-se reflexão profunda sobre as opções e planejamento em todas as fases metodológicas. A definição do projeto de estudo é um passo crucial para que se mantenha o rigor metodológico necessário. O delineamento de revisão sistemática tem ganhado popularidade na área da saúde pública, mas este como qualquer design de estudo é vulnerável a certos vieses que devem ser rigorosamente planejados e/ou contabilizados pelos pesquisadores.

Uma revisão sistemática, utiliza como fonte de dados a literatura acerca de um tema específico. Esse tipo de averiguação disponibiliza uma síntese das evidências relacionadas a uma estratégia de intervenção específica, mediante o emprego de métodos explícitos e sistematizados de busca, análise crítica e resumo da informação selecionada. As revisões sistemáticas são particularmente úteis para integrar as informações de um grupo de estudos para responder a uma pergunta de pesquisa mais abrangente do que é possível a partir de um estudo individual, que podem apresentar resultados conflitantes e/ou coincidentes, bem como identificar assuntos que necessitam de evidência, auxiliando na orientação para investigações futuras¹. Ao combinar as evidências de vários estudos, é importante considerar o risco de viés em cada estudo. Resultados de estudos observacionais podem ser tendenciosos, se os métodos de estudo não são adequados^2,3.

Revisões sistemáticas completas são demoradas, muitas vezes com duração de até três anos e exigindo dois revisores para avaliar cada artigo a fim de minimizar os erros. Um estudo estimou que 80% das avaliações de risco de viés levaram entre 10 e 60 minutos para serem executadas^4,5. Além disso, os julgamentos de risco de vieses por vezes são imperfeitos. Estudos têm demonstrado que os revisores frequentemente relatam diferentes níveis de risco de viés para os mesmos estudos^4,6-10. Isso pode acontecer, por exemplo, se um revisor perde frases “chave” ao longo do texto¹⁰.

Entre as vantagens de confeccionar uma revisão sistemática incluem-se a probabilidade de avaliação da consistência e generalização dos resultados entre populações ou grupos, bem como especificidades e variações de protocolos de tratamento e produção de subsídios para formulação de políticas de saúde¹¹.

Há incongruência na nomenclatura usada para se descrever revisões sistemáticas, considerando que algumas incluem uma síntese estatística dos resultados dos estudos e outras não. Autores apontam que revisões sistemáticas com metanálise são diferentes de outras revisões por seu componente metanalítico¹¹. Metanálise é um estudo de revisão da literatura em que os resultados de vários estudos independentes são agrupados e sintetizados por meio de procedimentos estatísticos (análise da análise), de modo a produzir uma única estimativa ou índice que caracterize o efeito de determinado preditor/intervenção^12,13.

As revisões sistemáticas historicamente foram desenvolvidas para sistematizar os achados de estudos de intervenção e mais recentemente vem sendo aplicadas para estudos observacionais, os quais são aplicáveis em muitos casos relacionados à saúde humana nos quais estes delineamentos são os mais adequados. No entanto, na escolha de um desenho de estudo, os riscos, bem como os benefícios devem ser considerados. Embora as revisões sistemáticas apresentem inúmeras vantagens, elas também têm uma maior vulnerabilidade a determinados tipos de vieses, especialmente quando se trata de revisões de estudos observacionais.

O objetivo deste estudo foi revisar a literatura para avaliar criticamente os fatores que afetam este tipo de desenho de estudo, bem como métodos possíveis de superar ou minimizar essas distorções para auxiliar os investigadores que escolhem este tipo de desenho de estudo epidemiológico.

Métodos

Para atingir o objetivo proposto, a pesquisa bibliográfica foi conduzida no States National Library of Medicine (PubMed), Scientific Electronic Library Online (SciELO), e Google Scholar. Para a busca em bases de dados foram utilizados os descritores: review, sistematic review, bias (epidemiologia) e observational studies como assunto. Também foram consultados livros e documentos com relevância para o tema. Estes foram incluídos por acreditar-se que livros e outros documentos representam produção de conhecimento importante e atual sobre o tema em foco.

Foram critérios de inclusão: publicações disponíveis online, na íntegra, nos idiomas português, inglês e espanhol, que abordassem análises de vieses em revisões sistemáticas e sem limite de data de publicação. Foram critérios de exclusão: publicações duplicadas e/ou com enfoque estritamente em ensaios clínicos randomizados. A coleta dos dados foi realizada entre junho de 2016 e junho de 2017. Todas as obras analisadas foram citadas juntamente com seus respectivos autores, respeitando-se, assim, os princípios éticos em pesquisa.

Revisão da Literatura

O campo da epidemiologia tem procurado compreender os fatores que podem interferir no teste de hipóteses, entre eles os erros que podem mascarar os verdadeiros resultados de um estudo. Antes de apresentar os erros comumente encontrados em revisões sistemáticas, uma compreensão básica dos conceitos e tipos de erro conhecidos como erros aleatórios e sistemáticos é necessário.

O erro aleatório ocorre quando o valor medido na amostra diverge, aleatoriamente, a partir do valor real da população. O erro aleatório pode ocorrer em qualquer desenho de estudo, e não é específico dos estudos de revisão. Usando um tamanho de amostra maior pode-se reduzir o erro aleatório, e este tipo de erro pode ser estimado por meio de testes estatísticos. O segundo tipo de erro, conhecido como erro sistemático ou viés, é definido como qualquer processo, em qualquer etapa da pesquisa, em que metodologia incorreta durante o curso da investigação distorce o resultado.

Viés inclui toda e quaisquer distorção durante o processo de investigação, que pode ocorrer em qualquer tipo de delineamento. No entanto, existem certos tipos de vieses a que revisões sistemáticas são vulneráveis. Os tipos de vieses podem ser classificados nas seguintes categorias: viés de seleção, viés de informação, e viés de confundimento. Esses serão explorados no presente artigo no âmbito da revisão sistemática de estudos observacionais, juntamente com as possíveis estratégias que os pesquisadores podem usar para superá-los.

Uma revisão sistemática consiste de estudos primários, publicados e não publicados, cumprindo os critérios de inclusão e exclusão determinados a priori e deve ser representativa de todos os resultados dos estudos primários disponíveis na época em que a revisão foi conduzida. No entanto, se apenas estudos publicados com restrição de idioma (por exemplo, Inglês) são utilizados a partir de certas bases de dados eletrônicas, como é o caso de muitas revisões publicadas, um grande número de estudos elegíveis pode ser perdido, resultando em um viés substancial de seleção¹⁴.

Uma estratégia de busca inadequada ou não abrangente e que inclua apenas publicações com texto completo, são outros erros comuns que podem reduzir a representatividade dos estudos identificados ou incluídos. Uma pesquisa abrangente deve incluir a “grey literature” (literatura cinzenta)¹⁵. A literatura cinzenta pode incluir busca em anais de eventos científicos pertinentes ao tema pesquisado, busca em bases de teses e dissertações internacionais, OAIster, Google, openDOAR, OpenGrey, entre outros.

Por outro lado, o viés de auto seleção pode surgir quando os pesquisadores optam por não publicar alguns dos seus estudos primários, por várias razões, por exemplo, como resultados nulos, inesperadas ou achados inexplicáveis. Além disso, os editores de revistas e revisores são mais propensos a aceitar os estudos com resultados estatisticamente significativos, especialmente se acontecer mesmo quando o tamanho da amostra for relativamente pequeno¹⁴.

Os dados selecionados para compor a metanálise podem estar influenciados pelo viés de publicação. Entende-se por viés de publicação a tendência de os resultados publicados estarem sistematicamente diferentes da realidade. A não publicação de resultados pode ser devida à decisão do autor ou do financiador do estudo, que não submetem para publicação os achados desfavoráveis, ou dos editores de periódicos científicos, que podem não ter interesse em divulgar resultados negativos (sem significância estatística)¹⁶.

Nas revisões sistemáticas, a presença desse viés pode ser identificada por meio de gráfico de funil e de testes estatísticos². A utilização dessas técnicas é recomendada para metanálises com dez estudos ou mais e baseia-se em questões de estimativa e de precisão. Os estudos pouco precisos, em geral realizados com amostras de tamanho pequeno, poderão encontrar resultados positivos ou negativos (estatisticamente significativos ou não) por influência do acaso. Eles estariam distribuídos simetricamente na parte mais larga do funil. Estudos de maior precisão, em geral em menor número, estariam mais próximos do valor real e situados na parte mais estreita do funil. Também é possível estimar a presença desse viés em bases de registros de estudos, pela busca daqueles que não vieram a ser publicados¹⁶.

Não raro, os autores de revisões sistemáticas mencionam entrar em contato com autores e pesquisadores da área relacionada para obter informações sobre os estudos que não foram publicados ou não foram incluídos nos bancos de dados utilizados na pesquisa. No entanto, a taxa de resposta e outros detalhes relacionados a essas perguntas raramente são relatados. A baixa taxa de resposta a tais consultas também pode aumentar o viés de auto seleção¹⁴.

Na atualidade, o uso de ferramentas como Researchgate tem contribuído coma aproximação de pesquisadores ao redor do mundo, de forma que, em nossa experiência, tem sido mais efetivas as tentativas de contato e aproximação com grupos de pesquisa e pesquisadores em busca de dados publicados e mais detalhes sobre artigos que buscamos incluir nas revisões sistemáticas que temos feito.

O processo de recuperação de informações de estudos para inclusão em revisões sistemáticas, geralmente é mais problemático do que em série de casos, como os dados a serem coletados ou extraídos dos estudos primários, pois são mais propensos a erros de classificação do que dados demográficos e clínicos de pacientes em uma série de casos. Exposição/intervenção, resultados e potenciais fatores de confusão não podem ser definidos ou categorizados da mesma forma em todos os estudos primários, e a recategorização desses com a finalidade de agrupar os achados pode resultar em erros de classificação¹⁴.

A fim de minimizar esses erros, é comum que no processo de extração de dados em revisões sistemáticas tenham dois revisores coletando as informações dos estudos primários de forma independente, e resolvendo as discordâncias com um terceiro revisor ou por meio de um consenso. Além disso, como uma revisão sistemática de estudos observacionais utiliza informações apresentadas em estudos primários, qualquer medida realizada ou erros reportados em estudos posteriores pode invalidar as conclusões da revisão. Além disso, avaliar a qualidade dos estudos primários a serem incluídos em uma revisão sistemática é de extrema importância. Somente estudos com resultados razoavelmente válidos de associações devem ser incluídos^17-20.

É fundamental que se garanta que os estudos incluídos na revisão sistemática tenham uma qualidade metodológica comparável entre si e que as informações necessárias que permitam identificar que foram evitados vieses de seleção, aferição e confundimento foram tomadas. Além disso, dados básicos que permitam identificar se as populações pesquisadas nos estudos são comparáveis, também são fundamentais.

Confundimento não é um viés usual para revisões sistemáticas qualitativas, pois as comparações em grupos dos estudos primários devem ser muito similares em termos de fatores prognósticos²¹. A adopção de critérios de inclusão/exclusão mais rigorosos para melhorar a homogeneidade entre os estudos primários pode ajudar, mas à custa de generalização externa e aplicabilidade. A questão da não comparabilidade é ainda mais complicada com metanálises que incluem estudos observacionais ou ensaios não randomizados em que os fatores de confusão ajustados podem ser muito diferentes, em termos de números, definições e categorizações, em diferentes estudos primários. Uma síntese narrativa com profundas avaliações críticas de estudos primários individuais pode ser mais informativa¹⁴.

Conclusão

Revisões sistemáticas são estudos que assim como qualquer outro design apresentam vantagens e desvantagens. O presente manuscrito discorre sobre as principais desvantagens divulgadas na literatura e os principais vieses que comumente ocorrem nesse tipo de delineamento. Deve-se observar que os vieses mais amplamente reconhecidos em revisões sistemáticas de estudos observacionais são aqueles relacionados à seleção e viés de publicação. Embora este delineamento de estudo tem a possibilidade de erros, existem estratégias que podem ser usadas no planejamento do estudo, bem como durante e mesmo depois de sua execução para garantir o rigor científico, sobretudo porque revisões sistemáticas têm uma importância científica reconhecida.

References

• ¹
  Linde K, Willich SN. How objective are systematic reviews? Differences between reviews on complementary medicine. J R Soc Med. 2003;96(1):17-22.
• ²
  Higgins JP, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Chichester, UK: Wiley. 2008.
• ³
  Schulz KF, Grimes DA. Allocation concealment in randomised trials: defending against deciphering. Lancet. 2002;359(9306):614-8.
• ⁴
  Millard LA, Flach PA, Higgins JP. Machine learning to assist risk-of-bias assessments in systematic reviews. Int J Epidemiol. 2016;45(1):266-77.
• ⁵
  Savovic J, Weeks L, Sterne JA, Turner L, Altman DG, Moher D et al. Evaluation of the Cochrane Collaboration's tool for assessing the risk of bias in randomized trials: focus groups, online survey, proposed recommendations and their implementation. Syst Rev. 2014;3:37.
• ⁶
  Armijo-Olivo S, Ospina M, da Costa BR, Egger M, Saltaji H, Fuentes J et al. Poor reliability between Cochrane reviewers and blinded external reviewers when applying the Cochrane risk of bias tool in physical therapy trials. PLoS One. 2014;9(5):e96920.
• ⁷
  Hartling L, Ospina M, Liang Y, Dryden DM, Hooton N, Krebs SJ et al. Risk of bias versus quality assessment of randomised controlled trials: cross sectional study. BMJ. 2009;339:b4012.
• ⁸
  Hartling L, Bond K, Vandermeer B, Seida J, Dryden DM, Rowe BH. Applying the risk of bias tool in a systematic review of combination long-acting beta-agonists and inhaled corticosteroids for persistent asthma. PLoS One. 2011;6(2):e17242.
• ⁹
  Hartling L, Hamm MP, Milne A, Vandermeer B, Santaguida PL, Ansari M et al. Testing the risk of bias tool showed low reliability between individual reviewers and across consensus assessments of reviewer pairs. J Clin Epidemiol. 2013;66(9):973-81.
• ¹⁰
  Lensen S, Farquhar C, Jordon V. Risk of bias: are judgements consistent between reviews? Cochrane Database Syst Rev Suppl. 2014;1:30.
• ¹¹
  Akobeng AK. Understanding randomised controlled trials. Arch Dis Child. 2005;90(8):840-4.
• ¹²
  Bradley L, Law M. Systematically reviewing the evidence. In: Law M, McDermid J. Evidence-based rehabilitation: a guide to practice. 3.ed. Thorofare (NJ): SLACK Inc. 2002. p. 143-59.
• ¹³
  Sampaio RF, Mancini MC. Estudos de Revisão Sistemática: Um Guia para Síntese Criteriosa da Evidência Científica. Rev.bras.fisioter. 2007;11(1):83-9.
• ¹⁴
  Yu IT, Tse SL. Clinical Epidemiology Workshop 11 - Sources of bias in systematic reviews with or without meta-analysis. Hong Kong Med J. 2013;19(2):156-8.
• ¹⁵
  Fourth International Conference on Grey Literature: New Frontiers in Grey Literature. GreyNet, Grey Literature Network Service, Washington DC, USA. 1999. p.4-5.
• ¹⁶
  Pereira GP, Galvão TF. Heterogeneidade e viés de publicação em revisões sistemáticas. Epidemiol.Serv.Saúde. 2014;23(2):775-8.
• ¹⁷
  Yu IT, Tse SL. Clinical Epidemiology Workshop 7 - Appraising a study on diagnosis. Hong Kong Med J. 2012;18:325-6.
• ¹⁸
  Yu IT, Tse SL. Clinical Epidemiology Workshop 8-Appraising a study on therapy. Hong Kong Med. 2012;18:19-20.
• ¹⁹
  Yu IT, Tse SL. Clinical Epidemiology Workshop 9 - Appraising a study on prognosis. Hong Kong Med J. 2012;18:507-8.
• ²⁰
  Yu IT, Tse SL. Clinical Epidemiology Workshop 10-Appraising a study on risk factors or aetiology. Hong Kong Med J. 2013;19:50-1.
• ²¹
  Yu IT, Tse SL. Clinical Epidemiology Workshop 3-Sources of bias in case series, patient cohorts, and randomised controlled. Hong Kong Med J. 2011;17:478-9.

• Fontes de financiamento: CAPES - Bolsa de estudo para cursar doutorado. CNPq - produtividade em pesquisa.

Datas de Publicação

• Publicação nesta coleção
  Ago 2017

Histórico

• Recebido
  25 Jan 2017
• Aceito
  21 Jun 2017