Análise da qualidade metodológica de revisões sistemáticas para tratamento de disfunções do manguito rotador^*

Resumo

Objetivo

Avaliar a qualidade metodológica das revisões sistemáticas para tratamento cirúrgico e não cirúrgico de indivíduos com síndrome do manguito rotador; comparar, através do instrumento Assessingthemethodologicalqualityofsystematic reviews(AMSTAR, na sigla em inglês), a qualidade dos estudos encontrados nas bases de dados Cochrane Library, PubMed (Publisher Medline), EMBASE e Qinsight.

Métodos

Trata-se de um estudo transversal descritivo e comparativo, em que dois autores independentes analisaram, por meio do instrumento AMSTAR, a qualidade metodológica das revisões sistemáticas Cochrane e nãoCochrane sobre tratamento de indivíduos com diagnóstico de síndrome do manguito rotador.

Resultados

76 revisões sistemáticas foram avaliadas pelo instrumento AMSTAR. O escore médio geral foi de 6,1(±2,1) e a média por base de dados foi 9,1(±0,9) para as revisões Cochrane e 5,7(±1,8) para as não Cochrane. O item de menor pontuação do AMSTAR foi 11, relacionada à exibição dos conflitos de interesse da publicação. Em uma análise comparativa do escore da variável final, houve uma diferença estatística entre os estudos Cochrane e nãoCochrane.

Conclusão

De acordo com o presenteestudo, revisões sistemáticas utilizando a metodologia Cochrane têm uma melhor qualidade metodológica em comparação com estudos nãoCochrane sobre o tratamento de disfunções do manguito rotador.

Palavras-chave:
manguito rotador; metodologia; revisão sistemática

Abstract

Objective

To evaluate the methodological quality of systematic reviews for the surgical and nonsurgical treatment of individuals with rotator cuff syndrome; to compare, through the Assessing the methodological quality of systematic reviews (AMSTAR) instrument, the quality of studies found in the Cochrane Library, PubMed (Publisher Medline), EMBASE andQinsightdatabases.

Methods

This is a descriptive and comparative cross-sectional study, in which two independent authors analyzed, through the AMSTAR instrument, the methodological quality of Cochrane and non-Cochrane systematic reviews on the treatment of individuals diagnosed with rotator cuff syndrome.

Results

A total of 76 systematic reviews were evaluated by the AMSTAR instrument. The overall mean score was 6.1 (±2.1) and the mean per database was 9.1 (±0.9) for the Cochrane reviews and 5.7 (±1.8) for the non-Cochrane reviews. The lowest-scoring item of AMSTAR was 11, related to the display of the conflict of interests of the publication. In a comparative analysis of the final variable score, there was a statistical difference between the Cochrane and non-Cochrane studies.

Conclusion

According to the present study, systematic reviews using the Cochrane methodology have a better methodological quality compared to non-Cochrane studies on the treatment of rotator cuff dysfunctions.

Keywords:
rotator cuff; methodology; systematic review

Introdução

As revisões sistemáticas de ensaios clínicos randomizados apresentam o maior nível de evidência científica para tomada de decisões clínicas.¹,² O objetivo desses estudos é esclarecer as divergências encontradas na literatura, de forma que seja possível responder a uma pergunta específica e sintetizar os achados dos estudos primários. É essencial um bom delineamento metodológico desses estudos para que intervenções mais assertivas se tornem possíveis.¹,² Atualmente, cerca de 24 instrumentos são validados e utilizados para determinar o nível de confiabilidade de estudos científicos, como por exemplo: Preferred reporting items for systematic reviews and meta-analyses(PRISMA, na sigla em inglês) e Assessing the methodological quality of systematic reviews(AMSTAR, na sigla em inglês).³ OAMSTAR é uma ferramenta de medição validada que avalia a qualidade metodológica das revisões sistemáticas.³ Ele possui 11 domínios que avaliam os métodos de construção das revisões sistemáticas.⁴,⁵

A literatura científica indica inúmeras formas de tratamento para os diversos tipos de lesões que acometem o sistema musculoesquelético, como por exemplo, as disfunções do manguito rotador. Desta forma, torna-se importante a seleção de trabalhos com boa fundamentação, alto rigor metodológico e fontes de informação confiáveis para uma maior eficácia no momento da abordagem terapêutica.⁶,⁷ Evidências apontam que as revisões sistemáticas que utilizam a metodologia proposta pela colaboração Cochrane possuem um maior rigor metodológico quando comparadas aos trabalhos que não adotam esta metodologia.⁸,⁹ Desta forma, o objetivo da presentepesquisa foi avaliar a qualidade metodológica das revisões sistemáticas Cochrane e não Cochrane, acerca do tratamento de indivíduos com disfunções do manguito rotador e comparar, através do AMSTAR, a qualidade dos estudos encontrados na base de dados Cochrane, PubMed (Publisher Medline), EMBASE e Qinsight

Métodos

Trata-se de um estudo transversal investigativo descritivo e comparativo.

Foram incluídas apenas revisões sistemáticas, com metodologia Cochrane e não Cochrane, envolvendo quaisquer tipos de estudos primários. Foi utilizado como base o termo “PICOS” (população ou problema / intervenção / controle/ desfecho / desenho de estudo). Não houve restrição quanto ao idioma e data da publicação dos estudos.

Foram incluídas revisões sistemáticas em que os sujeitos de pesquisa fossem indivíduos de idade > 16 anos, diagnosticados com a síndrome do manguito rotador (síndrome do impacto, bursite subacromial, tendinose ou tendinopatia de estruturas do manguito rotador, ruptura parcial ou total de estruturas do manguito rotador e tendinose ou tendinopatiacalcificante de estruturas do manguito rotador) independentemente do tempo de evolução da doença, tratados de forma não cirúrgica ou cirúrgica. Foram excluídos apenas os estudos que não possuíam confirmação diagnóstica da doença.

A busca foi realizada por dois autores utilizando os termos oficiais Medical SubjectHeading(MESH) – (Rotatorcuff, ShoulderImpingementSyndrome, shouder joint) nas seguintes bases de dados: Cochrane Library, PubMed, EMBASE e Qinsight. Não houve restrições quanto ao idioma e data das publicações durante o processo de busca. As estratégias de buscas foram traduzidas para cada base de dados. Os estudos foram selecionados por único avaliador respeitando os critérios de inclusão descritos. Inicialmente, após a busca em todas as bases de dados, foi realizada a remoção de duplicatas; em seguida, os artigos foram analisados com base em seus títulos e resumos; quando as informações contidas nestes dois itens não foram suficientes, partiu-se para a análise do texto na íntegra. Após estas etapas, com o número final de estudos selecionados, foi realizado download para seguimento com as avaliações com o AMSTAR.

Dois revisores independentes (Kriebel C. F.e Estevam J. A.) avaliaram a qualidade metodológica das revisões sistemáticas selecionadas utilizando como instrumento o AMSTAR.³,⁵ Esta ferramenta possui 11 domínios que investigam os seguintes aspectos: 1) presença de um protocolo prévio com aprovação ética e objetivos de pesquisa pré-determinados; 2) extração e avaliação do material realizada por dois avaliadores independentes; 3) busca bibliográfica abrangente em pelo menos duas bases de dados; 4) inclusão de literatura cinzenta como critério; 5) presença de lista ou referência aos estudos incluídos e excluídos; 6) presença de lista ou referência dos estudos incluídos na pesquisa; 7) avaliação metodológica de cada estudo incluído e documentação e documentação dos resultados obtidos; 8) formulação crítica das conclusões com base na análisemetodológica;9)avaliaçãodaheterogeneidadedecada estudo; 10) avaliação do viés de publicação com a presença de gráficos ou testes disponíveis; 11) menção dos conflitos de interesse da publicação e dos estudos incluídos. Cada questão possui quatro opções de resposta, sendo elas: 1) sim; 2) não; 3) não é possível responder e 4) não se aplica. Para o cálculo da pontuação final, apenas as respostas positivas (sim) contabilizaram pontos, atribuindo 1 ponto para cada resposta positiva do questionário.³,⁵

As informações referentes às revisões sistemáticas incluídas no presenteestudo foram registradas no software Excel (Microsoft Corporation, Redmond, WA, EUA) para a criação da base de dados. O material coletado foi analisado no software R versão 3.4.0 (R Foundation for StatisticalComputing, Viena, Áustria) Para a apuração, foi empregada a análise de variância com um fator fixo e o método de comparações fixas de Tukey. Utilizou-se para este trabalho um número de significância dep < 0,05. Foram aplicadas ferramentas do software Excel⁶ para mensuração de algumas variáveis como média, desvio padrão e percentual de notas obtidas pelos estudos após avaliação com o AMSTAR.

O estudo foi encaminhado ao comitê de ética em pesquisa da Universidade Federal de São Paulo, com aprovação em 16/07/2017–CEUAx n°5960140717

Resultados

Foram analisadas 76 revisões sistemáticas em diferentes bases de dados, a saber: 9revisões sistemáticas Cochrane que utilizavam a metodologia proposta pela organização Cochrane e publicadas na Cochrane Library, 26 revisões sistemáticas não indexadas na base de dados Cochrane mas que descreviam em seus métodos seguir a metodologia Cochrane, 6revisões indexadas na Embase, 26 revisões indexadas na Pubmed e 10 revisões indexadas na Qinsite.

Após a análise estatística, observou-se que a média de pontuação para os 76 trabalhos foi de 6,1 (±2,1), sendo 9,1 (±0,9) a média dos estudos com metodologia Cochrane e indexados na base de dados Cochrane, e 5,7 (±1,8) para os demais estudos.

A ►Figura 1 apresenta a análise da qualidade metodológica destas revisões sistemáticas, o percentual de notas obtidas pelos estudos a partir da análise feita com o AMSTAR.

Os dados referentes aos domínios do AMSTAR com menores pontuações entre todos os trabalhos estão apresentados na ►Figura 2.

A ►Figura 3 mostra a média dos escores obtidos pelos estudos após aplicação do instrumento AMSTAR.

Para comparar a qualidade das revisões sistemáticas em relação às pontuações finais, foi empregado o modelo de análise de variância com um fator fixo e o método de comparações múltiplas de Tukey. Estes dados estão descritos na ►Tabela 1.

Discussão

As revisões sistemáticas que avaliam ensaios clínicos randomizados apresentam o melhor nível de evidência científica. São modelos de pesquisa que oferecem aos indivíduos uma síntese de dados, com a finalidade de embasar, teoricamente, as práticas clínicas, e guiar a construção de novos projetos; para isto, é importante que este material seja claro, explícito e passível de reprodução; além disso, para agregar valor ao instrumento, os estudos primários devem possuir alto rigor metodológico. Apenas desta forma será possível a tomada de decisão clinica com base em evidência científica.¹⁰,¹¹

Fig. 1
Percentual de estudos que receberam pontuação a partir da avaliação pelo instrumento AMSTAR.

Fig. 2
Itens de menor pontuação geral de acordo com avaliação pelo instrumento AMSTAR.

Fig. 3
Perfis médios dos estudos, de acordo com a pontuação final obtida pelo instrumento AMSTAR.

Tabela 1
Resultado da comparação entre as revisões sistemáticas

Comparações		Níveldescritivo
RNI	Cochrane	0,001
Embase	Cochrane	0,014
Pubmed	Cochrane	0,001
Qinsite	Cochrane	0,001
Embase	RNI	0,999
Pubmed	RNI	0,494
Qinsite	RNI	0,672
Pubmed	Embase	0,943
Qinsite	Embase	0,943
Qinsite	Pubmed	0,999

O presenteestudo avaliou 76 revisões sistemáticas acerca do tratamento para disfunções do manguito rotador, selecionadas em bases de dados distintas. Há dados consistentes que demonstram uma maior qualidade metodológica dos estudos que utilizam a metodologia proposta pela colaboração Cochrane para revisões sistemáticas em comparação com os estudos que não seguem esta metodologia, achado este que corrobora com um trabalho que comparou, utilizando deste mesmo instrumento, a qualidade das revisões sistemáticas Cochrane e não Cochrane relacionadas a intervenções em saúde.¹²

Alguns desafios foram encontrados no momento da avaliação das revisões sistemáticas. Nota-se que as revisões de metodologia não Cochrane possuem informações limitadas, dados insuficientes ou ausentes, o que dificulta a determinação de pontos pelo AMSTAR, como por exemplo, a análise da qualidade de todos os estudos primários inclusos, delineamento do escrito a partir de um protocolo inicial, viés de publicação, lista dos trabalhos que foram excluídos da revisão sistemática, uma busca abrangente na literatura e análise dos conflitos de interesses das publicações.

Na literatura científica, há trabalhos que estimulam discussões a respeito dos domínios do AMSTAR.¹⁰,¹¹ A descrição de cada item é minuciosa e permite ao leitor entender a importância da análise de cada tópico.

O item 11 do checklist de AMSTAR se refere à declaração de conflito de interesses; os autores devem expor de forma clara e objetiva qualquer fonte de financiamento ou suporte para a pesquisa, para que haja pontuação; os relatórios sobre todas as possíveis fontes de financiamento devem ser exigidos, pois minimizam uma potencial influência e julgamentos. Neste quesito, todos os estudos avaliados neste trabalho trouxeram informações inconsistentes, desta forma sugere-se um melhor esclarecimento deste item para permitir avaliações mais profundas. O segundo item com menor pontuação refere-se à exigência de um protocolo inicial de pesquisa, que ajudaria a delimitar os estudos que foram incluídos e excluídos e a qualidade destes. Este domínio se faz importante, pois identifica os possíveis desvios no protocolo, reduzindo os riscos de viés de publicação. Todos os estudos com metodologia Cochrane para revisões sistemáticas utilizam um protocolo a priori, porém os estudos não Cochrane não especificaram a utilização deste em suas revisões, comprometendo o resultado final da avaliação. Aumentar a busca por literatura inédita, publicada ou não, enriquece o trabalho. Muitos autores não incluíram em suas revisões a literatura cinzenta (tipo de publicação não convencional), algumas publicações enfatizam que estudos mais abrangentes possibilitam uma análise geral acerca de determinada temática.¹⁰

Em visões gerais, as revisões com metodologia Cochrane cumprem, de maneira positiva, os critérios estabelecidos no AMSTAR; deste modo, a qualidade destas revisões é significativamente melhor em comparação com trabalhos extraídos das bases Pubmed, Qinsite e Embase. Conclusões semelhantes foram publicadas ao avaliar o rigor metodológico das revisões sistemáticas Cochrane e não Cochrane acerca de tratamentos para saúde bucal.¹³

A tomada de decisão clínica baseada em evidência depende, necessariamente, da qualidade das revisões e de um alto rigor metodológico destas publicações.¹⁴ No presenteestudo, nota-se que muitas revisões sistemáticas não cumprem os padrões metodológicos estabelecidos, produzindo, desta forma, evidências pouco confiáveis. Os critérios de elegibilidade devem estar claramente definidos, e a metodologia deve incluir dados sobre a população do estudo, detalhamento das intervenções, métodos de avaliação e os desafios encontrados na execução, para que seja possível a reprodução e a aplicabilidade clínica das condutas.

Limitações do Estudo

Este trabalho utilizou a primeira versão do instrumento AMSTAR (2007), pois a seleção e análise dos estudos se deram anteriormente àpublicação do AMSTAR 2.

Conclusão

Com base nos resultados do presenteestudo, é possível concluir que as revisões sistemáticas com metodologia Cochrane possuem uma melhor qualidade científica em relação às não Cochrane. Faz-se necessário um aumento do rigor em publicações científicas, para que as práticas clínicas baseadas em evidências sejam melhor conduzidas. Novos estudos são necessários para fomentar a discussão acerca da qualidade dos estudos publicados em diversas bases de dados.

• Suporte Financeiro
  Não houve suporte financeiro de fontes públicas, comerciais, ou sem fins lucrativos.

References

• ¹
  Pereira MG, Galvão TF. Revisões sistemáticas da literatura: Passos para sua elaboração. Epidemiol Serv Saude 2014;23 (01):183–184
• ²
  Rother ET. Revisão sistemática X revisão narrativa. [editorial]. Acta Paul Enferm 2007;20(02):1–2
• ³
  Shea BJ, Hamel C, Wells GA, et al. AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. J Clin Epidemiol 2009;62(10):1013–1020
• ⁴
  Kelly SE, Moher D, Clifford TJ. Quality of conduct and reporting in rapid reviews: an exploration of compliance with PRISMA and AMSTAR guidelines. Syst Rev 2016;5:79
• ⁵
  Shea BJ, Bouter LM, Peterson J, et al. External validation of a measurement tool to assess systematic reviews (AMSTAR). PLoS One 2007;2(12):e1350
• ⁶
  Macedo CR, Riera R, Torloni MR. Methodological quality of systematic reviews and clinical trials on women’s health published in a Brazilian evidence-based health journal. Clinics (São Paulo) 2013;68(04):563–567
• ⁷
  Pieper D, Buechter RB, Li L, Prediger B, Eikermann M. Systematic review found AMSTAR, but not R(evised)-AMSTAR, to have good measurement properties. J Clin Epidemiol 2015;68(05):574–583
• ⁸
  Atallah AN, Castro AA. Revisão sistemática da literatura e metanálise: Medicina baseada em evidência: Fundamentos da pesquisa clínica. São Paulo: Lemos Editorial; 1998
• ⁹
  Sampaio RF, Mancini MC. Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. RevBrasFisioter 2007;11(01):83–89
• ¹⁰
  Burda BU, Holmer HK, Norris SL. Limitations of A Measurement Tool to Assess Systematic Reviews (AMSTAR) and suggestions for improvement. Syst Rev 2016;5:58
• ¹¹
  Wegewitz U, Weikert B, Fishta A, Jacobs A, Pieper D. Resuming the discussion of AMSTAR: What can (should) be made better? BMC Med Res Methodol 2016;16(01):111
• ¹²
  Shea BJ, Grimshaw JM, Wells GA, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol 2007;7:10
• ¹³
  Fleming PS, Seehra J, Polychronopoulou A, Fedorowicz Z, Pandis N. Cochrane and non-Cochrane systematic reviews in leading orthodontic journals: a quality paradigm? Eur J Orthod 2013;35(02): 244–248
• ¹⁴
  Li L, Tian J, Tian H, Sun R, Liu Y, Yang K. Quality and transparency of overviews of systematic reviews. J Evid Based Med 2012;5(03): 166–173

Datas de Publicação

• Publicação nesta coleção
  29 Set 2021
• Data do Fascículo
  Jul-Aug 2021

Histórico

• Recebido
  29 Out 2019
• Aceito
  20 Fev 2020