Resumo
Diretrizes clínicas (DCs) são recomendações estruturadas baseadas na revisão sistemática da evidência disponível, sendo ferramentas úteis na tomada de decisões clínicas. Entretanto, estudos têm levantado preocupação quanto à qualidade metodológica e científica de várias DCs, que podem afetar sua aplicação na prática clínica. O objetivo do presente estudo foi fazer uma avaliação sistemática da qualidade metodológica das DCs que abordam o tratamento da doença arterial obstrutiva carotídea, publicadas entre 2000 e 2019, utilizando a ferramenta AGREE II (Appraisal of Guidelines Research and Evaluation Instrument II). Os pesquisadores avaliaram independentemente a qualidade das DCs incluídas no estudo em cada um dos seis domínios da ferramenta AGREE II. Por meio de um sistema de pontuação, as DCs foram classificadas em alta, moderada e baixa qualidade. Um total de nove DCs foram selecionadas. Exceto pelo domínio dois (Kappa = 0,715), houve concordância excelente entre os três avaliadores (Kappa > 0,75). Considerando-se a avaliação global da qualidade metodológica das DCs, cinco foram consideradas de alta qualidade (55%), duas foram consideradas de qualidade moderada e duas foram consideradas de baixa qualidade. Concluímos que (1) foi factível a utilização da AGREE II para a avaliação de DCs sobre o tratamento da doença arterial obstrutiva carotídea com alto grau de concordância inter-avaliadores; e que (2) a maioria das DCs disponíveis sobre o tratamento da doença arterial obstrutiva carotídea tem alta qualidade metodológica.
Palavras-chave:
guia de prática clínica; doenças das artérias carótidas; aterosclerose; estenose das carótidas
Abstract
Clinical Practice Guidelines (CPG) are structured recommendations based on systematic reviews of the available evidence and are useful tools to support clinical decision-making. However, studies have raised concerns about the methodological and scientific quality of several CPG, which can affect their application in clinical practice. The objective of this study was to perform a systematic appraisal of the methodological quality of carotid atherosclerotic disease clinical guidelines, published from 2000 to 2019, using the AGREE II instrument (Appraisal of Guidelines for Research and Evaluation Instrument II). The appraisers independently assessed the quality of the CPG included in the study for each of the 6 domains of the AGREE II tool. The CPG were rated as high, moderate, or low quality using a points scale. A total of 9 CPGs were selected for appraisal. Except for domain 2 (kappa=0.715), excellent agreement was observed between the appraisers (kappa>0.75). Five of the CPGs were rated as high overall methodological quality rating, 5 were rated as moderate overall methodological quality, and 2 were rated low overall methodological quality. The authors conclude that: (1) appraisal of carotid atherosclerotic disease clinical guidelines using the AGREE II instrument is feasible, with a high degree of agreement among appraisers; and (2) that most CPGs on the management of atherosclerotic carotid disease have high methodological quality.
Keywords:
practice guideline; carotid artery diseases; atherosclerosis; carotid stenosis
INTRODUÇÃO
As diretrizes clínicas (DCs) são recomendações estruturadas desenvolvidas para auxiliar profissionais de saúde na tomada de decisão frente a pacientes individuais, em circunstâncias específicas, baseadas na revisão sistemática da evidência disponível e na avaliação de riscos e benefícios das alternativas terapêuticas disponíveis11 Field MJ, Lohr KN. Clinical practice guidelines: directions for a new program. Washington: National Academies Press; 1990. [citado 2022 maio 10]. https://nap.nationalacademies.org/catalog/1626/clinical-practice-guidelines-directions-for-a-new-program.
https://nap.nationalacademies.org/catalo...
,22 Graham R, Mancher M, Wolman DM, Greenfield S, Steinberg E. Clinical practice guidelines we can trust. Washington: National Academies Press; 2011. http://dx.doi.org/10.17226/13058.
http://dx.doi.org/10.17226/13058...
. Os profissionais de saúde, bem como gestores e financiadores de saúde, enxergam as DCs como ferramentas capazes de reduzir o hiato existente entre a prática médica assistencial e a evidência científica oriunda de ensaios clínicos realizados em cenários controlados33 Woolf SH, Grol R, Hutchinson A, Eccles M, Grimshaw J. Clinical guidelines: potential benefits, limitations, and harms of clinical guidelines. BMJ. 1999;318(7182):527-30. http://dx.doi.org/10.1136/bmj.318.7182.527. PMid:10024268.
http://dx.doi.org/10.1136/bmj.318.7182.5...
,44 Grol R. Successes and failures in the implementation of evidence-based guidelines for clinical practice. Med Care. 2001;39(8):II46-54. http://dx.doi.org/10.1097/00005650-200108002-00003. PMid:11583121.
http://dx.doi.org/10.1097/00005650-20010...
. Portanto, as DCs baseadas na melhor evidência científica disponível servem para embasar a tomada de decisão clínica frente às particularidades de cada paciente, bem como para auxiliar gestores na regulação de sistemas de saúde55 Reis ECD, Passos SRL, Santos MABD. Quality assessment of clinical guidelines for the treatment of obesity in adults: application of the AGREE II instrument. Cad Saúde Pública. 2018;34(6):e00050517. http://dx.doi.org/10.1590/0102-311x00050517. PMid:29952398.
http://dx.doi.org/10.1590/0102-311x00050...
. Entretanto, vários estudos têm identificado DCs de qualidade científica metodológica baixa a moderada, o que levanta uma preocupação nos profissionais de saúde que as utilizam para tomar decisões66 Al-Ansary LA, Tricco AC, Adi Y, et al. A systematic review of recent clinical practice guidelines on the diagnosis, assessment and management of hypertension. PLoS One. 2013;8(1):e53744. http://dx.doi.org/10.1371/journal.pone.0053744. PMid:23349738.
http://dx.doi.org/10.1371/journal.pone.0...
,77 Kung J, Miller RR, Mackowiak PA. Failure of clinical practice guidelines to meet institute of medicine standards: two more decades of little, if any, progress. Arch Intern Med. 2012;172(21):1628-33. http://dx.doi.org/10.1001/2013.jamainternmed.56. PMid:23089902.
http://dx.doi.org/10.1001/2013.jamainter...
.
Algumas ferramentas têm sido desenvolvidas para a avaliação da qualidade de DCs88 Vlayen J, Aertgeerts B, Hannes K, Sermeus W, Ramaekers D. A systematic review of appraisal tools for clinical practice guidelines: multiple similarities and one common deficit. Int J Qual Health Care. 2005;17(3):235-42. http://dx.doi.org/10.1093/intqhc/mzi027. PMid:15743883.
http://dx.doi.org/10.1093/intqhc/mzi027...
,99 Siering U, Eikermann M, Hausner E, Hoffmann-Eßer W, Neugebauer EA. Appraisal tools for clinical practice guidelines: a systematic review. PLoS One. 2013;8(12):e82915. http://dx.doi.org/10.1371/journal.pone.0082915. PMid:24349397.
http://dx.doi.org/10.1371/journal.pone.0...
. Entre elas, se destacam a Appraisal of Guidelines Research and Evaluation Instrument (AGREE)1010 AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003;12(1):18-23. http://dx.doi.org/10.1136/qhc.12.1.18. PMid:12571340.
http://dx.doi.org/10.1136/qhc.12.1.18...
e sua segunda versão (AGREE II), publicada em 20091111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
, amplamente utilizada e validada em vários idiomas1212 Alonso-Coello P, Irfan A, Solà I, et al. The quality of clinical practice guidelines over the last two decades: a systematic review of guideline appraisal studies. Qual Saf Health Care. 2010;19(6):e58. PMid:21127089.,1313 Legido-Quigley H, Panteli D, Brusamento S, et al. Clinical guidelines in the European Union: mapping the regulatory basis, development, quality control, implementation and evaluation across member states. Health Policy. 2012;107(2-3):146-56. http://dx.doi.org/10.1016/j.healthpol.2012.08.004. PMid:22939646.
http://dx.doi.org/10.1016/j.healthpol.20...
,1414 Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública. 2014;30(5):1111-4. http://dx.doi.org/10.1590/0102-311X00174912. PMid:24936826.
http://dx.doi.org/10.1590/0102-311X00174...
, inclusive na língua portuguesa1414 Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública. 2014;30(5):1111-4. http://dx.doi.org/10.1590/0102-311X00174912. PMid:24936826.
http://dx.doi.org/10.1590/0102-311X00174...
. A AGREE II1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
tem sido utilizada no Brasil com maior frequência nos últimos anos, tendo sido aplicada no processo de elaboração de DCs elaboradas pelo Ministério da Saúde1515 Ronsoni RM, Pereira CC, Stein AT, Osanai MH, Machado CJ. Avaliação de oito Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) do Ministério da Saúde por meio do instrumento AGREE II: um estudo piloto. Cad Saúde Pública. 2015;31(6):1157-62. http://dx.doi.org/10.1590/0102-311X00118814. PMid:26200364.
http://dx.doi.org/10.1590/0102-311X00118...
, na avaliação de DCs do tratamento de doenças não infecciosas1616 Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367. PMid:27846245.
http://dx.doi.org/10.1371/journal.pone.0...
e no suporte da elaboração de DCs por médicos especialistas de diversas áreas1717 Cotrim HP, Parise ER, Figueiredo-Mendes C, Galizzi-Filho J, Porta G, Oliveira CP. Nonalcoholic fatty liver disease Brazilian Society of Hepatology Consensus. Arq Gastroenterol. 2016;53(2):118-22. http://dx.doi.org/10.1590/S0004-28032016000200013. PMid:27305420.
http://dx.doi.org/10.1590/S0004-28032016...
,1818 Westphal GA, Garcia VD, Souza RL, et al. Guidelines for the assessment and acceptance of potential brain-dead organ donors. Rev Bras Ter Intensiva. 2016;28(3):220-55. http://dx.doi.org/10.5935/0103-507X.20160049. PMid:27737418.
http://dx.doi.org/10.5935/0103-507X.2016...
.
A ferramenta AGREE II1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
destina-se: (1) aos profissionais de saúde, que podem realizar uma avaliação de uma diretriz antes de adotar suas recomendações na prática clínica; (2) aos elaboradores de diretrizes, para que possam seguir uma metodologia de desenvolvimento estruturada e rigorosa; (3) aos gestores de políticas de saúde, com objetivo de auxiliá-los a decidir quais DCs podem ser utilizadas para embasar a tomada de decisões em políticas de saúde; e (4) aos educadores, com o intuito de aprimorar suas habilidades de avaliação crítica e reforçar quais as competências essenciais no desenvolvimento das DCs para que elas possam embasar decisões clínicas. Um total de 33 traduções oficiais da AGREE1010 AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003;12(1):18-23. http://dx.doi.org/10.1136/qhc.12.1.18. PMid:12571340.
http://dx.doi.org/10.1136/qhc.12.1.18...
(primeira versão) e da AGREE II1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
estão disponíveis e são utilizadas pela comunidade internacional1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
.
As doenças vasculares extracardíacas apresentam alta prevalência na população mundial com mais de 60 anos de idade. Entre elas, está a doença arterial obstrutiva carotídea extracraniana (DAOC), na qual a grande maioria das intervenções cirúrgicas ocorre em indivíduos totalmente assintomáticos1919 Abbott AL. Medical (nonsurgical) intervention alone is now best for prevention of stroke associated with asymptomatic severe carotid stenosis: results of a systematic review and analysis. Stroke. 2009;40(10):e573-83. http://dx.doi.org/10.1161/STROKEAHA.109.556068. PMid:19696421.
http://dx.doi.org/10.1161/STROKEAHA.109....
. Considerando que indivíduos assintomáticos têm impacto nulo dessa doença na sua qualidade de vida e que não há intervenção, cirúrgica ou medicamentosa, que não incorra em algum risco (e custo), justifica-se uma avaliação sistemática da qualidade das DCs que norteiam o tratamento dessa doença, visando auxiliar tanto o médico assistente na tomada de decisão quanto o gestor e financiador do sistema de saúde, com o objetivo de avaliar se o recurso disponibilizado está sendo racionalmente utilizado.
A DAOC, caracterizada anatomicamente por uma estenose ou oclusão da artéria carótida, é, majoritariamente, decorrente do processo aterosclerótico que afeta principalmente a bifurcação carotídea, sendo responsável por aproximadamente 20% dos casos de acidente vascular cerebral isquêmico (AVCi)2020 Sitrângulo CJ, Silva ES. Carotid atherosclerotic disease. J Vasc Bras. 2018;17(3):179-83. PMid:30643502.. O tratamento da DAOC consiste na abordagem clínica medicamentosa, com controle clínico rigoroso das doenças associadas (hipertensão arterial sistêmica, diabetes melito, dislipidemia e tabagismo) e na conduta cirúrgica em casos selecionados (endarterectomia carotídea ou angioplastia com implante de stent)1919 Abbott AL. Medical (nonsurgical) intervention alone is now best for prevention of stroke associated with asymptomatic severe carotid stenosis: results of a systematic review and analysis. Stroke. 2009;40(10):e573-83. http://dx.doi.org/10.1161/STROKEAHA.109.556068. PMid:19696421.
http://dx.doi.org/10.1161/STROKEAHA.109....
,2020 Sitrângulo CJ, Silva ES. Carotid atherosclerotic disease. J Vasc Bras. 2018;17(3):179-83. PMid:30643502.. Em pacientes sintomáticos, existe consenso quanto ao tratamento cirúrgico para prevenção secundária de um novo AVCi; já nos casos em que os pacientes diagnosticados com DAOC são assintomáticos, a conduta terapêutica cirúrgica para o tratamento da estenose permanece controversa2020 Sitrângulo CJ, Silva ES. Carotid atherosclerotic disease. J Vasc Bras. 2018;17(3):179-83. PMid:30643502..
O presente estudo consiste em uma avaliação sistemática da qualidade metodológica das DCs que abordam o tratamento da DAOC, por meio da utilização da ferramenta AGREE II.
MÉTODOS
As buscas foram realizadas em duas bases de dados bibliográficas eletrônicas (PubMed/MEDLINE e SciELO) e no Google Acadêmico. Foram utilizados os seguintes descritores: “carotid artery disease”, “atherosclerotic” e “practice guideline”. Foram incluídos estudos tipo DCs e consensos que abordassem o tratamento da DAOC publicados entre 2000 e 2019. Foram excluídas publicações em língua diversa de inglês, português e espanhol. Dois avaliadores participaram da triagem inicial dos estudos a serem incluídos na seleção das DCs a serem analisadas, por meio da leitura dos títulos e resumos.
Três avaliadores (SGBC, JCR e LPC) avaliaram, independentemente, as DCs incluídas no estudo, pontuando-as desde 1 (baixa qualidade) até 7 (alta qualidade), em cada um dos 23 itens dos seis domínios da ferramenta AGREE II: 1) escopo e finalidade; 2) envolvimento das partes interessadas; 3) rigor do desenvolvimento; 4) clareza e apresentação; 5) aplicabilidade; e 6) independência editorial (Tabela 1). A seguinte fórmula1212 Alonso-Coello P, Irfan A, Solà I, et al. The quality of clinical practice guidelines over the last two decades: a systematic review of guideline appraisal studies. Qual Saf Health Care. 2010;19(6):e58. PMid:21127089. foi utilizada para a geração do escore ponderado (em percentual) de cada domínio: (escore obtido - escore mínimo possível)/(escore máximo possível - escore mínimo possível) × 100. Todas as avaliações e pontuações foram realizadas de acordo com as orientações do manual de utilização da AGREE II, disponível no site do AGREE Research Trust1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
.
Itens e domínios do instrumento AGREE II (Appraisal of Guidelines Research and Evaluation Instrument II)* * Extraído de AGREE Next Steps Consortium11. .
Para a análise do grau de concordância entre os avaliadores, foi utilizado o coeficiente de concordância Kappa de Fleiss2121 Fleiss JL, Levin B, Paik MC. Statistical method for rates and proportions. 3a ed. Hoboken: John Wiley & Sons; 2003. The measurement of interrater agreement, p. 598-626. http://dx.doi.org/10.1002/0471445428.ch18.
http://dx.doi.org/10.1002/0471445428.ch1...
. Conforme preconizado por Landis & Koch2222 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. http://dx.doi.org/10.2307/2529310. PMid:843571.
http://dx.doi.org/10.2307/2529310...
, os valores de Kappa de Fleiss ≥ 0,75 foram considerados representativos de uma concordância excelente entre os avaliadores. Para os domínios nos quais obteve-se valor de Kappa de Fleiss < 0,75, foi preconizada uma reunião dos três avaliadores para discussão e eventual revisão, independente dos escores individuais.
Para a análise da qualidade metodológica global de cada DC, foi utilizada a métrica proposta por Molino et al.1616 Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367. PMid:27846245.
http://dx.doi.org/10.1371/journal.pone.0...
, que prioriza a análise do terceiro domínio, por se tratar da avaliação do rigor metodológico no desenvolvimento da DC. Então, para diferenciar a qualidade das DCs, foi utilizado o terceiro domínio para categorizá-las em “alta”, “moderada” ou “baixa” e subcategorizá-las em graus A, B e C, com base na análise dos outros dois domínios de melhor performance na avaliação com a ferramenta AGREE II (Figura 1).
Métrica utilizada para avaliação da qualidade metodológica global de cada diretriz clínica (extraída de Molino et al.1616 Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367. PMid:27846245.
http://dx.doi.org/10.1371/journal.pone.0... ). AGREE II: Appraisal of Guidelines Research and Evaluation Instrument II.
RESULTADOS
Nove DCs2323 Aboyans V, Ricco JB, Bartelink MEL, et al. 2017 ESC Guidelines on the Diagnosis and Treatment of Peripheral Arterial Diseases, in collaboration with the European Society for Vascular Surgery (ESVS): document covering atherosclerotic disease of extracranial carotid and vertebral, mesenteric, renal, upper and lower extremity arteries. Endorsed by: the European Stroke Organization (ESO) the Task Force for the Diagnosis and Treatment of Peripheral Arterial Diseases of the European Society of Cardiology (ESC) and of the European Society for Vascular Surgery (ESVS). Eur Heart J. 2018;39(9):763-816. http://dx.doi.org/10.1093/eurheartj/ehx095. PMid:28886620.
http://dx.doi.org/10.1093/eurheartj/ehx0...
24 Naylor AR, Ricco JB, Borst GJ, et al. Management of atherosclerotic carotid and vertebral artery disease: 2017 clinical practice guidelines of the European Society for Vascular Surgery (ESVS). Eur J Vasc Endovasc Surg. 2018;55(1):3-81. http://dx.doi.org/10.1016/j.ejvs.2017.06.021. PMid:28851594.
http://dx.doi.org/10.1016/j.ejvs.2017.06...
25 Presti C, Miranda FM Jr, Silva JCCB, et al. Doença carotídea extracraniana - diagnóstico e tratamento. São Paulo: Sociedade Brasileira de Angiologia e de Cirurgia Vascular; 2015. [citado 2022 julho 12]. https://sbacvsp.com.br/wp-content/uploads/2016/05/doenca-carotidea-extracraniana.pdf.
https://sbacvsp.com.br/wp-content/upload...
26 Brott TG, Halperin JL, Abbara S, et al. 2011ASA/ACCF/AHA/AANN/AANS/ACR/ASNR/CNS/SAIP/SCAI/SIR/SNIS/SVM/SVS guideline on the management of patients with extracranial carotid and vertebral artery disease: executive summary. Stroke. 2011;42(8):e420-63. PMid:21282494.
27 Ricotta JJ, Aburahma A, Ascher E, Eskandari M, Faries P, Lal BK. Updated Society for Vascular Surgery guidelines for management of extracranial carotid disease. J Vasc Surg. 2011;54(3):e1-31. http://dx.doi.org/10.1016/j.jvs.2011.07.031. PMid:21889701.
http://dx.doi.org/10.1016/j.jvs.2011.07....
28 National Institute for Health and Clinical Excellence - NICE. Carotid artery stent placement for asymptomatic extracranial carotid stenosis. Londres: NICE; 2011. [citado 2022 julho 12]. https://www.nice.org.uk/guidance/ipg388.
https://www.nice.org.uk/guidance/ipg388...
29 Hobson RW 2nd, Mackey WC, Ascher E, et al. Management of atherosclerotic carotid artery disease: clinical practice guidelines of the Society for Vascular Surgery. J Vasc Surg. 2008;48(2):480-6. http://dx.doi.org/10.1016/j.jvs.2008.05.036. PMid:18644494.
http://dx.doi.org/10.1016/j.jvs.2008.05....
30 Goldstein LB, Adams R, Alberts MJ, et al. Primary prevention of ischemic stroke: a guideline from the American Heart Association/American Stroke Association Stroke Council: cosponsored by the Atherosclerotic Peripheral Vascular Disease Interdisciplinary Working Group; Cardiovascular Nursing Council; Clinical Cardiology Council; Nutrition, Physical Activity, and Metabolism Council; and the Quality of Care and Outcomes Research Interdisciplinary Working Group: the American Academy of Neurology affirms the value of this guideline. Stroke. 2006;37(6):1583-633. http://dx.doi.org/10.1161/01.STR.0000223048.70103.F1. PMid:16675728.
http://dx.doi.org/10.1161/01.STR.0000223...
-3131 Betteridge DJ, Belch J, Brown MM, et al. Guidelines on the management of secondary prophylaxis of vascular events in stable patients in primary care. Int J Clin Pract. 2004;58(2):153-68. http://dx.doi.org/10.1111/j.1368-5031.2004.0109.x. PMid:15055864.
http://dx.doi.org/10.1111/j.1368-5031.20...
foram identificadas e listadas de acordo com o ano de publicação (Tabela 2). Oito DCs foram escritas na língua inglesa, recuperadas da PubMed/MEDLINE, e uma foi escrita em português, recuperada do Google Acadêmico. A maioria das DCs identificadas foi publicada após o ano de 2010 (66%), ou seja, na segunda metade do período estipulado para a busca.
Os escores iniciais de cada domínio e a avaliação global inicial das nove DCs estão dispostos na Tabela 3. Exceto pelo segundo domínio (envolvimento das partes interessadas), houve concordância excelente entre os avaliadores. Realizou-se, então, uma reunião dos três avaliadores, para discussão e possibilidade de eventual revisão das pontuações atribuídas às DCs no segundo domínio. Após a reunião de discussão, houve total liberdade para que cada avaliador revisse (ou não) individualmente sua pontuação inicial, sendo recalculado o coeficiente de concordância e chegando-se ao resultado final do segundo domínio, agora também com concordância excelente (excelente ou total concordância) entre os avaliadores (Tabela 4).
Escores iniciais dos seis domínios das nove diretrizes clínicas utilizando a ferramenta AGREE II (Appraisal of Guidelines Research and Evaluation Instrument II).
Escores finais (após reunião dos avaliadores) dos seis domínios e avaliação global da qualidade metodológica das nove diretrizes clínicas utilizando a ferramenta AGREE II (Appraisal of Guidelines Research and Evaluation Instrument II).
Considerando-se a avaliação global da qualidade metodológica das DCs e utilizando-se a métrica proposta por Molino et al.1616 Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367. PMid:27846245.
http://dx.doi.org/10.1371/journal.pone.0...
, cinco diretrizes foram consideradas de alta qualidade (ALTA A), o que corresponde a 55% das DCs disponíveis; duas diretrizes foram consideradas de qualidade moderada (MODERADA A); e duas diretrizes foram consideradas de baixa qualidade (BAIXA A) (Tabela 4).
DISCUSSÃO
Quanto à avaliação global da qualidade metodológica das DCs, se considerarmos apenas as publicadas em inglês e disponíveis na PubMed/MEDLINE, 62,5% foram consideradas como de alta qualidade (todas ALTA A). Quanto à avaliação negativa da qualidade metodológica global da única DC disponível em português, conforme também encontrado na avaliação de qualidade de DCs sobre doenças cardíacas3232 Sabharwal S, Patel V, Nijjer SS, et al. Guidelines in cardiac clinical practice: evaluation of their methodological quality using the AGREE II instrument. J R Soc Med. 2013;106(8):315-22. http://dx.doi.org/10.1177/0141076813486261. PMid:23759888.
http://dx.doi.org/10.1177/01410768134862...
e sobre outras doenças crônicas1616 Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367. PMid:27846245.
http://dx.doi.org/10.1371/journal.pone.0...
,3333 Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA. 1999;281(20):1900-5. PMid:10349893., há bastante espaço para melhoria da qualidade metodológica por meio do uso de instrumentos como o AGREE II na fase de elaboração. Tão importante quanto isso, fica evidente a necessidade de que leitores de DCs e médicos assistenciais recorram, também, a ferramentas de fácil utilização, como a AGREE II, durante a leitura crítica das DCs que utilizam para embasar suas decisões frente a pacientes3232 Sabharwal S, Patel V, Nijjer SS, et al. Guidelines in cardiac clinical practice: evaluation of their methodological quality using the AGREE II instrument. J R Soc Med. 2013;106(8):315-22. http://dx.doi.org/10.1177/0141076813486261. PMid:23759888.
http://dx.doi.org/10.1177/01410768134862...
.
Hoffmann-Eßer et al.3434 Hoffmann-Eßer W, Siering U, Neugebauer EAM, Brockhaus AC, McGauran N, Eikermann M. Guideline appraisal with AGREE II: online survey of the potential influence of AGREE II items on overall assessment of guideline quality and recommendation for use. BMC Health Serv Res. 2018;18(1):143. http://dx.doi.org/10.1186/s12913-018-2954-8. PMid:29482555.
http://dx.doi.org/10.1186/s12913-018-295...
, em uma pesquisa on-line com 376 pesquisadores, evidenciaram que os domínios que mais influenciam na avaliação da qualidade metodológica global de uma DC são os domínios três (rigor no desenvolvimento) e seis (independência editorial). Em nosso estudo, as duas DCs que foram classificadas como de baixa qualidade também tiveram as piores pontuações nesses dois domínios. Destaca-se, assim, tanto a importância do domínio três, que contém o maior número de itens avaliados (oito itens), quanto a importância do domínio seis, apesar de contemplar apenas dois itens.
Presume-se que o ano de publicação da nona DC (2004), ano subsequente ao ano de publicação da primeira versão do instrumento AGREE1010 AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003;12(1):18-23. http://dx.doi.org/10.1136/qhc.12.1.18. PMid:12571340.
http://dx.doi.org/10.1136/qhc.12.1.18...
, seja um fator relevante para a baixa qualidade metodológica global, visto que o uso da ferramenta AGREE ainda estava no início de sua difusão. Já a terceira DC, apesar de mais recente, pode não ter considerado a ferramenta AGREE II1111 AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org.
http://www.agreetrust.org...
ou outras existentes88 Vlayen J, Aertgeerts B, Hannes K, Sermeus W, Ramaekers D. A systematic review of appraisal tools for clinical practice guidelines: multiple similarities and one common deficit. Int J Qual Health Care. 2005;17(3):235-42. http://dx.doi.org/10.1093/intqhc/mzi027. PMid:15743883.
http://dx.doi.org/10.1093/intqhc/mzi027...
,99 Siering U, Eikermann M, Hausner E, Hoffmann-Eßer W, Neugebauer EA. Appraisal tools for clinical practice guidelines: a systematic review. PLoS One. 2013;8(12):e82915. http://dx.doi.org/10.1371/journal.pone.0082915. PMid:24349397.
http://dx.doi.org/10.1371/journal.pone.0...
como base para sua elaboração.
Uma das restrições relacionadas à utilização da ferramenta AGREE II é a ampla variabilidade da sua escala (1 a 7) para pontuação de cada um dos 23 itens por cada avaliador, podendo levar a um grau não desprezível de subjetividade por parte de cada avaliador3232 Sabharwal S, Patel V, Nijjer SS, et al. Guidelines in cardiac clinical practice: evaluation of their methodological quality using the AGREE II instrument. J R Soc Med. 2013;106(8):315-22. http://dx.doi.org/10.1177/0141076813486261. PMid:23759888.
http://dx.doi.org/10.1177/01410768134862...
. Entretanto, o elevado grau de concordância inter-avaliadores, por nós encontrado, evidencia que a AGREE II pode superar esse eventual viés. Mesmo no único domínio no qual houve a discussão e repontuação (domínio dois), o grau de concordância inicial já estava bem próximo a excelente (Kappa de Fleiss inicial de 0,715). Isso é consistente com estudos que confirmam a validade da AGREE II como ferramenta de avaliação de DCs em diversas especialidades médicas, mesmo quando há algum grau de heterogeneidade entre os avaliadores3535 Brouwers MC, Kho ME, Browman GP, et al. Development of the AGREE II, part 2: assessment of validity of items and tools to support application. CMAJ. 2010;182(10):E472-8. http://dx.doi.org/10.1503/cmaj.091716. PMid:20513779.
http://dx.doi.org/10.1503/cmaj.091716...
.
Algumas críticas à aplicabilidade do instrumento AGREE II em DCs de doenças cirúrgicas são destacadas em uma proposta de protocolo recente3636 Antoniou GA, Mavridis D, Tsokani S, et al. Protocol of an interdisciplinary consensus project aiming to develop an AGREE II extension for guidelines in surgery. BMJ Open. 2020;10(8):e037107. http://dx.doi.org/10.1136/bmjopen-2020-037107. PMid:32784259.
http://dx.doi.org/10.1136/bmjopen-2020-0...
, que ressalta a dificuldade em se abordar a custo-efetividade por diferentes motivos: por ser um item muito escasso na literatura cirúrgica, pela variabilidade em experiência cirúrgica em diversos países, pela necessidade de aplicação do instrumento em diferentes ambientes de saúde e pelos comparadores comuns para atender aos detalhes das intervenções mais complexas. Esse protocolo propôs, então, uma extensão ao instrumento AGREE para avaliação de DCs de doenças cirúrgicas, com a inclusão de uma lista de verificação com itens específicos relacionados às peculiaridades das mesmas. Assim, o objetivo do desenvolvimento dessa extensão seria ampliar a aplicabilidade do instrumento e aumentar o seu valor para as DCs de prática clínica em cirurgia.
Uma limitação do presente estudo foi a participação de apenas um subgrupo específico de avaliadores. Os três avaliadores eram médicos especialistas em cirurgia vascular que têm como atividade principal a assistência, não havendo a participação de outros avaliadores, como gestores, educadores e/ou elaboradores de DCs. Também não houve participação de médicos assistentes de outras especialidades que participam na tomada de decisões frente a pacientes portadores de DAC (p. ex., neurologistas e cardiologistas). Outra ressalva deve ser feita quanto ao fato de que o instrumento AGREE II foi desenvolvido para avaliar a qualidade metodológica do desenvolvimento de DCs, não sendo adequado para a análise específica do mérito de conteúdo das mesmas, conforme já pontuado por outros autores que também utilizaram o instrumento para avaliar a qualidade de DCs direcionadas a outras doenças vasculares3737 Zhang P, Lu Q, Li H, et al. The quality of guidelines for diabetic foot ulcers: A critical appraisal using the AGREE II instrument. PLoS One. 2019;14(9):e0217555. http://dx.doi.org/10.1371/journal.pone.0217555. PMid:31545806.
http://dx.doi.org/10.1371/journal.pone.0...
.
CONCLUSÕES
Com base em nossos achados, podemos concluir o seguinte: (1) foi factível a utilização do AGREE II para a avaliação de DCs sobre o tratamento da DAC com alto grau de concordância inter-avaliadores; e (2) a maioria das DCs sobre o tratamento da DAC publicadas na língua inglesa tem alta qualidade metodológica global.
-
Como citar: Coutinho SGB, Ricardo JC, Coutinho AIM, Cavalcante LP. Qualidade metodológica das diretrizes de tratamento da doença arterial obstrutiva carotídea: uma avaliação sistemática com a utilização do instrumento AGREE II. J Vasc Bras. 2022;21:e20220032. https://doi.org/10.1590/1677-5449.202200321
-
Fonte de financiamento: Nenhuma.
-
O estudo foi realizado no [Programa de Pós-graduação em Cirurgia (PPGRACI), Universidade Federal do Amazonas (UFAM), Manaus, AM, Brasil.]
REFERÊNCIAS
-
1Field MJ, Lohr KN. Clinical practice guidelines: directions for a new program. Washington: National Academies Press; 1990. [citado 2022 maio 10]. https://nap.nationalacademies.org/catalog/1626/clinical-practice-guidelines-directions-for-a-new-program
» https://nap.nationalacademies.org/catalog/1626/clinical-practice-guidelines-directions-for-a-new-program -
2Graham R, Mancher M, Wolman DM, Greenfield S, Steinberg E. Clinical practice guidelines we can trust. Washington: National Academies Press; 2011. http://dx.doi.org/10.17226/13058
» http://dx.doi.org/10.17226/13058 -
3Woolf SH, Grol R, Hutchinson A, Eccles M, Grimshaw J. Clinical guidelines: potential benefits, limitations, and harms of clinical guidelines. BMJ. 1999;318(7182):527-30. http://dx.doi.org/10.1136/bmj.318.7182.527 PMid:10024268.
» http://dx.doi.org/10.1136/bmj.318.7182.527 -
4Grol R. Successes and failures in the implementation of evidence-based guidelines for clinical practice. Med Care. 2001;39(8):II46-54. http://dx.doi.org/10.1097/00005650-200108002-00003 PMid:11583121.
» http://dx.doi.org/10.1097/00005650-200108002-00003 -
5Reis ECD, Passos SRL, Santos MABD. Quality assessment of clinical guidelines for the treatment of obesity in adults: application of the AGREE II instrument. Cad Saúde Pública. 2018;34(6):e00050517. http://dx.doi.org/10.1590/0102-311x00050517 PMid:29952398.
» http://dx.doi.org/10.1590/0102-311x00050517 -
6Al-Ansary LA, Tricco AC, Adi Y, et al. A systematic review of recent clinical practice guidelines on the diagnosis, assessment and management of hypertension. PLoS One. 2013;8(1):e53744. http://dx.doi.org/10.1371/journal.pone.0053744 PMid:23349738.
» http://dx.doi.org/10.1371/journal.pone.0053744 -
7Kung J, Miller RR, Mackowiak PA. Failure of clinical practice guidelines to meet institute of medicine standards: two more decades of little, if any, progress. Arch Intern Med. 2012;172(21):1628-33. http://dx.doi.org/10.1001/2013.jamainternmed.56 PMid:23089902.
» http://dx.doi.org/10.1001/2013.jamainternmed.56 -
8Vlayen J, Aertgeerts B, Hannes K, Sermeus W, Ramaekers D. A systematic review of appraisal tools for clinical practice guidelines: multiple similarities and one common deficit. Int J Qual Health Care. 2005;17(3):235-42. http://dx.doi.org/10.1093/intqhc/mzi027 PMid:15743883.
» http://dx.doi.org/10.1093/intqhc/mzi027 -
9Siering U, Eikermann M, Hausner E, Hoffmann-Eßer W, Neugebauer EA. Appraisal tools for clinical practice guidelines: a systematic review. PLoS One. 2013;8(12):e82915. http://dx.doi.org/10.1371/journal.pone.0082915 PMid:24349397.
» http://dx.doi.org/10.1371/journal.pone.0082915 -
10AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003;12(1):18-23. http://dx.doi.org/10.1136/qhc.12.1.18 PMid:12571340.
» http://dx.doi.org/10.1136/qhc.12.1.18 -
11AGREE Next Steps Consortium [site na Internet]. Ottawa: Canadian Institutes of Health Research; 2009. [citado 2022 jan 02]. http://www.agreetrust.org
» http://www.agreetrust.org -
12Alonso-Coello P, Irfan A, Solà I, et al. The quality of clinical practice guidelines over the last two decades: a systematic review of guideline appraisal studies. Qual Saf Health Care. 2010;19(6):e58. PMid:21127089.
-
13Legido-Quigley H, Panteli D, Brusamento S, et al. Clinical guidelines in the European Union: mapping the regulatory basis, development, quality control, implementation and evaluation across member states. Health Policy. 2012;107(2-3):146-56. http://dx.doi.org/10.1016/j.healthpol.2012.08.004 PMid:22939646.
» http://dx.doi.org/10.1016/j.healthpol.2012.08.004 -
14Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública. 2014;30(5):1111-4. http://dx.doi.org/10.1590/0102-311X00174912 PMid:24936826.
» http://dx.doi.org/10.1590/0102-311X00174912 -
15Ronsoni RM, Pereira CC, Stein AT, Osanai MH, Machado CJ. Avaliação de oito Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) do Ministério da Saúde por meio do instrumento AGREE II: um estudo piloto. Cad Saúde Pública. 2015;31(6):1157-62. http://dx.doi.org/10.1590/0102-311X00118814 PMid:26200364.
» http://dx.doi.org/10.1590/0102-311X00118814 -
16Molino CG, Romano-Lieber NS, Ribeiro E, Melo DO. Non-communicable disease clinical practice guidelines in Brazil: a systematic assessment of methodological quality and transparency. PLoS One. 2016;11(11):e0166367. http://dx.doi.org/10.1371/journal.pone.0166367 PMid:27846245.
» http://dx.doi.org/10.1371/journal.pone.0166367 -
17Cotrim HP, Parise ER, Figueiredo-Mendes C, Galizzi-Filho J, Porta G, Oliveira CP. Nonalcoholic fatty liver disease Brazilian Society of Hepatology Consensus. Arq Gastroenterol. 2016;53(2):118-22. http://dx.doi.org/10.1590/S0004-28032016000200013 PMid:27305420.
» http://dx.doi.org/10.1590/S0004-28032016000200013 -
18Westphal GA, Garcia VD, Souza RL, et al. Guidelines for the assessment and acceptance of potential brain-dead organ donors. Rev Bras Ter Intensiva. 2016;28(3):220-55. http://dx.doi.org/10.5935/0103-507X.20160049 PMid:27737418.
» http://dx.doi.org/10.5935/0103-507X.20160049 -
19Abbott AL. Medical (nonsurgical) intervention alone is now best for prevention of stroke associated with asymptomatic severe carotid stenosis: results of a systematic review and analysis. Stroke. 2009;40(10):e573-83. http://dx.doi.org/10.1161/STROKEAHA.109.556068 PMid:19696421.
» http://dx.doi.org/10.1161/STROKEAHA.109.556068 -
20Sitrângulo CJ, Silva ES. Carotid atherosclerotic disease. J Vasc Bras. 2018;17(3):179-83. PMid:30643502.
-
21Fleiss JL, Levin B, Paik MC. Statistical method for rates and proportions. 3a ed. Hoboken: John Wiley & Sons; 2003. The measurement of interrater agreement, p. 598-626. http://dx.doi.org/10.1002/0471445428.ch18
» http://dx.doi.org/10.1002/0471445428.ch18 -
22Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. http://dx.doi.org/10.2307/2529310 PMid:843571.
» http://dx.doi.org/10.2307/2529310 -
23Aboyans V, Ricco JB, Bartelink MEL, et al. 2017 ESC Guidelines on the Diagnosis and Treatment of Peripheral Arterial Diseases, in collaboration with the European Society for Vascular Surgery (ESVS): document covering atherosclerotic disease of extracranial carotid and vertebral, mesenteric, renal, upper and lower extremity arteries. Endorsed by: the European Stroke Organization (ESO) the Task Force for the Diagnosis and Treatment of Peripheral Arterial Diseases of the European Society of Cardiology (ESC) and of the European Society for Vascular Surgery (ESVS). Eur Heart J. 2018;39(9):763-816. http://dx.doi.org/10.1093/eurheartj/ehx095 PMid:28886620.
» http://dx.doi.org/10.1093/eurheartj/ehx095 -
24Naylor AR, Ricco JB, Borst GJ, et al. Management of atherosclerotic carotid and vertebral artery disease: 2017 clinical practice guidelines of the European Society for Vascular Surgery (ESVS). Eur J Vasc Endovasc Surg. 2018;55(1):3-81. http://dx.doi.org/10.1016/j.ejvs.2017.06.021 PMid:28851594.
» http://dx.doi.org/10.1016/j.ejvs.2017.06.021 -
25Presti C, Miranda FM Jr, Silva JCCB, et al. Doença carotídea extracraniana - diagnóstico e tratamento. São Paulo: Sociedade Brasileira de Angiologia e de Cirurgia Vascular; 2015. [citado 2022 julho 12]. https://sbacvsp.com.br/wp-content/uploads/2016/05/doenca-carotidea-extracraniana.pdf
» https://sbacvsp.com.br/wp-content/uploads/2016/05/doenca-carotidea-extracraniana.pdf -
26Brott TG, Halperin JL, Abbara S, et al. 2011ASA/ACCF/AHA/AANN/AANS/ACR/ASNR/CNS/SAIP/SCAI/SIR/SNIS/SVM/SVS guideline on the management of patients with extracranial carotid and vertebral artery disease: executive summary. Stroke. 2011;42(8):e420-63. PMid:21282494.
-
27Ricotta JJ, Aburahma A, Ascher E, Eskandari M, Faries P, Lal BK. Updated Society for Vascular Surgery guidelines for management of extracranial carotid disease. J Vasc Surg. 2011;54(3):e1-31. http://dx.doi.org/10.1016/j.jvs.2011.07.031 PMid:21889701.
» http://dx.doi.org/10.1016/j.jvs.2011.07.031 -
28National Institute for Health and Clinical Excellence - NICE. Carotid artery stent placement for asymptomatic extracranial carotid stenosis. Londres: NICE; 2011. [citado 2022 julho 12]. https://www.nice.org.uk/guidance/ipg388
» https://www.nice.org.uk/guidance/ipg388 -
29Hobson RW 2nd, Mackey WC, Ascher E, et al. Management of atherosclerotic carotid artery disease: clinical practice guidelines of the Society for Vascular Surgery. J Vasc Surg. 2008;48(2):480-6. http://dx.doi.org/10.1016/j.jvs.2008.05.036 PMid:18644494.
» http://dx.doi.org/10.1016/j.jvs.2008.05.036 -
30Goldstein LB, Adams R, Alberts MJ, et al. Primary prevention of ischemic stroke: a guideline from the American Heart Association/American Stroke Association Stroke Council: cosponsored by the Atherosclerotic Peripheral Vascular Disease Interdisciplinary Working Group; Cardiovascular Nursing Council; Clinical Cardiology Council; Nutrition, Physical Activity, and Metabolism Council; and the Quality of Care and Outcomes Research Interdisciplinary Working Group: the American Academy of Neurology affirms the value of this guideline. Stroke. 2006;37(6):1583-633. http://dx.doi.org/10.1161/01.STR.0000223048.70103.F1 PMid:16675728.
» http://dx.doi.org/10.1161/01.STR.0000223048.70103.F1 -
31Betteridge DJ, Belch J, Brown MM, et al. Guidelines on the management of secondary prophylaxis of vascular events in stable patients in primary care. Int J Clin Pract. 2004;58(2):153-68. http://dx.doi.org/10.1111/j.1368-5031.2004.0109.x PMid:15055864.
» http://dx.doi.org/10.1111/j.1368-5031.2004.0109.x -
32Sabharwal S, Patel V, Nijjer SS, et al. Guidelines in cardiac clinical practice: evaluation of their methodological quality using the AGREE II instrument. J R Soc Med. 2013;106(8):315-22. http://dx.doi.org/10.1177/0141076813486261 PMid:23759888.
» http://dx.doi.org/10.1177/0141076813486261 -
33Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA. 1999;281(20):1900-5. PMid:10349893.
-
34Hoffmann-Eßer W, Siering U, Neugebauer EAM, Brockhaus AC, McGauran N, Eikermann M. Guideline appraisal with AGREE II: online survey of the potential influence of AGREE II items on overall assessment of guideline quality and recommendation for use. BMC Health Serv Res. 2018;18(1):143. http://dx.doi.org/10.1186/s12913-018-2954-8 PMid:29482555.
» http://dx.doi.org/10.1186/s12913-018-2954-8 -
35Brouwers MC, Kho ME, Browman GP, et al. Development of the AGREE II, part 2: assessment of validity of items and tools to support application. CMAJ. 2010;182(10):E472-8. http://dx.doi.org/10.1503/cmaj.091716 PMid:20513779.
» http://dx.doi.org/10.1503/cmaj.091716 -
36Antoniou GA, Mavridis D, Tsokani S, et al. Protocol of an interdisciplinary consensus project aiming to develop an AGREE II extension for guidelines in surgery. BMJ Open. 2020;10(8):e037107. http://dx.doi.org/10.1136/bmjopen-2020-037107 PMid:32784259.
» http://dx.doi.org/10.1136/bmjopen-2020-037107 -
37Zhang P, Lu Q, Li H, et al. The quality of guidelines for diabetic foot ulcers: A critical appraisal using the AGREE II instrument. PLoS One. 2019;14(9):e0217555. http://dx.doi.org/10.1371/journal.pone.0217555 PMid:31545806.
» http://dx.doi.org/10.1371/journal.pone.0217555
Datas de Publicação
-
Publicação nesta coleção
25 Nov 2022 -
Data do Fascículo
2022
Histórico
-
Recebido
09 Mar 2022 -
Aceito
12 Jul 2022