SciELO - Scientific Electronic Library Online

 
vol.31 issue6Low back pain prevalence in Brazil: a systematic reviewRegionalization and human development: a typology of health regions in Brazil author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

  • Portuguese (pdf)
  • Article in xml format
  • How to cite this article
  • SciELO Analytics
  • Curriculum ScienTI
  • Automatic translation

Indicators

Related links

Share


Cadernos de Saúde Pública

Print version ISSN 0102-311XOn-line version ISSN 1678-4464

Cad. Saúde Pública vol.31 no.6 Rio de Janeiro June 2015

https://doi.org/10.1590/0102-311X00118814 

QUESTÕES METODOLÓGICAS

Avaliação de oito Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) do Ministério da Saúde por meio do instrumento AGREE II: um estudo piloto

Evaluation of eight Clinical Protocols and Therapeutic Guidelines under the Brazilian Ministry of Health using the AGREE II instrument: a pilot study

Evaluación de ocho Protocolos Clínicos y Directrices Terapéuticas (PCDT) del Ministerio de Salud de Brasil mediante el instrumento AGREE II: un estudio piloto

Ricardo De March Ronsoni 1  

Claudia Cristina de Aguiar Pereira 2  

Airton Tetelbom Stein 3   4   5  

Mário Henrique Osanai 6  

Carla Jorge Machado 7  

1Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde, Brasília, Brasil.

2Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil.

3Universidade Federal de Ciências da Saúde de Porto Alegre, Porto Alegre, Brasil.

4Universidade Luterana do Brasil, Canoas, Brasil.

5Núcleo de Avaliação de Tecnologias em Saúde, Grupo Hospitalar Conceição, Porto Alegre, Brasil.

6 Conselho Regional de Medicina do Estado do Rio Grande do Sul, Porto Alegre, Brasil.

7Faculdade de Medicina, Universidade Federal de Minas Gerais, Belo Horizonte, Brasil.


RESUMO

Há, mundialmente, um crescente aumento de publicações de diretrizes clínicas, acompanhado de preocupações quanto à qualidade. Em 2000, o Ministério da Saúde iniciou a elaboração de Protocolos Clínicos e Diretrizes Terapêuticas (PCDT). O objetivo deste trabalho foi avaliar os PCDT elaborados após 2009, quanto à sua qualidade, utilizando o instrumento AGREE II (Appraisal of Guidelines for Research and Evaluation). Entre 2009 e 2012, foram identificados 59 PCDT, dos quais oito foram sorteados e avaliados por três avaliadores independentes. Para o item recomendação do uso da diretriz, dois avaliadores recomendaram o uso de todas, mas com modificações, e um não recomendou qualquer diretriz. Para o item classificação da qualidade global da diretriz, cuja avaliação poderia variar de 1 a 7, obteve-se média de 4,25 (DP = 0,46). Esses resultados apontam a necessidade de adequações nos PCDT, quanto aos domínios do AGREE II. Devido à limitação do instrumento utilizado, existe necessidade de novos estudos, inclusive sobre a qualidade das evidências utilizadas na elaboração dos PCDT.

Palavras-Chave: Protocolos Clínicos; Guias de Prática Clínica como Assunto; Avaliação

ABSTRACT

The number of clinical guidelines is increasing worldwide, while there are concerns regarding their quality. In 2000, the Brazilian Ministry of Health began its process of creating clinical guidelines, called Clinical Protocols and Therapeutic Guidelines (PCDT). The goal of this study was to assess the quality of Brazilian guidelines approved since 2009 using the AGREE II instrument (Appraisal of Guidelines for Research and Evaluation). We identified 59 PCDT from 2009 to 2012, of which eight were randomly selected and evaluated by three independent evaluators. For the item “recommends the guidelines”, two evaluators recommended the use of all eight, but with modifications, and one did not recommend any to the guidelines. Regarding the item “global quality of the guidelines” (varying from 1 to 7), the mean was 4.25 (SD = 0.46). The results showed the need for adjustments in the PCDT in relation to AGREE II domains. However, due to the instrument’s limitations, further studies are needed, including the quality of evidence used in the PCDT.

Key words: Clinical Protocols; Practice Guidelines as Topic; Evaluation

RESUMEN

El número de guías de práctica clínica está aumentando en todo el mundo, al mismo tiempo que existen dudas respecto a su calidad. En el año 2000, el Ministerio de Salud de Brasil inició su proceso de creación de guías clínicas, denominadas Protocolos Clínicos y Directrices Terapéuticas (PCDT). El objetivo de este trabajo fue evaluar la calidad de las guías que fueron elaboradas después de 2009, mediante el instrumento AGREE II (Instrumento para la Evaluación de Guías de Práctica Clínica). Entre 2009 y 2012, se identificaron 59 PCDT, de las cuales se han seleccionado 8, que fueron analizadas por 3 evaluadores independientes. Para el tema “recomendaría esta guía”, 2 evaluadores recomendaron el uso de las 8, pero con modificaciones y 1 no recomendó ninguna. En relación con el tema “calidad global de la guía”, la media fue de 4,25 (DP = 0,46). Estos resultados muestran la necesidad de ajustes en los PCDT, según los dominios del AGREE II. Sin embargo, debido a las limitaciones del instrumento, todavía existe la necesidad de nuevos estudios, entre ellos sobre la calidad de las evidencias utilizadas en el PCDT.

Palabras-clave: Protocolos Clínicos; Guías de Prática Clínica como Asunto; Evaluación

Introdução

Ao final dos anos 1970, deu-se o início da elaboração das diretrizes clínicas em vários países 1. Desde então, houve aumento do número de diretrizes clínicas em todas as áreas médicas 2,3, elaboradas, principalmente, por hospitais, sociedades médicas, sistemas públicos e privados de saúde e organizações de pacientes. Contudo, esse aumento quantitativo de publicações é acompanhado por preocupação quanto à qualidade das recomendações contidas nos documentos 4,5,6.

Com o propósito de orientar a melhoria da qualidade das diretrizes, foi desenvolvido em 2003 um instrumento de avaliação da qualidade, o AGREE (Appraisal of Guidelines for Research and Evaluation), por profissionais de 13 países 5,7. Atualmente em sua segunda versão, AGREE II 8,9, é utilizado por instituições nacionais e internacionais que elaboram diretrizes clínicas.

Seguindo a tendência mundial, o Ministério da Saúde iniciou em 2000 o processo de desenvolvimento, disseminação e implementação dos Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) para melhorar a efetividade e qualidade do atendimento ofertado 10.

Os PCDT são instrumentos-chave para a definição das linhas de cuidados para as 79 doenças contempladas no Componente Especializado da Assistência Farmacêutica (CEAF), norteando a garantia da integralidade do tratamento medicamentoso, em nível ambulatorial, para todas as doenças no âmbito do CEAF 12. Ademais, estão de acordo com o Decreto no 7.508 e com a Lei no 12.401, ambos de 2011, que norteiam as condutas diagnósticas e terapêuticas no Sistema Único de Saúde (SUS) 12,13.

Considerando-se a importância dos PCDT, o objetivo do presente estudo foi avaliar a qualidade de oito PCDT do Ministério da Saúde.

Material e métodos

Trata-se de análise descritiva de amostra aleatória de PCDT, com base nos seguintes critérios de inclusão: revisão ou elaboração realizada pelo Ministério da Saúde após 2009 – ano no qual o Ministério da Saúde definiu a nova estrutura a ser seguida para elaboração dos PCDT 14; PCDT disponibilizado em versão completa no sítio eletrônico do Ministério da Saúde ou no Diário Oficial da União (DOU). Como critério de exclusão, foram desconsideradas diretrizes clínicas não denominadas como PCDT.

Para avaliação da qualidade dos PCDT foi utilizado o AGREE II, versão traduzida para o português e disponível online 8, que permite a análise de 23 itens divididos em 6 domínios de qualidade e 2 itens de classificação global. Para cada item os avaliadores utilizaram escalas Likert de 7 pontos, onde 1 corresponde ao “discordo totalmente” e 7 ao “concordo totalmente” 8, com exceção ao último item (recomendação do uso da diretriz), cujas respostas são: “Sim”, “Não” e “Sim, com modificações”. As análises dos PCDT selecionados foram realizadas por 3 profissionais (autores deste trabalho), conforme preconizado pelo AGREE II com expertise sobre diretrizes clínicas.

Para todos os itens de domínios e para o item de classificação global relacionado à qualidade da diretriz, foram obtidas as médias dos valores escalares. Para o item de classificação global, foi obtido ainda o desvio-padrão (DP), com o objetivo de ser utilizado no cálculo de amostras de PCDT de novos estudos.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz (parecer 16/2012).

Resultados

Realizou-se a busca em 8 de maio de 2012 no sítio eletrônico que disponibilizava as diretrizes publicadas pelo Ministério da Saúde. Para os PCDT selecionados e com publicações no DOU e no primeiro volume do livro de PCDT 15, foram selecionadas as versões publicadas no livro, por serem documentos mais recentes que as do DOU. Assim, localizaram-se 62 diretrizes clínicas vigentes elaboradas após 2009. Destas, três foram excluídas por não serem denominadas como PCDT pelo Ministério da Saúde. Dos 59 PCDT, sortearam-se oito: Dermatomiosite e Polimiosite, Diabetes Insípido, Esclerose Lateral Amiotrófica, Espondilose, Hemangioma Infantil, Hiperfosfatemia na Insuficiência Renal Crônica, Leiomioma de Útero, Puberdade Precoce Central. Estes PCDT foram publicados entre 23 de dezembro de 2009 e 5 de dezembro de 2011. Os documentos de Puberdade Precoce Central e Dermatomiosite e Polimiosite foram republicados no DOU para correções.

Os PCDT receberam uma avaliação média entre 3,7 e 5,0. O PCDT de Dermatomiosite e Polimiosite foi o melhor avaliado, e o de Espondilose o pior, respectivamente com pontuações médias de 5,0 e 3,7 (Tabela 1). Para o item recomendação do uso da diretriz, dois avaliadores recomendaram o uso de todas, mas com modificações, e um não recomendou qualquer diretriz. Já para o item classificação da qualidade global da diretriz, obteve-se avaliação média de 4,25 (DP = 0,46).

Tabela 1 Média dos avaliadores para os oito Protocolos Clínicos e Diretrizes Terapêuticas avaliados: Dermatomiosite e Polimiosite (DP); Diabetes Insípido (DI); Esclerose Lateral Amiotrófica (ELA); Espondilose (Esp); Hemangioma Infantil (HI); Hiperfosfatemia na Insuficiência Renal Crônica (HIRC); Leiomioma de Útero (LU); Puberdade Precoce Central (PPC). 

Itens de avaliação do AGREE II DP DI ELA Esp HI HIRC LU PPC Média
Domínio 1: escopo e finalidade                  
 1. O(s) objetivo(s) geral(is) da diretriz encontra(m)-se especificamente descritos 5 5 4 4 5 5 5 5 4,75
 2. A(s) questão(ões) de saúde coberta(s) pela diretriz encontra(m)-se especificamente descrtita(s) 5 4 5 4 4 5 4 3 4,25
 3. A população a quem a diretriz se destina escontra-se especificamente descrita 5 5 5 5 5 5 5 5 5,00
Domínio 2: envolvimento das partes interessadas                  
 4. A equipe de desenvolvimento da diretriz inclui indivíduos de todos os grupos profissionais relevantes 3 2 3 2 2 3 2 3 2,50
 5. Procurou-se conhecer as opiniões e preferências da população-alvo 2 3 3 2 3 2 2 3 2,50
 6. Os usuários alvo da diretriz estão claramente definidos 3 5 5 5 5 5 5 5 4,75
Domínio 3: rigor do desenvolvimento                  
 7. Foram utilizados métodos sistemáticos para a busca de evidências. 4 4 4 4 4 3 5 4 4,00
 8. Os critérios para a seleção de evidências estão claramente descritos 4 3 4 4 3 4 4 3 3,63
 9. Os pontos fortes e limitações do corpo de evidências estão claramente descritos. 2 2 3 2 3 2 4 3 2,63
 10. Os métodos para a formulação das recomendações estão claramente descritos. 3 3 2 2 3 3 3 3 2,75
 11. Os benefícios, efeitos colaterais e riscos à saúde foram considerados na formulação das recomendações. 5 5 4 3 5 5 5 4 4,50
 12. Existe uma relação explícita entre as recomendações e as evidências que lhe dão suporte. 4 3 3 3 4 4 4 4 3,63
 13. A diretriz foi revisada externamente por experts antes da sua publicação 2 2 3 2 2 3 1 3 2,25
 14. Um procedimento para atualização da diretriz está disponível. 1 2 1 2 2 2 1 2 1,63
Domínio 4: clareza da apresentação                  
 15. As recomendações são específicas e sem ambiguidade. 4 5 4 4 5 5 4 5 4,50
 16. As diferentes opções de abordagem da condição ou problema de saúde estão claramente apresentadas. 5 3 4 4 5 5 5 4 4,38
 17. As recomendações-chave são facilmente identificadas. 5 5 6 5 5 5 4 5 5,00
Domínio 5: aplicabilidade                  
 18. A diretriz descreve os fatores facilitadores e as barreiras para sua aplicação. 3 3 3 4 3 3 3 4 3,25
 19. A diretriz traz aconselhamento e/ou ferramentas sobre como as recomendações podem ser colocadas em prática. 4 3 5 3 3 5 3 5 3,88
 20. Foram consideradas as potenciais implicações quanto aos recursos decorrentes da aplicação das recomendações. 2 3 3 2 3 3 5 3 3,00
 21. A diretriz apresenta critérios para o seu monitoramento e/ou auditoria. 3 3 3 3 3 4 2 4 3,13
Domínio 6: independência editorial                  
 22. O parecer do órgão financiador não exerceu influência sobre o conteúdo da diretriz. 4 4 4 4 4 4 4 4 4,00
 23. Foram registrados e abordados os conflitos de interesse dos membros da equipe que desenvolveram a diretriz. 4 3 4 3 3 4 3 4 3,50
Classificação da qualidade global da presente diretriz 5 4 4 4 4 5 4 4 4,25

AGREE II: Appraisal of Guidelines for Research and Evaluation, segunda versão.

Discussão

A diretriz clínica é uma ferramenta essencial para melhorar a qualidade da atenção em saúde. O instrumento AGREE II possibilitou avaliar a qualidade das diretrizes clínicas do Ministério da Saúde. Uma publicação recente apresenta um instrumento com uma lista de checagem online para avaliar e desenvolver diretrizes clínicas 16, o qual será muito útil para aprimorar este processo.

Os resultados desse estudo contribuem para o dimensionamento inédito da qualidade metodológica dos PCDT no Brasil, ofertando dados fundamentais para o aprimoramento da elaboração. O presente trabalho incentiva o desenvolvimento de novos estudos, que podem avaliar a qualidade das evidências utilizadas na elaboração dos PCDT, a qualidade das recomendações produzidas e as características de disseminação e implementação das diretrizes.

Os PCDT constituem-se excelentes ferramentas, contudo seriam necessárias adequações. Tais alterações envolvem os seis domínios de qualidade da ferramenta AGREE II, além de publicação de declarações claras, concisas e abrangentes acerca do processo de desenvolvimento. Isso faria com que os PCDT fossem melhor avaliados em seu conjunto, possibilitando, além de sua melhoria global, maior oportunidade para pesquisadores desenvolverem estudos com base em amostras.

Uma das principais causas da pontuação mediana obtida pelos PCDT pode ter sido a descrição insuficiente dos métodos utilizados. Diante da escassez de informações, muitos dos dados extraídos para a aplicação do AGREE II foram retirados do prefácio do volume 1 do livro de PCDT 15 que é sucinto. Outro determinante para uma menor pontuação dos PCDT é a atual política do Ministério da Saúde em publicar duas versões dos documentos, uma no DOU e outra em volume de livro contendo a compilação de alguns PCDT previamente publicados no DOU. Assim, diretrizes que aguardam publicação em livro são privadas de informações para a adequada utilização e implementação dos documentos.

Como solução aos pontos críticos cabe ao Ministério da Saúde publicar no DOU uma versão dos PCDT com todos os apêndices (fluxogramas, fichas, guia e tabelas) necessários, além de uma pronúncia clara e oficial quanto aos aspectos eminentes ao processo de elaboração dos PCDT e demais pontos técnicos dos documentos.

Finalmente, citam-se as limitações do trabalho, inerentes ao método empregado. O AGREE II adota um sistema de pontuação de caráter subjetivo para cada item, dificultando a concordância das avaliações entre os avaliadores. Por outro lado, o instrumento não se caracteriza como uma busca de uma concordância por um teste como o kappa. A proposta da aplicação do instrumento é exatamente apresentar as dimensões de cada examinador ao avaliar a diretriz. O instrumento não possui um parâmetro final para classificar as diretrizes em “metodologicamente boa” ou “metodologicamente ruim”. A avaliação não possibilita verificar a qualidade das evidências utilizadas e o conteúdo clínico das recomendações contidas nas diretrizes clínicas. Finalmente, ressalta-se que o estudo foi piloto. Futuramente, recomenda-se a realização de um estudo para avaliar a qualidade global representativa para todos os PCDT. Conforme nossos cálculos, seria necessário avaliar 50 PCDT, de um total 59 PCDT (margem de erro de 5%, nível de 95% de confiança e pelo cálculo de tamanho de amostra para a população finita) 17.

Referências

Burgers JS, Grol R, Klazinga NS, Makela M, Zaat J. Towards evidence-based clinical practice: an international survey of 18 clinical guideline programs. Int J Qual Health Care 2003; 15:31-45. [ Links ]

Brozek J, Jankowski M, Placzkiewicz-Jankowska E, Jaeschke R. International Diabetes Federation document concerning postmeal glycemic control: assessment of quality of clinical practice guidelines using AGREE instrument. Pol Arch Med Wewn 2009; 119:18-24. [ Links ]

Spuls PI, Nast A. Evaluation of and perspectives on guidelines: what is important? J Invest Dermatol 2010; 130:2348-9. [ Links ]

Esandi ME, Ortiz Z, Chapman E, Dieguez MG, Mejia R, Bernztein R. Production and quality of clinical practice guidelines in Argentina (1994-2004): a cross-sectional study. Implement Sci 2008; 3:1-10. [ Links ]

AGREE Colaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12:18-23. [ Links ]

Boluyt N, Lincke CR, Offringa M. Quality of evidence-based pediatric guidelines. Pediatrics 2005; 115:1378-91. [ Links ]

Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ 2010; 182:E839-42. [ Links ]

The AGREE Research Trust. Instrumento para Avaliação de Diretrizes Clínicas – AGREE II. http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf (acessado em 06/Ago/2014). [ Links ]

9.  Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública 2014; 30:1111-4. [ Links ]

Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas: medicamentos excepcionais. Brasília: Ministério da Saúde; 2002. (Série A. Normas e Manuais Técnicos). [ Links ]

11.  Ministério da Saúde. Portaria no 2.981, de 29 de novembro de 2009. Aprova o componente especializado da assistência farmacêutica. Diário Oficial da União 2009; 30 nov. [ Links ]

12.  Brasil. Decreto no 7.508, de 28 de junho de 2011. Regulamenta a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde – SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial da União 2011; 29 jun. [ Links ]

13.  Brasil. Lei no 12.401, de 28 de abril de 2011. Altera a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de tecnologia em saúde no âmbito do Sistema Único de Saúde – SUS. Diário Oficial da União 2011; 29 abr. [ Links ]

14.  Ministério da Saúde. Portaria no 375, de 10 de novembro de 2009. Roteiro para elaboração de Protocolos Clínicos e Diretrizes Terapêuticas. Diário Oficial da União 2009; 11 nov. [ Links ]

Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas. v. 1. Brasília: Ministério da Saúde; 2010. (Série A. Normas e Manuais Técnicos). [ Links ]

Schünemann HJ, Wiercioch W, Etxeandia I, Falavigna M, Santesso N, Mustafa R, et al. Guidelines 2.0: systematic development of a comprehensive checklist for a successful guideline enterprise. CMAJ 2014; 186:E123-42. [ Links ]

Faculdade de Educação Superior do Paraná. Determinação do tamanho de uma amostra. http://www.fesppr.br/~centropesq/Calculo_do_tamanho_da_amostra/Tamanho%20da%20Amostra%20%201.pdf (acessado em 01/Ago/2014). [ Links ]

Received: August 07, 2014; Revised: January 09, 2015; Accepted: February 05, 2015

Correspondência. C. C. A. Pereira. Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz. Rua Leopoldo Bulhões 1480, sala 708, Rio de Janeiro, RJ 21041-210, Brasil. cpereira@ensp.fiocruz.br

Colaboradores

R. D. M. Ronsoni e C. C. A. Pereira participaram do desenho do estudo, avaliação e análises, elaboração do manuscrito e aprovação da versão final. A. T. Stein colaborou no desenho do estudo, avaliação, análises e aprovação da versão final. M. H. Osanai contribuiu na avaliação, análises, elaboração do manuscrito e aprovação da versão final. C. J. Machado participou das análises, contribuiu para a elaboração do manuscrito e aprovou a versão final.

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.