Adoção de protocolos para aprimoramento da qualidade da pesquisa médica

O principal meio de divulgação e compartilhamento dos resultados da pesquisa científica são as publicações em periódicos especializados. A qualidade e a relevância da pesquisa são avaliadas, dentre outros, pelo material que foi publicado, que é quase sempre o único registro público da pesquisa realizada. Defeitos nessa comunicação dificultam a correta avaliação de um estudo e acabam por limitar sua efetividade. Tal situação torna-se crítica na pesquisa em saúde, por permitir decisões equivocadas por profissionais e, consequentemente, com potencial real de danos para os pacientes.⁽¹⁾

A ciência médica requer evidências para identificar problemas, avaliar a acurácia de diagnósticos ou prognósticos, comparar e avaliar intervenções, descrever seus efeitos adversos ou mais raros, avaliar se um teste de detecção precoce é realmente necessário, bem como comparar custos de intervenções, dentre tantos outros. Evidências científicas são produzidas por meio de abordagens experimentais diversas e, em geral, mas não somente, adotando formatos de estudos, como estudos observacionais, estudos randomizados com intervenção, estudos de casos, revisão sistemática com metanálise e opinião de especialistas.⁽²⁾

A força, poder ou nível da evidência em saúde depende da forma como foi gerada esta evidência. Uma forma de representação proposta para esta avaliação é chamada de pirâmide de evidência (Figura 1). Trata-se de um esquema que relaciona os desenhos da pesquisa e os tipos de dados gerados para os quais se propõem níveis de valor de evidência. No topo da pirâmide, encontram-se as metanálises, sseguidas pelas revisões sistemáticas e pelos ensaios clínicos randomizados. As metanálises foram concebidas, inicialmente, como ferramenta para incorporar robustez às evidências geradas por ensaios clínicos randomizados por permitirem a agregação e a comparação de resultados provenientes de estudos independentes sobre a estimativa de tamanho do efeito de uma dada intervenção. Assim, permitem o esclarecimento de questões derivadas de pesquisas independentes, pois ampliam, de forma expressiva, a amostra de sujeitos pesquisados por meio da síntese dos dados. Por serem capazes de fornecer respostas com precisão, são considerados os estudos com o mais alto nível de evidência.⁽³⁾

Figura 1
A pirâmide de nível de evidência nas ciências médicas

Já na base da pirâmide, naturalmente haverá grande volume de dados. Tipicamente são estudos mais restritos, mais curtos, com recursos limitados, que dispõem de amostras menores, ou com demandas metodológicas menos restritivas que os ensaios clínicos randomizados. São os estudos genericamente chamados de observacionais, que podem ser do tipo caso-controle, coorte, ecológicos e de intervenção. Têm origem diversa, mas podem ser, por exemplo, aqueles derivados de dissertações e teses de pós-graduação. Por outro lado, quando tomados em conjunto, esses dados constituem volume expressivo de sujeitos, locais, settings, características sociais, econômicas, genéticas, dentre outras, que também são passíveis de agregação (pooling).⁽⁴⁾ Por meio de métodos específicos, os estudos observacionais também passaram a ser utilizados em metanálises para tomada de decisão. Com isso, estudos tipicamente da base da pirâmide, com baixo nível de evidência e impacto limitado, também passaram a suprir dados para o topo da pirâmide, em revisões sistemáticas e metanálises.⁽⁵⁾

Entretanto, um dos maiores desafios encontrados para a utilização desses dados é sua grande heterogeneidade, seja de desenho experimental, forma de relato, seleção de sujeitos de pesquisa, critérios de inclusão e exclusão, instrumentos analíticos ou de populações estudadas. Além de particularidades inerentes aos estudos menores e locais, estima-se que 85% dos dados⁽¹⁾ sejam desperdiçados, dentre outros motivos, por sua baixa qualidade.⁽⁵⁾ Assim, esforços têm sido empreendidos para aumentar o valor desses dados e diminuir o desperdício de informação, que poderia conferir mais robustez às metanálises.⁽⁶⁾

No Brasil, a produção científica está majoritariamente associada à produção derivada de trabalhos de pós-graduação stricto sensu. Em sua maioria, tem severas restrições orçamentárias, tende a abordar temas locais e regionais, e, portanto, apresenta baixo apelo para audiências internacionais – e até mesmo nacionais. Esta afirmação é corroborada pelos baixos índices de citação das produções locais, eloquentemente exemplificada pelo fato de que 80% dos artigos publicados na área de educação no país não são citados nem por outros trabalhos locais da própria área.⁽⁷⁾

Já na área da medicina, o Brasil é produtivo em termos de volume absoluto de publicação científica, contando com 19.636 artigos publicados em 2016, sendo o 14° país em um ranking de produtividade do qual participam 130 países. Entretanto, no mesmo ano, o número de citações por documento na área de medicina foi de 2,88. Tal fato confere ao Brasil a 107^ª posição no mesmo ranking em número de citações por artigo publicado.⁽⁷⁾

Além do baixo índice de citação e, por vezes, da baixa qualidade, a produção científica brasileira ainda sofre com a grande concentração em polos. Segundo dados da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), mais da metade da produção científica nacional é oriunda do Estado de São Paulo. Em 2017, foram registradas 55.051 publicações com pesquisadores de instituições brasileiras, sendo que 42% desse total apresentou autores da cidade de São Paulo. Caso o Estado de São Paulo fosse um país, estaria em 23º lugar no mundo em produção científica.⁽⁸⁾ Normalizando a média mundial de citação por publicação, que é um índice de visibilidade e impacto das publicações, São Paulo (1,06) encontra-se na frente do Brasil (0,88)⁽⁸⁾ e ainda se destaca pela colaboração internacional.⁽⁹⁾

Mesmo com o aumento expressivo na titulação de mestres e doutores na última década, houve aumento na produção de artigos, mas não houve melhoria de sua qualidade.⁽¹⁰⁾ Este dado é confirmado pelo fato de a quantidade de citações dos artigos científicos brasileiros ser inferior a de países com orçamentos designados à ciência inferiores ao do Brasil.⁽¹¹⁾

Entretanto, existem esforços para a melhoria da produção científica brasileira. Empreendimentos como a Brazilian Reproducibility Initiative buscam verificar a reprodutibilidade dos estudos biomédicos realizados em diversos centros de pesquisa no Brasil.⁽¹²⁾ É essencial uma revisão das temáticas e dos desenhos dos estudos, sem desfavorecer questões de interesse nacional, mas que possibilitem a reprodutibilidade do estudo em si, o que coopera para o aumento da qualidade da ciência brasileira. Outra demanda para o aprimoramento da produção científica é a adoção de recomendações de boas práticas científicas e de aumento da transparência no processo, em consonância com as crescentes recomendações elaboradas e adotadas pela comunidade científica internacional.⁽¹²⁾

Neste cenário ganham força os protocolos de pesquisa, que são documentos que buscam padronizar e aprimorar a qualidade dos mais diversos tipos e modalidades de pesquisa científica. O uso de um protocolo pode direcionar a coleta de dados, a forma de relatar e reportar os dados e até mesmo estruturar a pesquisa, desde sua concepção. Os protocolos recomendam quais elementos e aspectos devem ser observados e considerados na pesquisa e em seu relato.⁽¹³⁾ Além de especificar e considerar os diferentes tipos de pesquisas, dados mostram aumento na qualidade dos artigos que seguem protocolos.⁽¹⁴⁾ Assim, sua adoção torna-se imprescindível para o aprimoramento da produção científica nacional.

Existem vários protocolos de pesquisa para diversos tipos de estudos, que visam contemplar as demandas para a concepção de desenhos experimentais adequados e reprodutíveis. Vale ressaltar que, dentre os primeiros protocolos concebidos, alguns surgiram como demanda para os estudos nos níveis mais altos da pirâmide de evidência. Assim, considerando-se os principais tipos de estudos ali descritos, destacam-se o PRISMA,⁽¹⁵⁾ recomendado para a realização de revisões sistemáticas, com ou sem metanálise; o CONSORT,⁽¹⁶⁾ para os ensaios clínicos randomizados; o STROBE,⁽¹⁷⁾ para estudos de coorte e Caso-Controle; e por fim, o CARE,⁽¹⁸⁾ para estudos de relato de caso. Muitos outros estão disponíveis, inclusive contemplando especificidades de áreas e subáreas de pesquisa.

Visando à propagação da informação, e como forma de incentivo para o uso dos protocolos, foi inaugurado o Enhancing the Quality and Transparency of Health Research (EQUATOR Network) no ano de 2008.⁽¹⁾ Atualmente, o EQUATOR está sediado na University of Oxford, no Reino Unido, mas também recebe suporte financeiro de órgãos como Organização Mundial da Saúde (OMS), Pan American Health Organization (PAHO), National Health Services (NHS) e National Institutes of Health (NIH), sendo apoiado e recomendado por órgãos de transparência, ética e boas práticas na produção e publicação científica, como o Committee on Publication Ethics (COPE) e o International Committee of Medical Journal Editors (ICMJE), bem como grandes conglomerados editoriais, como BioMed Central, The Lancet, British Medical Journal, PLoS, dentre outras instituição de elevada e reconhecida reputação internacional.⁽¹⁹⁾ O EQUATOR consiste, portanto, em uma colaboração internacional que “procura melhorar a confiabilidade e o valor da literatura de pesquisa em saúde publicada, promovendo relatórios transparentes e precisos e um uso mais amplo de diretrizes robustas de relatórios”.⁽²⁰⁾

Dessa forma, os dados primários obtidos em estudos observacionais da base da pirâmide podem ser melhor aproveitados, considerados e, portanto, citados, ao adotar condutas e rigores metodológicos disponíveis e em uso corrente. Apesar dos protocolos não garantirem a qualidade da pesquisa em si (por exemplo: equipamentos, insumos e processo), eles reforçam que os dados foram obtidos de forma planejada, seguindo as melhores práticas adotadas pela comunidade científica internacional. Quando sua apresentação é padronizada, informações relevantes não são omitidas, perdidas e nem ficam diluídas ao longo do texto. Assim, podem ser melhor avaliadas por revisores e leitores, e irão constituir a base da pirâmide de evidência com mais chances de serem citados em outros trabalhos, principalmente os internacionais.⁽²¹⁾ O dado pode ser limitado ou regional, mas ele deve interessar e ser útil para a ciência internacional quando, por exemplo, tal pesquisa é selecionada para compor um estudo de síntese de literatura científica (revisão sistemática e metanálise). E, para isso, deve ser rigoroso. Não resta dúvida de que publicar é necessário, mas ter o trabalho citado é um reconhecimento de sua relevância.

Assim, a adoção de protocolos padronizados e reconhecidos internacionalmente pode propiciar o fortalecimento da produção e do diálogo científico entre diferentes pesquisadores nacionais e internacionais, aumentando o nível de citação e de reconhecimento da ciência brasileira.

REFERENCES

• ¹
  Simera I, Altman DG, Moher D, Schulz KF, Hoey J. Guidelines for reporting health research: the EQUATOR network's survey of guideline authors. PLoS Med. 2008;5(6):e139.
• ²
  Centre for Evidence-Based Medicine (CEBM). OCEBM Levels of Evidence. Oxford Centre for Evidence-Based Medicine 2011 Levels of Evidence [Internet]. Oxford (UK): CEBM; 2011 [cited 2019 Aug 13]. Available from: http://www.cebm.net/index.aspx?o=5653
  » http://www.cebm.net/index.aspx?o=5653
• ³
  Gurevitch J, Koricheva J, Nakagawa S, Stewart G. Meta-analysis and the science of research synthesis. Nature. 2018;555(7695):175-82. Review.
• ⁴
  Clinical Trial Service Unit & Epidemiological Studies Unit CTSU). Nuffield Department of Population Health. Meta-analyses of observational studies [Internet]. University of Oxford (UK); 2019 [cited 2019 Aug 13]. Available from: https://www.ctsu.ox.ac.uk/research/metaanalyses-of-observational-studies
  » https://www.ctsu.ox.ac.uk/research/metaanalyses-of-observational-studies
• ⁵
  Ioannidis JP. How to make more published research true. PLoS Med. 2014; 11(10):e1001747.
• ⁶
  Macleod MR, Michie S, Roberts I, Dirnagl U, Chalmers I, Ioannidis JP, et al. Biomedical research: increasing value, reducing waste. Lancet. 2014;383(9912):101-4.
• ⁷
  Scimago Journal & Country Rank (SJR). Scimago Journal & Country Rank [Internet]. 2019 [cited 2019 Aug 14]. Available from: https://www.scimagojr.com/countryrank.php?category=3304&order=cd&ord=desc&min=100&min_type=it&year=2016
  » https://www.scimagojr.com/countryrank.php?category=3304&order=cd&ord=desc&min=100&min_type=it&year=2016
• ⁸
  Cross D, Thomson S, Sibclair A. Research in Brazil: A report for CAPES by Clarivate Analytics [Internet]. Clarivate Analytics; 2018 [cited 2019 Aug 14]. Available from: http://www.capes.gov.br/images/stories/download/diversos/17012018-CAPES-InCitesReport-Final.pdf
  » http://www.capes.gov.br/images/stories/download/diversos/17012018-CAPES-InCitesReport-Final.pdf
• ⁹
  Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). Publicações científicas e colaborações internacionais [Internet]. Rev Pesquisa. 2019 [citado 2019 Ago 14]. Disponível em: https://revistapesquisa.fapesp.br/2019/06/07/publicacoes-cientificas-e-colaboracoes-internacionais/
  » https://revistapesquisa.fapesp.br/2019/06/07/publicacoes-cientificas-e-colaboracoes-internacionais/
• ¹⁰
  Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). Matrículas e títulos de doutorado concedidos no país [Internet]. Rev Pesquisa. 2018 [citado 2019 Ago 14]. Disponível em: https://revistapesquisa.fapesp.br/2018/01/16/matriculas-e-titulos-de-doutorado-concedidos-no-pais/
  » https://revistapesquisa.fapesp.br/2018/01/16/matriculas-e-titulos-de-doutorado-concedidos-no-pais/
• ¹¹
  Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). Internacionalização das publicações científicas [Internet]. Rev Pesquisa. 2017 [citado 2019 Ago 14]. Disponível em: https://revistapesquisa.fapesp.br/2017/05/23/internacionalizacao-das-publicacoes-cientificas/
  » https://revistapesquisa.fapesp.br/2017/05/23/internacionalizacao-das-publicacoes-cientificas/
• ¹²
  Andrade RO. Brazilian biomedical science faces reproducibility test. Nature. 2019;569(7756):318-9.
• ¹³
  Altman DG, Simera I, Hoey J, Moher D, Schulz K. EQUATOR: reporting guidelines for health research. Lancet. 2008;371(9619):1149-50.
• ¹⁴
  Pussegoda K, Turner L, Garritty C, Mayhew A, Skidmore B, Stevens A, et al. Systematic review adherence to methodological or reporting quality. Syst Rev. 2017;6(1):131.
• ¹⁵
  Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009;6(7):e1000097.
• ¹⁶
  Schulz KF, Altman DG, Moher D; CONSORT Group. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010;340:c332.
• ¹⁷
  von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP, et al. STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: guidelines for reporting observational studies. Int J Surg. 2014;12(12):1495-9.
• ¹⁸
  Gagnier JJ, Kienle G, Altman DG, Moher D, Sox H, Riley D; Care group. The CARE guidelines: consensus-based clinical case reporting guideline development. BMJ Case Rep. 2013;2(5):38-43.
• ¹⁹
  Equator network. Enhancing the QUAlity and Transparency Of health Research. EQUATOR Network: what we do and how we are organised [Internet]. Equator network; 2019 [cited 2019 Aug 14]. Available from: https://www.equator-network.org/about-us/equator-network-what-we-do-and-how-we-are-organised/
  » https://www.equator-network.org/about-us/equator-network-what-we-do-and-how-we-are-organised/
• ²⁰
  Equator network. Enhancing the QUAlity and Transparency Of health Research. About us [Internet]. 2019 [cited 2019 Ago 14]. Available from: http://www.equator-network.org/about-us/
  » http://www.equator-network.org/about-us/
• ²¹
  Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, Julious S, et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet. 2014;383(9913):267-76.

Datas de Publicação

• Publicação nesta coleção
  20 Dez 2019
• Data do Fascículo
  2020