A importância de fundamentos robustos em metodologia científica

É evidente o crescimento da literatura científica ao longo das últimas décadas. Embora não uniforme entre os diferentes campos da ciência, pode-se observar o caráter contínuo deste crescimento nos mais distintos bancos de dados existentes. Se tomarmos o Pubmed como base, pode-se observar uma taxa de crescimento anual de mais de 5%, entre 1997 e 2006.¹ Mais recentemente, o crescimento no número de periódicos online, o aumento no número de publicações referentes a resumos apresentados em congressos e o maior acesso a bases de dados podem ter influenciado ainda mais esse crescimento.

Entretanto, tal crescimento não é livre de vieses, muito pelo contrário. Há alguns anos, um artigo publicado na revista The Economist, intitulado Trouble at the lab - unreliable research,² já alertava para inúmeros problemas associados ao momento da literatura científica, como baixa reprodutibilidade dos trabalhos publicados, publicação apenas associada a resultados positivos e potencialmente influenciada pela forma de fomento à pesquisa. Soma-se a isso a pressão cada vez maior por publicações dentro do ambiente acadêmico, o que acaba gerando outros efeitos, como publicações de menor qualidade ou ainda o fenômeno de “Salami Science”, caracterizado entre outras coisas pela partição de estudos/resultados em múltiplos artigos, não apenas diminuindo a relevância dos mesmos mas também aumentando a redundância em igual monta.³

Um dos mecanismos para minimizar ou ao menos desestimular muitos dos vieses atuais da literatura científica é o estímulo a uma formação mais sólida dos pesquisadores quanto aos fundamentos da pesquisa científica. A educação continuada quanto aos preceitos não apenas de boas práticas em pesquisa clínica mas quanto aos aspectos técnicos a ela relacionados deveria ter início já nos bancos da graduação, mantendo-se ao longo de toda a vida acadêmica do pesquisador.

Por aspectos técnicos, entende-se todo o racional para o desenho de um estudo, desde o desenvolvimento da pergunta principal da pesquisa,⁴ passando pela análise crítica da metodologia utilizada e suas limitações, até a utilização e interpretação dos diversos instrumentos estatísticos de forma adequada. Programas de pós-graduação costumam ter maior atenção com esses aspectos, até por sua função maior de formar docentes e pesquisadores, através da construção dos chamados núcleos de disciplinas formadoras. Ainda assim, tal iniciativa se mostra insuficiente, dada a dimensão do ambiente científico e ao limitado alcance destas disciplinas.

Os periódicos científicos também têm papel relevante, embora menos explorado, neste processo. Não apenas criando mecanismos para identificar e coibir os vieses associados à publicação científica, mas também como disseminador das melhores práticas a serem seguidas. Considerando estas duas vertentes, há uma necessidade premente de melhorar a atuação dos periódicos científicos. Primeiro quanto a sua capacidade de identificação de vieses. De uma forma geral, é bem estabelecido que o processo de revisão por pares, embora com várias qualidades, é insuficiente para esta identificação. A ausência de modelos alternativos que não comprometam significativamente a agilidade do processo de publicação tem perpetuado essa limitação de um dos processos editoriais mais prevalentes atualmente. Quanto à disseminação dos conceitos de metodologia científica, também pode-se ressaltar uma oportunidade enorme ainda não explorada. São poucos os periódicos científicos da área médica clínica que dedicam seções exclusivas para a discussão dos fundamentos da pesquisa científica. Os ganhos potenciais com este tipo de disseminação são muito significativos. Não somente relacionados a uma melhor formação dos pesquisadores, mas também no aumento da capacidade crítica do leitor de uma forma geral, o que pode ao longo do tempo servir como mecanismo de pressão para o aumento na qualidade da ciência disponível.

Para ressaltar especificamente o que tem sido feito no JBP,⁵ há quatro anos iniciou-se a publicação da série de educação continuada em metodologia científica, abordando os mais diversos temas relacionados à estruturação de um projeto de pesquisa^4,6-8 até a interpretação adequada dos diferentes tipos de estudo^9-11. Estamos agora pesquisando qual o impacto que a publicação desta série de artigos teve para os leitores do jornal, mas de uma forma geral ela já serve como ponto de referência para os pesquisadores da área.

Mas mesmo este tipo de iniciativa representa pouco em relação à dimensão do problema. Educação continuada tem seu papel, obviamente, mas outras iniciativas são necessárias para melhorar o cenário da pesquisa científica ao longo dos próximos anos. Talvez as agências de fomento tenham de assumir uma atuação mais direta neste sentido. Instituição de auditorias, demanda por aspectos formais relacionados a metodologia, análise dos resultados mais contundente são ações passíveis de implementação e que podem acrescentar ao formato de revisão de projetos vigente, sem burocratizar significativamente o processo de submissão e reporte atuais.

É certo que as atitudes deverão ser conjuntas, englobando a academia, as agências de fomento, os periódicos científicos e até mesmo os leitores. Só assim, o crescimento orgânico na literatura científica estará mais vinculado a similar crescimento em qualidade.

REFERÊNCIAS

• ¹
  Larsen PO, von Ins M. The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. Scientometrics. 2010;84(3):575-603. https://doi.org/10.1007/s11192-010-0202-z
  » https://doi.org/10.1007/s11192-010-0202-z
• ²
  The Economist [homepage on the Internet]. London: The Economist; c2018; [updated 2013 Oct 18; cited 2018 Oct 10]. Unreliable research. Trouble at the lab; [about 27 screens]. Available from: https://www.economist.com/briefing/2013/10/18/trouble-at-the-lab
  » https://www.economist.com/briefing/2013/10/18/trouble-at-the-lab
• ³
  Sasaki K, Tan S. Publication ethic (1) "salami slicing". J Hepatobiliary Pancreat Sci. 2018;25(6):321. https://doi.org/10.1002/jhbp.561
  » https://doi.org/10.1002/jhbp.561
• ⁴
  Patino CM, Ferreira JC. Developing research questions that make a difference. J Bras Pneumol. 2016;42(6):403.
• ⁵
  Souza R. 2016 - a second step. J Bras Pneumol. 2016;42(1):5-6. https://doi.org/10.1590/S1806-37562016000100001
  » https://doi.org/10.1590/S1806-37562016000100001
• ⁶
  Ferreira JC, Patino CM. Types of outcomes in clinical research. J Bras Pneumol. 2017;43(1):5. https://doi.org/10.1590/s1806-37562017000000021
  » https://doi.org/10.1590/s1806-37562017000000021
• ⁷
  Patino CM, Ferreira JC. What is the importance of calculating sample size? J Bras Pneumol. 2016;42(2):162. https://doi.org/10.1590/S1806-37562016000000114
  » https://doi.org/10.1590/S1806-37562016000000114
• ⁸
  Ferreira JC, Patino CM. Choosing wisely between randomized controlled trials and observational designs in studies about interventions. J Bras Pneumol. 2016;42(3):165. https://doi.org/10.1590/S1806-37562016000000152
  » https://doi.org/10.1590/S1806-37562016000000152
• ⁹
  Ferreira JC, Patino CM. What does the p value really mean? J Bras Pneumol. 2015;41(5):485. https://doi.org/10.1590/S1806-37132015000000215
  » https://doi.org/10.1590/S1806-37132015000000215
• ¹⁰
  Ferreira JC, Patino CM. Understanding diagnostic tests. Part 1. J Bras Pneumol. 2017;43(5):330. https://doi.org/10.1590/s1806-37562017000000330
  » https://doi.org/10.1590/s1806-37562017000000330
• ¹¹
  Patino CM, Ferreira JC. Understanding diagnostic tests. Part 2. J Bras Pneumol. 2017;43(6):408. https://doi.org/10.1590/s1806-37562017000000424
  » https://doi.org/10.1590/s1806-37562017000000424

Datas de Publicação

• Publicação nesta coleção
  Sep-Oct 2018