Avaliação de validade de um sistema computacional na identificação de estudos duplicados

Evaluación de la validez de un sistema computacional en la identificación de estudios duplicados

Resumo

Objetivo

Avaliar o desempenho do sistema web “Apoio à Revisão Sistemática” quanto à identificação de referências bibliográficas duplicadas, em comparação a outros programas.

Métodos

Trata-se de uma pesquisa metodológica que avalia o processo automático de identificação de duplicatas do sistema “Apoio à Revisão Sistemática” (versão 1.0), em comparação ao EndNote X9^® e Rayyan^® , considerando checagem manual como referência. Foi utilizado um conjunto de estudos relacionados a três temas sobre fibrose cística recuperados das bases de dados Pubmed, Embase e Web of Science. Para avaliação de desempenho, utilizaram-se a sensibilidade, especificidade, acurácia e área sob a curva ROC para cada software, em comparação à referência.

Resultados

As buscas nas bases de dados resultaram em 1332 estudos, sendo 273 (20,5%) verdadeiros duplicados. Em comparação aos dados de referência, o programa “Apoio à Revisão Sistemática” identificou maior proporção de duplicatas verdadeiras do que os demais. Os valores de sensibilidade, especificidade e acurácia do sistema “Apoio à Revisão Sistemática” apresentaram-se acima de 98%.

Conclusão e implicações para a prática

O sistema “Apoio à Revisão Sistemática” possui alta sensibilidade, especificidade e acurácia para identificação de estudos duplicados, otimizando o tempo e o trabalho dos revisores da área da saúde.

Palavras-chave:
Acurácia dos Dados; Bases de Dados Bibliográficos; Revisão Sistemática; Sensibilidade e Especificidade; Software

Resumen

Objetivo

Evaluar el desempeño del sistema web “Apoyo a la Revisión Sistemática” en cuanto a la identificación de referencias duplicadas en comparación a otros programas.

Métodos

Se trata de una investigación metodológica que evalúa el proceso automático de desduplicación del sistema web “Apoyo a la Revisión Sistemática” (versión 1.0), en comparación al EndNote X9^® y Rayyan^®, considerando la verificación manual como referencia. Fue utilizado, como ejemplo, un conjunto de estudios relacionados a tres temas sobre fibrosis quística recuperados de las bases de datos Pubmed, Embase y Web of Science. Se analizó la sensibilidad, especificidad, precisión y el área sobre la curva ROC de los programas.

Resultados

Las búsquedas en las bases de datos dieron como resultado 1332 estudios, siendo 273 (20,5%) verdaderos duplicados. En comparación a los datos de referencia, el programa “Apoyo a la Revisión Sistemática” identificó mayor proporción de duplicados verdaderos que los demás. Los valores de sensibilidad, especificidad y precisión del sistema “Apoyo a la Revisión Sistemática” fueron superiores a 98%.

Conclusión e implicaciones para la práctica

El sistema “Apoyo a la Revisión Sistemática” posee alta sensibilidad, especificidad y precisión para identificación de estudios duplicados obtenidos a partir de búsquedas en bases de datos en el área de salud, optimizando el trabajo de investigadores.

Palabras clave

Exactitud de los Datos; Bases de Datos Bibliográficas; Revisión Sistemática; Sensibilidad y Especificidad; Software.

Abstract

Objective

To evaluate the performance of the Systematic Review Support web-based system for the identification of duplicate records compared with similar software tools.

Methods

A methodological study was conducted assessing the automated process of de-duplication performed by the Systematic Review Support web-based system (version 1.0) versus the EndNote X9^® and Rayyan^® systems, adopting hand-checking as the benchmark reference for comparisons. A set of studies on three topics related to cystic fibrosis retrieved from the Pubmed, Embase and Web of Science electronic databases was used for testing purposes. The sensitivity, specificity, accuracy and area under the ROC curve of the software systems were compared to the benchmark values for performance evaluation.

Results

The database searches retrieved 1332 studies, of which 273 (20.5%) were true duplicates. The Systematic Review Support tool identified a larger proportion of true duplicates than the other systems tested. The sensitivity, specificity and accuracy of the Systematic Review Support tool exceeded 98%.

Conclusion and implications for practice

The Systematic Review Support system provided a high level of sensitivity, specificity and accuracy in identifying duplicate studies, optimizing time and effort by reviewers in the health field.

Keywords:
Data Accuracy; Databases, Bibliographic; Systematic Review; Sensitivity and Specificity; Software

INTRODUÇÃO

Na área da saúde, é crescente a condução de revisões sistemáticas e de escopo por serem relevantes para síntese do conhecimento científico. As revisões sistemáticas orientam as decisões na assistência e contribuem para o estabelecimento de guias, recomendações e políticas públicas em saúde.¹

Uma das etapas iniciais de estudos de revisão é a identificação de estudos em diferentes bases de dados bibliográficos.² Como os periódicos podem ser indexados em mais de uma base, as buscas podem resultar em quantidade considerável de duplicatas.

O processo de desduplicacão (de-duplication) consiste na identificação e eliminação dos estudos duplicados, o que pode ser dispendioso para os pesquisadores; assim, recomenda-se o uso de ferramentas computacionais com essa funcionalidade,³ como os gerenciadores de referências EndNote®, Mendley^® e Zotero^®, ou softwares, como Rayyan^® e Start^®, que, além desta, possuem outras funcionalidades específicas para revisões sistemáticas.⁴

O uso de software gratuito ou pago pode reduzir o tempo de realização do processo de desduplicação. Estudo que relatou o término de uma revisão sistemática em duas semanas em razão do uso de ferramentas computacionais necessitou de 16 minutos de dedicação ao processo de remoção de duplicatas (n=1694 estudos),⁵ tempo consideravelmente inferior ao necessário para conclusão manual dos trabalhos.

Entretanto, a qualidade da detecção automática de duplicatas pode ser comprometida em virtude de inconsistências nas referências, como variações ou erros na grafia dos termos e ausência de dados, requerendo remoção manual das duplicatas restantes.⁶

O sistema “Apoio à Revisão Sistemática” foi desenvolvido para auxiliar profissionais, pesquisadores, estudantes de graduação e de pós-graduação da área da saúde nas fases iniciais de revisões sistemáticas: a identificação e exclusão de referências duplicadas e a seleção de estudos na fase de elegibilidade.⁷ Testar a sua capacidade em identificar verdadeiros duplicados poderá assegurar a qualidade de acurácia.

O objetivo deste estudo foi avaliar o desempenho do sistema web “Apoio à Revisão Sistemática” quanto à identificação de estudos duplicados, em comparação a outros programas usuais no meio acadêmico, em pesquisas e entre profissionais da saúde.

MÉTODO

Esta pesquisa metodológica avaliou os resultados de identificação de estudos duplicados fornecidos pelo sistema web “Apoio à Revisão Sistemática” (versão 1.0).⁷ Em comparação, utilizaram-se EndNote X9^® e Rayyan^® , considerando a checagem manual de duplicatas como referência, com apresentação de avaliação de sensibilidade, especificidade, acurácia e área sob a curva ROC dos programas.

Nesta pesquisa, um estudo foi considerado duplicado quando um registro bibliográfico (autoria, título, periódico, número, volume, número de páginas) foi recuperado mais de uma vez em uma ou mais bases de dados eletrônicas, independentemente de apresentar abreviações e variações na grafia de algum termo. Quando uma referência apresentava o mesmo título, mas havia algum dado faltante ou erros na grafia de algum termo, como volume e número de páginas,⁸ esta foi considerada duplicada se apresentasse o mesmo resumo.

O sistema “Apoio à Revisão Sistemática” foi proposto com base em referenciais teóricos e na experiência na condução de estudos de revisão bibliográfica. Um profissional da área de Tecnologia da Informação (TI) desenvolveu-o voluntariamente e de maneira independente, utilizando metodologia Ágil. As interfaces de usuário foram construídas em língua portuguesa e seu layout ajusta-se a diversos tamanhos de tela. O sistema pode ser acessado por meio de dispositivo com navegador atualizado e conectado à Internet. O uso dessa tecnologia proporciona redução do tempo dedicado para exclusão de referências bibliográficas duplicadas, seleção de estudos elegíveis e resolução de divergências, além de assegurar confiabilidade, reprodutibilidade e redução da carga de trabalho para a conclusão dessas etapas por revisores envolvidos na assistência e pesquisa em saúde.

Identificação de duplicatas pelas ferramentas computacionais

O sistema “Apoio à Revisão Sistemática” identifica os artigos duplicados a partir da comparação de título e ano dos registros importados, considerando caracteres alfanuméricos, sem distinção de letras maiúsculas e minúsculas, espaços e caracteres especiais.

O EndNote X9^® é um software gerenciador de referências que compara autor, ano, título e tipo de publicação para identificação de duplicatas.⁹ Optou-se por utilizar a sua versão online por ser disponibilizada gratuitamente e ser frequentemente utilizada na produção de estudos de revisões sistemáticas, apesar de esse uso nem sempre ser relatado nos artigos publicados.¹⁰

O Rayyan^® é uma ferramenta computacional específica para a produção de revisões sistemáticas,¹¹ com relato científico de bons resultados na identificação automática de verdadeiras duplicatas.¹² Diferentemente das demais ferramentas abordadas, a eliminação de duplicatas é feita após a conferência pelo pesquisador.

Método de referência

Para realização dos testes, optou-se por incluir estudos sobre fibrose cística, doença genética recessiva e hereditária que compromete, principalmente, os pulmões e o sistema digestório, podendo levar à desnutrição.¹³ O estado nutricional é fundamental em razão de sua relação com doença pulmonar e sobrevida dos indivíduos. As frases de busca relacionadas a esse assunto foram definidas utilizando-se os MeSH terms (Medical Subject Head) e inseridas nas bases Medline via PubMed, Embase e Web of Science (Quadro 1). Não foram incluídas revisões da literatura.

Quadro 1
Frases de buscas relacionadas à fibrose cística inseridas nas bases de dados PubMed, Embase e Web of Science.

Tema	Frase	Período
1.Medidas e índices antropométricos e de composição corporal	cystic fibrosis AND (child OR adolescent) AND (nutrition assessment OR nutritional status OR body composition OR anthropometry OR Absorptiometry, Photon OR electric impedance OR electric conductivity OR body mass index OR waist circumference OR skinfold thickness OR body weight OR body height) *	2008 a 2018
2.Índice de massa corporal e doença pulmonar	cystic fibrosis AND (child OR adolescent) AND body mass index AND lung diseases	2011 a 2021
3.Estado nutricional e sobrevida	cystic fibrosis AND (child OR adolescent) AND (nutritional status OR body mass index) AND survival	2011 a 2021

• ^*
  Fonte: elaborada pelos autores. Busca adaptada de uma pesquisa dos autores (não publicada)

Para a identificação manual dos estudos duplicados, utilizaram-se os seguintes procedimentos: (i) importação dos registros das bases de dados para o EndNote X9^® para obtenção das listas de referências em formato Vancouver; (ii) transferência de cada lista para um editor de planilha; (iii) remoção de parênteses dos títulos antes da ordenação alfabética, quando presentes; (iv) comparação das referências e definição do status duplicado ou único (não duplicado); (v) consulta ao resumo ou artigo completo para a correta definição do estudo (na ausência de algum dado bibliográfico). Houve repetição dos procedimentos para confirmação dos resultados.

Avaliação das ferramentas computacionais

Após identificação automática dos estudos duplicados pelas ferramentas, os resultados foram organizados em uma planilha e classificados em: verdadeiro positivo (verdadeira duplicata); falso positivo (registro único identificado incorretamente como duplicata); falso negativo (duplicata identificada incorretamente como registro único); e verdadeiro negativo (verdadeiro registro único)¹⁴ (Quadro 2).

Quadro 2
Definições dos resultados dos sistemas quanto à identificação de estudos duplicados.

Resultado do sistema	Referência (Benchmark)
	Positivo	Negativo
Positivo	(a) É duplicado, e o sistema apontou como duplicado (Verdadeiro Positivo).	(c) Não é duplicado, entretanto o sistema apontou como duplicado (Falso Positivo).
Negativo	(b) É duplicado, entretanto o sistema apontou como não duplicado (Falso Negativo).	(d) Não é duplicado, e o sistema apontou como não duplicado ou único (Verdadeiro Negativo).

• Fonte: elaborada pelos autores

Análise estatística

A análise de acurácia dos dados, sensibilidade e especificidade permitiu avaliar o desempenho de cada ferramenta. Definiu-se sensibilidade como a capacidade do programa em identificar corretamente os estudos duplicados [a/(a+b)]; especificidade, como a capacidade do programa em detectar corretamente os estudos únicos [d/(c+d)];^8,14 acurácia, como a proporção de estudos duplicados e únicos corretamente identificados em cada ferramenta em relação ao total de estudos recuperados nas três bases de dados, segundo tema [(a+d)/(a+b+c+d)].¹⁴

Calculou-se à proporção de estudos duplicados corretamente identificados pelo método de referência (a+b) em relação ao total de estudos recuperados nas bases de dados [a+b/(a+b+c+d)]. Esse dado foi utilizado no cálculo de acurácia de cada programa.¹⁵

Por meio do cálculo da área sob a curva (AUC) Receiver Operating Characteristic (ROC) e do intervalo de confiança de 95% (IC95%), comparou-se o desempenho dos programas para o total de estudos e para cada tema sobre fibrose cística.

Para as análises, foram utilizados os pacotes estatísticos Stata versão 13 (Stata Corp LP, Texas, USA) e MedCalc^® , versão online.¹⁵

RESULTADOS

As buscas nas bases de dados resultaram em 1332 estudos, sendo 569 (42,7%) provenientes da PubMed, 545 (40,9%), da Embase e 218 (16,4%), da Web of Science. Destes, 273 (20,5%) eram verdadeiros duplicados (Tabela 1).

Tabela 1
Dados de referência (estudos corretamente classificados) segundo tema relacionado à fibrose cística.

Estudos corretamente classificados	Tema 1 *	Tema2 **	Tema 3 ***	Total
	n (%)	n (%)	n (%)	n (%)
Duplicados	192 (23,0)	38 (12,9)	43 (21,1)	273 (20,5)
Únicos	642 (77,0)	256 (87,1)	161 (78,9)	1059 (79,5)
Total	834 (100)	294 (100)	204 (100)	1332 (100)

• ^*
  Medidas e índices antropométricos e de composição corporal;
• ^**
  Índice de massa corporal e doença pulmonar;
• ^***
  Estado nutricional e sobrevida
• Fonte: elaborada pelos autores

Em comparação aos dados de referência (Tabela 2), o sistema “Apoio à Revisão Sistemática” identificou maior proporção de duplicatas do que o EndNote X9^® e Rayyan^® nos três conjuntos de dados relacionados à fibrose cística, sendo, respectivamente, no tema 1, 98,4% (n=189) contra 59,4% (n=114) e 96,4% (n=185); no tema 2, 100% (n=38) contra 57,9% (n=22) e 97,4% (n=37); e no tema 3, 100% (n=43) contra 65,1% (n=28) e 95,4% (n=41). Em todos os temas, os valores de sensibilidade do sistema “Apoio à Revisão Sistemática” foram maiores do que os valores obtidos com uso dos demais programas. No tema 1 (n=834), a especificidade do sistema foi de 99,8% em razão da identificação de um falso positivo.

Tabela 2
Sensibilidade, especificidade e acurácia do sistema “Apoio à Revisão Sistemática”, EndNote X9^® e Rayyan^® quanto à identificação de duplicatas em temas relacionados à fibrose cística.

	Tema 1 *			Tema 2 **			Tema 3 ***
	Apoio à RS	EndNote X9®	Rayyan ®	Apoio à RS	EndNote X9®	Rayyan®	Apoio à RS	EndNote X9®	Rayyan ®
Verdadeiros positivos (n)	189	114	185	38	22	37	43	28	41
Falsos negativos (n)	3	78	7	0	16	1	0	15	2
Sensibilidade (%)	98,4	59,4	96,4	100	57,9	97,4	100	65,1	95,4
Falsos positivos (n)	1	0	0	0	0	1	0	0	0
Verdadeiros negativos (n)	641	642	642	256	256	255	161	161	161
Especificidade (%)	99,8	100	100	100	100	99,6	100	100	100
Acurácia	99,6	91,7	99,3	100	91,4	99,2	100	92,9	99,1

• RS: Revisão Sistemática;
• ^*
  Medidas e índices antropométricos e de composição corporal;
• ^**
  Índice de massa corporal e doença pulmonar;
• ^***
  Estado nutricional e sobrevida
• Fonte: elaborada pelos autores.

Ao analisar as áreas das curvas ROC para o conjunto total de estudos (n=1332), o resultado do sistema “Apoio à Revisão Sistemática” foi 0,9940 (IC95%: 0,988-1), EndNote X9^® foi 0,8004 (IC95%: 0,771-0,829) e Rayyan^® foi 0,9812 (IC95%: 0,970-0,992) (Figura 1). Os resultados das análises, segundo tema sobre fibrose cística, encontram-se na Tabela 3.

Figura 1
Área sob a curva (AUC) Receiver Operating Characteristic (ROC) para o conjunto de estudos, segundo programa avaliado.

Tabela 3
Área sob a curva (AUC) Receiver Operating Characteristic (ROC) para cada programa, segundo tema sobre fibrose cística.

	Tema 1 *		Tema 2 **		Tema 3 ***
Programa	AUC	IC95%	AUC	IC95%	AUC	IC95%
Apoio à Revisão Sistemática	0,9914	0,983-1	1	****	1	****
EndNote X9®	0,7969	0,762-0,832	0,7895	0,709-0,869	0,8256	0,754-0,898
Rayyan®	0,9818	0,968-0,995	0,9849	0,959-1	0,9767	0,945-1

• ^*
  Medidas e índices antropométricos e de composição corporal;
• ^**
  Índice de massa corporal e doença pulmonar;
• ^***
  Estado nutricional e sobrevida;
• ^****
  Desempenho perfeito
• Fonte: elaborada pelos autores

DISCUSSÃO

Esta pesquisa constata alta sensibilidade e especificidade do sistema “Apoio à Revisão Sistemática” para identificação de referências duplicadas.

O sistema “Apoio à Revisão Sistemática” (versão 1.0) apresentou resultados de desduplicação muito próximos aos produzidos pelo Rayyan^® , que é uma ferramenta bastante utilizada no meio acadêmico.¹⁶ Em relação ao EndNote X9^® , o sistema “Apoio à Revisão Sistemática” obteve maior proporção de verdadeiras duplicatas nos três temas, deixando quantidade menor de estudos identificados incorretamente como únicos (falsos negativos) para conferência manual pelo pesquisador. Esse desempenho foi descrito também em um estudo que avaliou o “Systematic Review Assistant-Deduplication Module” (SRA-DM) em relação ao EndNote, utilizando um conjunto de “respiratory study”. Considerando quatro conjuntos de dados, o percentual médio de duplicatas encontradas pelo SRA-DM foi descrito como 42,8% maior do que com o uso do EndNote X9^® .⁸

Foi identificado um falso positivo utilizando-se o sistema “Apoio à Revisão Sistemática” apenas no tema 1. Trata-se de uma carta ao editor, que apresentou diferenças nos campos autoria, volume, número e paginação. Pode-se supor que, se o algoritmo consultasse outros campos, possivelmente a classificação teria sido correta. Com o Rayyan^® , foi obtido um falso positivo apenas no tema 2. Estudos anteriores,^17,18 com utilização de um conjunto com mais de mil estudos, também relataram a identificação de falsos positivos pela maioria das ferramentas computacionais avaliadas, incluindo o Rayyan^® e EndNote X9^® .¹² A ocorrência de falsos positivos é um problema, pois, ao serem excluídos indevidamente, pode-se introduzir um viés de seleção importante em revisões sistemáticas, caso não sejam recuperados posteriormente pelo pesquisador.

O sistema “Apoio à Revisão Sistemática”, que utiliza um algoritmo de comparação de título e ano, entre outras regras, possibilitou maior sensibilidade e especificidade do que o EndNote X9^®, que utiliza quantidade maior de campos. Como o campo ano apresenta menor variabilidade e é considerado confiável e parcialmente decisivo,¹⁷ a sua associação com o título e as demais regras utilizadas no algoritmo podem ter contribuído para o bom desempenho do sistema “Apoio à Revisão Sistemática”, constituindo um ponto forte desta pesquisa.

CONCLUSÃO E IMPLICAÇÕES PARA A PRÁTICA

O sistema “Apoio à Revisão Sistemática” possui alta sensibilidade, especificidade e acurácia para identificação de referências duplicadas obtidas a partir de buscas em bases de dados da área da saúde, otimizando o tempo e o trabalho dos revisores dedicados à assistência e à pesquisa em saúde.

Como limitação, a versão 1.0 do sistema “Apoio à Revisão Sistemática” processa arquivos importados de três bases de dados; assim, serão necessários novos testes de validação após a inclusão de outras bases nas próximas versões. Os resultados deste estudo dependem dos algoritmos utilizados pelos programas; entretanto, estes podem sofrer modificações e, assim, será necessário atualizar as comparações.

As análises foram feitas por um único pesquisador, com repetição dos procedimentos para confiabilidade dos resultados. Utilizou-se um conjunto de estudos sobre fibrose cística por ser tema de interesse dos pesquisadores. A seleção de outros temas da área da saúde poderá ser utilizada em testes posteriores.

Embora o sistema tenha sido desenvolvido com foco em revisões sistemáticas, as funcionalidades avaliadas podem ser utilizadas na condução de diferentes tipos de estudos de revisão, viabilizando seu uso por pesquisadores, discentes e profissionais dos serviços de saúde.

O desempenho de ferramentas computacionais para desduplicação pode impactar na qualidade de uma revisão sistemática, diminuindo o tempo de realização do estudo. O aprimoramento no algoritmo de identificação de duplicatas do sistema “Apoio à Revisão Sistemática” poderá ser feito em versões futuras.

REFERÊNCIAS

• ¹
  Munn Z, Peters MDJ, Stern C, Tufanaru C, McArthur A, Aromataris E. Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. BMC Med Res Methodol. 2018;18(1):143. http://dx.doi.org/10.1186/s12874-018-0611-x PMid:30453902.
  » http://dx.doi.org/10.1186/s12874-018-0611-x
• ²
  Egger M, Smith GD, Altman DG. Systematic reviews in health care: meta-analysis in context. London: BMJ Publishing Group; 2001. http://dx.doi.org/10.1002/9780470693926
  » http://dx.doi.org/10.1002/9780470693926
• ³
  Lefebvre C, Glanville J, Briscoe S, Littlewood A, Marshall C, Metzendorf MI et al. 4.S1 Technical Supplement to Chapter 4: Searching for and selecting studies [Internet]. 2020 [citado 4 maio 2022]. Disponível em: https://training.cochrane.org/handbook/current/chapter-04-technical-supplement-searching-and-selecting-studies#section-4-3
  » https://training.cochrane.org/handbook/current/chapter-04-technical-supplement-searching-and-selecting-studies#section-4-3
• ⁴
  Kohl C, McIntosh EJ, Unger S, Haddaway NR, Kecke S, Schiemann J et al. Online tools supporting the conduct and reporting of systematic reviews and systematic maps: a case study on CADIMA and review of existing tools. Environ Evid. 2018;7(1):8. http://dx.doi.org/10.1186/s13750-018-0115-5
  » http://dx.doi.org/10.1186/s13750-018-0115-5
• ⁵
  Clark J, Glasziou P, Del Mar C, Bannach-Brown A, Stehlik P, Scott AM. A full systematic review was completed in 2 weeks using automation tools: a case study. J Clin Epidemiol. 2020;121:81-90. http://dx.doi.org/10.1016/j.jclinepi.2020.01.008 PMid:32004673.
  » http://dx.doi.org/10.1016/j.jclinepi.2020.01.008
• ⁶
  Qi X, Yang M, Ren W, Jia J, Wang J, Han G et al. Find duplicates among the PubMed, EMBASE, and Cochrane library databases in systematic review. PLoS One. 2013;8(8):e71838. http://dx.doi.org/10.1371/journal.pone.0071838 PMid:23977157.
  » http://dx.doi.org/10.1371/journal.pone.0071838
• ⁷
  Revisão Sistemática. Systematic review support [Apoio à revisão sistemática] [Internet]. 2022 [citado 4 maio 2022]. Disponível em: www.revisaosistematica.com.br
• ⁸
  Rathbone J, Carter M, Hoffmann T, Glasziou P. Better duplicate detection for systematic reviewers: evaluation of Systematic Review Assistant-Deduplication Module. Syst Rev. 2015 jan 14;4(1):6. http://dx.doi.org/10.1186/2046-4053-4-6 PMid:25588387.
  » http://dx.doi.org/10.1186/2046-4053-4-6
• ⁹
  Reuters T. EndNote X9: quick reference guide [Internet]. 2022 [citado 4 maio 2022]. Disponível em: https://support.clarivate.com/Endnote/servlet/fileField?entityId=ka14N000000EcsXQAS&field=CA_Attachment_1__Body__s
  » https://support.clarivate.com/Endnote/servlet/fileField?entityId=ka14N000000EcsXQAS&field=CA_Attachment_1__Body__s
• ¹⁰
  Lorenzetti DL, Ghali WA. Reference management software for systematic reviews and meta-analyses: an exploration of usage and usability. BMC Med Res Methodol. 2013;13(1):141. http://dx.doi.org/10.1186/1471-2288-13-141 PMid:24237877.
  » http://dx.doi.org/10.1186/1471-2288-13-141
• ¹¹
  Ouzzani M, Hammady H, Fedorowicz Z, Elmagarmid A. Rayyan-a web and mobile app for systematic reviews. Syst Rev. 2016;5(1):210. http://dx.doi.org/10.1186/s13643-016-0384-4 PMid:27919275.
  » http://dx.doi.org/10.1186/s13643-016-0384-4
• ¹²
  McKeown S, Mir ZM. Considerations for conducting systematic reviews: evaluating the performance of different methods for de-duplicating references. Syst Rev. 2021;10(1):38. http://dx.doi.org/10.1186/s13643-021-01583-y PMid:33485394.
  » http://dx.doi.org/10.1186/s13643-021-01583-y
• ¹³
  Egan ME, Greene DM, Voynow JA. Fibrose cística. In: Kliegman RM, Stanton BF, St Geme II JW, Schor NF, Behrman RE, editores. Nelson: tratado de pediatria. 20ª ed. Rio de janeiro: Elsevier; 2018. p. 2098-112. (vol. 2).
• ¹⁴
  Medronho RA, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. 2ª ed. São Paulo: Atheneu; 2009.
• ¹⁵
  MedCalc [Internet]. 2022 [citado 4 maio 2022]. Disponível em: https://www.medcalc.org/calc/diagnostic_test.php
  » https://www.medcalc.org/calc/diagnostic_test.php
• ¹⁶
  Rayyan [Internet]. 2022 [citado 4 maio 2022]. Disponível em: https://www.rayyan.ai/
  » https://www.rayyan.ai/
• ¹⁷
  Jiang Y, Lin C, Meng W, Yu C, Cohen AM, Smalheiser NR. Rule-based deduplication of article records from bibliographic databases. Database. 2014 jan;2014:bat086. http://dx.doi.org/10.1093/database/bat086 PMid:24434031.
  » http://dx.doi.org/10.1093/database/bat086
• ¹⁸
  Kwon Y, Lemieux M, McTavish J, Wathen N. Identifying and removing duplicate records from systematic review searches. J Med Libr Assoc. 2015 out;103(4):184-8. http://dx.doi.org/10.3163/1536-5050.103.4.004 PMid:26512216.
  » http://dx.doi.org/10.3163/1536-5050.103.4.004

Editado por

EDITOR ASSOCIADO

EDITOR CIENTÍFICO

Datas de Publicação

• Publicação nesta coleção
  06 Jan 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  04 Maio 2022
• Aceito
  05 Set 2022