SciELO - Scientific Electronic Library Online

 
vol.36 issue5Intergenerational educational mobility, discrimination, and hypertension in adults from Southern BrazilAffective relations and treatment adherence for HIV and problematic drug use (Argentina, 2014-2016) author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

  • text new page (beta)
  • Portuguese (pdf)
  • Article in xml format
  • How to cite this article
  • SciELO Analytics
  • Curriculum ScienTI
  • Automatic translation

Indicators

Related links

Share


Cadernos de Saúde Pública

Print version ISSN 0102-311XOn-line version ISSN 1678-4464

Cad. Saúde Pública vol.36 no.5 Rio de Janeiro  2020  Epub May 08, 2020

https://doi.org/10.1590/0102-311x00082219 

ARTIGO

Lacunas na vigilância da tuberculose drogarresistente: relacionando sistemas de informação do Brasil

Gaps in drug-resistant tuberculosis surveillance: probabilistic database linkage in Brazil

Lagunas en la vigilancia de la tuberculosis resistente a fármacos: relacionando sistemas de información en Brasil

Patricia Bartholomay1  2 
http://orcid.org/0000-0002-4881-0630

Rejane Sobrino Pinheiro3 
http://orcid.org/0000-0002-3361-3626

Fernanda Dockhorn Costa Johansen1 
http://orcid.org/0000-0002-1762-9484

Silvano Barbosa de Oliveira1 
http://orcid.org/0000-0002-1966-6115

Marli Souza Rocha1 
http://orcid.org/0000-0003-2358-0848

Daniele Maria Pelissari1 
http://orcid.org/0000-0002-0760-1875

Wildo Navegantes de Araújo2 
http://orcid.org/0000-0002-6856-4094

1 Secretaria de Vigilância em Saúde, Ministério da Saúde, Brasília, Brasil.

2 Universidade de Brasília, Brasília, Brasil.

3 Instituto de Estudos em Saúde Coletiva, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil.


Resumo:

O objetivo do trabalho foi avaliar a cobertura e a confiabilidade do encerramento dos casos de tuberculose drogarresistente (TB DR), do Sistema de Informação de Tratamentos Especiais de Tuberculose (SITE-TB), que ocorreram no Brasil no período de 2013 a 2016, a partir de relacionamentos probabilísticos com o Sistema de Informação de Agravos de Notificação (SINAN), Gerenciador de Ambiente Laboratorial (GAL) e Sistema de Informações sobre Mortalidade (SIM). Os casos de TB DR com início de tratamento entre 2013 e 2016 no Brasil constituíram a população do estudo. O relacionamento com o SINAN avaliou a cobertura e estimou a subnotificação dos casos de TB DR. Aplicou-se o método de captura-recaptura, com uso do estimador de Chapman. O relacionamento com o GAL identificou casos diagnosticados pelo laboratório que não estavam notificados no SITE-TB. O relacionamento com o SIM avaliou a confiabilidade do encerramento óbito no SITE-TB, utilizando o coeficiente kappa. Estimou-se uma população de 2.945 (IC95%: 2.365-3.602) casos novos de TB DR com o estimador de Chapman. No GAL, foram encontrados 1.626 indivíduos não notificados no SITE-TB, mesmo com exame laboratorial confirmatório de resistência aos medicamentos antiTB. Classificou-se como excelente, PABAK (prevalance and bias adjusted kappa) de 0,86 (IC95%: 0,85-0,87), a concordância entre o desfecho óbito do SITE-TB e o SIM. Os resultados mostraram que ainda temos lacunas relacionadas ao diagnóstico e ao tratamento da TB DR no Brasil. A subnotificação no SITE-TB de casos de TB DR representa um desafio para o controle da doença. A localização desses indivíduos e o início precoce do tratamento devem constituir uma ação priorizada nos serviços de saúde.

Palavras-chave: Tuberculose Resistente a Múltiplos Medicamentos; Sistemas de Informação; Vigilância

Abstract:

The study aimed to assess the coverage and reliability of drug-resistant tuberculosis (DR-TB) case closure in the Information System on Special Treatments for Tuberculosis (SITE-TB in Portuguese) in Brazil from 2013 to 2016, based on probabilistic linkage with the Information System on Diseases of Notification (SINAN), Laboratory Environment Manager (GAL), and Mortality Information System (SIM). The study population consisted of DR-TB cases that initiated treatment from 2013 to 2016 in Brazil. Linkage with SINAN assessed the coverage and estimated underreporting of DR-TB cases. The capture-recapture method was applied, using the Chapman estimator. Linkage with GAL identified cases diagnosed by the laboratory that had not been reported to SITE-TB. Linkage with SIM assessed the reliability of case closure by death in SITE-TB, using the kappa coefficient. We estimated a population of 2,945 (95%CI: 2,365-3,602) new cases of DR-TB with the Chapman estimator. We located 1,626 individuals in the GAL database that had not been reported to SITE-TB, even with laboratory confirmation of drug resistance. PABAK (prevalance and bias adjusted kappa) of 0.86 (95%CI: 0.85-0.87) was classified as excellent for the agreement in death as the outcome between the SITE-TB and SIM databases. The results pointed to persistent gaps related to diagnosis and treatment of DR-TB in Brazil. Underreporting of DR-TB cases in the SITE-TB database poses a challenge for TB control. Identification of these individuals and early start of treatment should be prioritized in health services.

Keywords: Multidrug-resistant Tuberculosis; Information Systems; Surveillance

Resumen:

El objetivo de este trabajo fue evaluar la cobertura y fiabilidad del cierre de casos de tuberculosis resistente a multiple medicamentos (TB DR; por sus siglas en portugués) en el Sistema de Información de Tratamientos Especiales de Tuberculosis (SITE-TB), que se produjeron en Brasil durante el período de 2013 a 2016, a partir de relaciones probabilísticas con el Sistema de Información de Enfermedades de Notificación (SINAN por sus siglas en portugués), Gestor de Ambiente de Laboratorio (GAL) y Sistema de Información sobre Mortalidad (SIM). La población del estudio fueron los casos de TB DR con inicio de tratamiento entre 2013 y 2016 en Brasil. La relación con el SINAN evaluó la cobertura y estimó la subnotificación de los casos de TB DR. Se aplicó el método de captura-recaptura, utilizando el estimador de Chapman. La relación con el GAL identificó casos diagnosticados por el laboratorio que no estaban notificados en el SITE-TB. La relación con el SIM evaluó la fiabilidad del cierre óbito en el SITE-TB, utilizando el coeficiente kappa. Se estimó que para una población de 2.945 (IC95%: 2.365-3.602) casos nuevos de TB DR con el estimador de Chapman. Se encontraron en el GAL a 1.626 individuos no notificados en el SITE-TB, incluso con examen de laboratorio confirmatorio de resistencia a los medicamentos antiTB. Se clasificó como excelente, PABAK (prevalance and bias adjusted kappa) de 0,86 (IC95%: 0,85-0,87), la concordancia entre el resultado óbito del SITE-TB y el SIM. Los resultados mostraron que todavía existen lagunas relacionadas con el diagnóstico y el tratamiento de la TB DR en Brasil. La subnotificación en el SITE-TB de casos de TB DR representa un desafío para el control de la enfermedad. La localización de esos individuos y el inicio precoz del tratamiento debe ser una acción priorizada en los servicios de salud.

Palabras-clave: Tuberculosis Resistente a Multiples Medicamentos; Sistemas de Información; Vigilancia

Introdução

Em 2017, foram notificados 79.222 casos novos e recidivas de tuberculose (TB) no Brasil, o que, segundo a Organização Mundial da Saúde (OMS), representa um percentual de detecção de 87% 1. Nesse mesmo ano, o Brasil diagnosticou apenas 55% dos casos estimados de TB multidrogarresistente (MDR), resistente a pelo menos rifampicina (R) e isoniazida (H) e, por meio do uso do Xpert MTB/RIF (https://www.cepheid.com/en/about/distributors), a TB resistente à rifampicina (RR). Isso equivale a 1.110 casos diagnosticados entre os 2 mil estimados pela OMS 1. Mesmo com a implantação do Xpert MTB/RIF, que aumentou o diagnóstico de casos de TB drogarresistente (TB DR), a detecção desses casos não passou de 63% nos últimos quatro anos 1,2,3,4. Pessoas não diagnosticadas com TB DR representam um risco adicional para a transmissão da doença. A TB DR aumenta os desafios para o controle da TB por apresentar tratamento e diagnóstico mais complexos e caros, assim como pior prognóstico quando comparada à TB sensível 5,6.

O Sistema de Informação de Tratamentos Especiais de TB (SITE-TB) é uma das principais ferramentas para a vigilância dos casos com resistência aos medicamentos antiTB no Brasil. Trata-se de um sistema on-line, que permite a notificação, o acompanhamento e o encerramento dos indivíduos com TB DR atendidos nas unidades de referência de TB 7. Considera-se um sistema complementar ao Sistema de Informação de Agravos de Notificação (SINAN), já que todos os indivíduos, ao confirmar a TB 8, devem ser notificados no SINAN, mesmo que no momento do diagnóstico da doença também seja identificada a resistência a algum fármaco. Como exceção, os casos de monorresistência à estreptomicina, pirazinamida e etambutol não devem ser notificados no SITE-TB e manterão o acompanhamento do tratamento no SINAN 7. Além da notificação, no SITE-TB, também se realiza a gestão de medicamentos utilizados no tratamento dos casos de TB DR.

Outros sistemas de informação são importantes para a vigilância da TB DR, como o Gerenciador de Ambiente Laboratorial (GAL), desenvolvido, entre outros objetivos, para informatizar e auxiliar a gestão dos laboratórios de saúde pública 9, além do Sistema de Informações sobre Mortalidade (SIM), considerado de boa qualidade no que se refere às causas de morte 10. O relacionamento entre os diversos sistemas de informação disponíveis é uma ferramenta útil para análise da qualidade das informações e situação das doenças 11.

Implantado desde 2013, o SITE-TB ainda não foi avaliado em relação à qualidade dos seus dados. Duas importantes dimensões da qualidade, muito analisadas em estudos com o uso de relacionamento de base de dados, são cobertura e confiabilidade 12. A cobertura avalia o grau em que estão registradas no sistema de informação as pessoas para as quais foi desenvolvido 13, e a confiabilidade, o grau de concordância entre aferições distintas realizadas em condições similares 14,15. O não conhecimento da totalidade dos casos pelo sistema de vigilância da doença pode ser consequência de subnotificação de indivíduos diagnosticados ou de acesso dificultado aos serviços de saúde para diagnóstico e tratamento, demonstrando falhas na vigilância e assistência. Esse último grupo de pessoas não detectadas perpetua a cadeia de transmissão da doença, situação ainda mais grave em se tratando de casos de TB DR. O longo período de tratamento da TB DR implica a qualidade do monitoramento dos indicadores de acompanhamento da TB, como é o caso do desfecho de tratamento, um dos principais indicadores operacionais da doença. É de fundamental importância conhecer o desfecho dos casos notificados, visando a monitorar e direcionar adequadamente as ações de controle da TB. Nesse sentido, o objetivo deste trabalho foi avaliar a cobertura e a confiabilidade do encerramento dos casos de TB DR disponíveis no SITE-TB que ocorreram no Brasil, no período de 2013 a 2016, a partir do relacionamento dessa base de dados com o SINAN, o GAL e o SIM.

Métodos

Trata-se de uma avaliação de sistema de informação, e a população de estudo é composta de casos de TB DR com data de início de tratamento no SITE-TB entre os anos de 2013 e 2016 no Brasil. Foram realizados três relacionamentos de bancos de dados com os registros do SITE-TB para compor as bases de dados finais da análise de cobertura e confiabilidade. O primeiro deles foi com os registros do SINAN-TB, com data de diagnóstico de 2013 a 2016. O relacionamento entre o SITE-TB e o SINAN-TB teve como objetivo avaliar a cobertura e estimar a subnotificação dos casos de TB DR no SITE-TB, porque os casos de TB confirmados, em caso de diagnóstico de TB DR, são encerrados no SINAN e notificados no SITE-TB, com exceção dos casos de monorresistência à estreptomicina, pirazinamida e etambutol 7. Vale ressaltar que as ocorrências de monorresistência à H ou R, mesmo que não alterem o esquema de tratamento, seguem esse mesmo fluxo, dada a importância de monitorar a ocorrência dessas drogarresistências.

O segundo relacionamento do SITE-TB foi com os registros do GAL, que assinalavam diagnóstico de resistência a qualquer fármaco antiTB, por meio de teste de sensibilidade (TS) ou Xpert MTB/RIF, com data da liberação do exame entre 2014 a 2016. O objetivo desse relacionamento foi recuperar casos identificados pelo laboratório que não estavam notificados no SITE-TB.

Nos dois primeiros relacionamentos, que tratam dos casos de TB DR identificados pelo sistema de saúde, mas não notificados no SITE-TB, trabalhou-se com registros a partir de 2014, considerando a total implantação do sistema no país. No primeiro relacionamento, foram excluídos da análise os três últimos meses dos registros do SINAN, por apresentarem um número de subnotificações maior do que o do restante do período avaliado. Para o relacionamento com o GAL, o mês de dezembro de 2016 foi excluído da análise. Isso se fez nesses dois relacionamentos, pois os registros do SINAN e do GAL encontrados nos meses excluídos podem ter sido notificados no SITE-TB com data de início de tratamento a partir de janeiro de 2017, período não incluído neste trabalho. Para definição dos períodos a serem excluídos, foi construído um diagrama de frequência da subnotificação por mês de ocorrência. Casos encerrados como TB DR no SINAN, com diagnóstico no ano de 2013 não encontrados no SITE-TB, não foram considerados subnotificação, pois eles poderiam ter sido notificados no SITE-TB em 2013, ano não incluído no relacionamento com o SINAN.

O terceiro relacionamento foi entre os registros do SITE-TB de 2013 e 2014 e os do SIM que mencionaram os códigos da Classificação Internacional de Doenças em sua 10ª revisão (CID-10) referentes à TB (compreendidos no intervalo de A15 a A19), com data do óbito de 2013 a 2016, como causa básica ou associada. Esta etapa visou a avaliar a confiabilidade do encerramento óbito no SITE-TB, a partir da concordância com o SIM. Foram analisados somente os registros com data de início de tratamento entre 2013 e 2014 do SITE-TB, devido ao longo período de tratamento esperado para TB DR (18 a 24 meses). Os poucos registros que foram encerrados como óbito no SITE-TB e que não foram localizados no relacionamento foram procurados manualmente no SIM completo, utilizando nome, nome da mãe e data de nascimento.

O método de relacionamento empregado foi o probabilístico, que utiliza campos comuns com o objetivo de identificar, com probabilidades estabelecidas, se os registros pareados pertencem ao mesmo indivíduo 16. As variáveis utilizadas para blocagem foram: soundex do primeiro nome, soundex do último nome, soundex do primeiro nome da mãe, ano de nascimento, Unidade Federada (UF) de residência e sexo. Para o relacionamento com o SINAN, foram realizados 17 passos de blocagem, e com o GAL e o SIM, 20 passos. A estratégia de blocagem utilizada foi adaptada de outros trabalhos já publicados 17,18. A ampliação do número de passos nos últimos dois relacionamentos teve como objetivo aumentar a sensibilidade do processo. Para cada relacionamento, foram estimados os parâmetros utilizando nome e data de nascimento do paciente e nome da mãe.

No relacionamento do SITE-TB com o SINAN e com o GAL, as bases de dados utilizadas podiam conter mais de um registro para o mesmo indivíduo. Sendo assim, em todos os passos, foi utilizado o SITE-TB completo, sem excluir os registros já relacionados nos passos anteriores. Para o relacionamento com o SIM, foram retirados os registros duplicados do mesmo indivíduo no SITE-TB. Foi mantido o último registro de cada indivíduo encontrado na base de dados. Os registros do Estado de São Paulo do GAL e do SINAN que não foram encontrados no SITE-TB foram excluídos, já que nesse estado o SITE-TB ainda não era utilizado para notificar todos os indivíduos com TB DR no período do estudo.

Ao final de cada passo de blocagem, nos três relacionamentos, foi feita revisão manual para considerar os pares verdadeiros, duvidosos e não pares. As variáveis utilizadas para aplicação dos critérios de desempate foram: nome do paciente, nome da mãe, data de nascimento e endereço de residência. Nos três últimos passos do relacionamento com o GAL, foram acrescentadas as seguintes variáveis: unidade de requisição do exame, laboratório executor do exame do GAL e unidade de tratamento do SITE-TB.

Para estimar o número de casos de TB DR e a possível subnotificação de casos no SITE-TB, a partir do relacionamento com o SINAN, aplicou-se o método de captura-recaptura, utilizando o estimador de Chapman. Esse estimador, apresentado na equação 1, calcula a população de casos e seu respectivo intervalo de 95% de confiança (IC95%) 19. A magnitude da subnotificação no SITE-TB foi calculada pela diferença entre a estimativa do total de casos e a quantidade de casos registrados no sistema de informação.

Ne=S1+1S2+1A+1-1() Equação 1

onde Ne é a estimativa do número total de casos, S1 é o número de casos novos de TB DR do SITE-TB, S2 é o número de casos encerrados no SINAN como TB DR e A é o número de casos em ambos os sistemas.

Os dados provenientes do relacionamento com o GAL não foram utilizados para estimar o número de casos, uma vez que o GAL não possui cobertura universal, condição que limita o uso do método de captura-recaptura. Os indivíduos notificados no GAL com diagnóstico de drogarresistência e não notificados no SITE-TB foram descritos segundo UF. Quando existia mais de um exame por indivíduo, foi mantido para análise apenas um exame por ano com o resultado de resistência de maior importância, seguindo a seguinte ordem: TB extensivamente resistente (TB XDR), TB MDR, TB RR, monorresistente à R, monorresistente à H e polirresistência, que são aqueles casos com resistência a dois ou mais fármacos antiTB, exceto a associação R e H.

Para a análise da confiabilidade do encerramento do SITE-TB, foi realizada a descrição das causas de óbito e foi calculado o coeficiente kappa. Para o cálculo do coeficiente kappa, foram agrupados os casos, considerando óbito e não óbito, e utilizou-se a seguinte classificação: pobre (≤ 0), superficial (0,00-0,20), razoável (0,21-0,40), moderada (0,41-0,60), substancial (0,61-0,80) e excelente (0,81-1,00) 20. Foi realizado o teste de Bowker para avaliar a simetria da tabela, com a opção de utilizar o kappa com ajuste (PABAK - prevalance and bias adjusted kappa) 20,21.

Os dados do SITE-TB, SINAN e SIM foram exportados em outubro de 2017. Os dados do GAL foram exportados em dezembro de 2017.

Para o relacionamento das bases de dados e remoção de duplicidades, foi utilizado o RecLink III 16. Outras análises e a preparação das bases de dados foram realizadas no TabWin versão 3.2 (http://portal.saude.gov.br/portal/se/datasus/area.cfm?id_area=732), Stata/SE versão 12.0 (https://www.stata.com/) e pacote Office (https://www.microsoft.com).

O projeto foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Medicina, Universidade de Brasília (C.A.A.E. 72432117.1.0000.5558 em 26/10/2017).

Resultados

O fluxograma da Figura 1 apresenta os passos realizados para a obtenção das bases de dados finais utilizadas para análise da cobertura (2014 a 2016) e confiabilidade do encerramento (2013 e 2014) do SITE-TB para TB DR e seus respectivos resultados.

Figura 1 Fluxograma dos processos realizados para análise da qualidade dos dados a partir do relacionamento do Sistema de Informação de Tratamentos Especiais de Tubercules (SITE-TB), do Sistema de Informação de Agravos de Notificação (SINAN), do Gerenciador de Ambiente Laboratorial (GAL) e do Sistema de Informações sobre Mortalidade (SIM). 

No primeiro relacionamento, dos 2.428 casos novos de TB DR notificados no SITE-TB no período de 2014 a 2016, 190 (7,8%) não estavam notificados no SINAN no período de 2013 a 2016. Dos 1.917 registros encerrados como TB DR no SINAN, no período de 2014 a 2016, 477 (24,9%) não foram notificados no SITE-TB e 2.238 estavam presentes nos dois sistemas (Figura 2). Foi estimada uma população de 2.945 (IC95%: 2.365-3.602) casos novos de TB DR usando o estimador de Chapman. Consequentemente, deixaram de ser notificados 517 (17,5%) casos novos nesse sistema nos três anos avaliados.

Figura 2 Diagrama de Venn e estimador de Chapman dos casos de tuberculose com indicação de esquema especial por drogarresistência notificados no Sistema de Informação de Tratamentos Especiais de Tubercules (SITE-TB) e do Sistema de Informação de Agravos de Notificação (SINAN). Brasil, 2013 a 2016. 

No relacionamento 2, encontraram-se 1.626 indivíduos no GAL que não foram notificados no SITE-TB, mesmo com exame laboratorial confirmatório de resistência aos medicamentos antiTB. Essa subnotificação representa 542 casos novos de TB DR por ano e, desses, 47% eram casos de monorresistência à H ou R, situações que muitas vezes mantêm o esquema básico para o tratamento.

A razão entre o percentual de subnotificados e o percentual de notificados no SITE-TB foi maior em alguns estados das regiões Norte e Nordeste (Rondônia, Acre, Tocantins, Piauí, Ceará, Rio Grande do Norte e Sergipe). Chama atenção o Estado do Ceará, que apresentou 155 casos notificados com TB DR no SITE-TB e 205 subnotificados em três anos (Tabela 1).

Quanto ao padrão de resistência dos indivíduos subnotificados no SITE-TB para o Brasil, 42,4% eram de monorresistência à H e 4,6% de monorresistência à R. Os casos de TB RR e TB MDR representaram 32,8% (533 casos) do total de subnotificados. Esse percentual foi maior nos estados do Acre, Amazonas, Roraima, Rio Grande do Norte, Pernambuco, Bahia, Espírito Santo, Rio de Janeiro, Santa Catarina e Mato Grosso (Tabela 1).

Subnotificação dos casos novos de tuberculose no Sistema de Informação de Tratamentos Especiais de Tuberculose (SITE-TB) identificados no Gerenciador de Ambiente Laboratorial (GAL) e padrão de resistência dos casos subnotificados, SITE-TB e GAL. Unidades Federadas (UF) e Brasil *, 2014 a 2016. 

UF Notificados no SITE-TB Subnotificados no SITE-TB Razão ** Padrão de resistência dos casos subnotoficados no SITE-TBç
RR MDR XDR Mono à R Mono à H Polirresistências
n n n % n % n % n % n % n %
RO 10 44 6,8 2 4,5 4 9,1 0 0,0 0 0,0 10 22,7 28 63,6
AC 6 25 7,5 0 0,0 17 68,0 0 0,0 2 8,0 5 20,0 1 4,0
AM 111 110 1,5 31 28,2 24 21,8 0 0,0 6 5,5 41 37,3 8 7,3
RR 11 7 0,8 1 14,3 2 28,6 0 0,0 0 0,0 2 28,6 2 28,6
PA 185 56 0,4 5 8,9 12 21,4 0 0,0 6 10,7 15 26,8 18 32,1
AP 4 3 1,0 0 0,0 0 0 0 0,0 0 0,0 3 100,0 0 0,0
TO 4 8 2,5 2 25,0 0 0 0 0,0 1 12,5 4 50,0 1 12,5
MA 70 71 1,5 4 5,6 13 18,3 0 0,0 2 2,8 30 42,3 22 31,0
PI 10 15 2,3 4 26,7 0 0 1 6,7 0 0,0 8 53,3 2 13,3
CE 155 205 2,0 6 2,9 52 25,4 1 0,5 7 3,4 121 59,0 18 8,8
RN 18 26 2,3 7 26,9 5 19,2 0 0,0 1 3,8 5 19,2 8 30,8
PB 57 46 1,2 3 6,5 11 23,9 1 2,2 1 2,2 21 45,7 9 19,6
PE 153 83 0,8 15 18,1 21 25,3 1 1,2 1 1,2 37 44,6 8 9,6
AL 41 48 1,8 6 12,5 9 18,8 0 0,0 0 0,0 20 41,7 13 27,1
SE 20 36 2,8 7 19,4 1 2,8 0 0,0 4 11,1 10 27,8 14 38,9
BA 158 11 0,1 0 0,0 7 63,6 1 9,1 1 9,1 0 0,0 2 18,2
MG 86 68 1,2 5 7,4 13 19,1 1 1,5 5 7,4 31 45,6 13 19,1
ES 15 9 1,0 4 44,4 1 11,1 0 0,0 0 0,0 4 44,4 0 0,0
RJ 709 473 1,0 78 16,5 96 20,3 1 0,2 19 4,0 179 37,8 100 21,1
PR 145 62 0,6 1 1,6 10 16,1 0 0,0 1 1,6 49 79,0 1 1,6
SC 112 8 0,1 0 0,0 7 87,5 0 0,0 0 0,0 1 12,5 0 0,0
RS 274 151 0,8 1 0,7 30 19,9 1 0,7 13 8,6 69 45,7 37 24,5
MS 38 26 1,0 0 0,0 1 3,85 0 0,0 4 15,4 14 53,8 7 26,9
MT 13 12 1,4 8 66,7 2 16,7 0 0,0 0 0,0 2 16,7 0 0,0
GO 21 23 1,6 0 0,0 5 21,7 0 0,0 1 4,3 8 34,8 9 39,1
DF 2 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0
Brasil 2.428 1.626 1,0 190 11,7 343 21,1 8 0,5 75 4,6 689 42,4 321 19,7

MDR: resistência a pelo menos rifampicina e isoniazida; Mono à H: monorresistência à isoniazida; Mono à R: monorresistência à rifampicina; RR: resistência à rifampicina pelo teste rápido molecular para tuberculose; XDR: resistência à rifampicina e isoniazida acrescida a resistência a uma fluoroquinolona e a um injetável de segunda linha (amicacina, canamicina ou capreomicina).

UF: AC: Acre; AL: Alagoas; AM: Amazonas; AP: Amapá; BA: Bahia; CE: Ceará; DF: Distrito Federal; ES: Espírito Santo; GO: Goiás; MA: Manuas; MG: Minas Gerais; MS: Mato Grosso do Sul; MT: Mato Grosso; PA: Pará; PB: Paraíba; PE: Pernambuco; PI: Piauí; PR: Paraná; RJ: Rio de Janeiro; RN: Rio Grande do Norte; RO: Rondônia; RR: Roraima; RS: Rio Grande do Sul; SC: Santa Catarina; SE: Sergipe; TO: Tocantins.

* Exceto São Paulo;

** Razão entre o percentual de subnotificados e o percentual de notificados no SITE-TB por UF.

Todos os 2.226 registros do SITE-TB de 2013 e 2014 avaliados apresentaram desfecho de tratamento registrado no sistema. Foram 174 (7,8%) casos registrados como óbito por TB, 53 (2,4%) como óbito por outra causa e 1.999 (89,8%) tinham outros encerramentos (Figura 3).

Entre os 174 registros encerrados como óbito por TB, 114 (65,5%) foram encontrados no SIM no período de 2013 a 2016, dos quais 62 (35,4%) mencionaram TB como causa básica, 29 (16,7%) como causa associada, 23 (13,3%) não mencionaram TB e 60 (34,6%) não foram encontrados no SIM. Dos 53 registros encerrados como óbito por outras causas, 14 (26,4%) tinham TB como causa básica, 13 (24,5%) como causa associada, 23 (43,4%) não mencionaram TB e três casos (5,7%) não foram encontrados no SIM. Quanto àqueles não considerados óbitos no SITE-TB (n = 1.999), 69 (3,4%) foram encontrados no SIM com TB como causa básica, 24 (1,2%) com TB como causa associada e 1.906 (95,3%) não foram encontrados no SIM com TB como causa básica ou associada (Figura 3).

Figura 3 Distribuição dos encerramentos no Sistema de Informação de Tratamentos Especiais de Tubercules (SITE-TB), após o relacionamento probabilístico com o Sistema de Informações sobre Mortalidade (SIM), classificados em causa básica tuberculose (TB), causa associada TB, óbitos por outras causas com o capítulo da causa básica e não encontrados no SIM. Brasil *, 2013 a 2016. 

Entre os 2.226 registros do SITE-TB no período 2013-2014, 2.070 (93%) foram concordantes, obtendo-se um coeficiente PABAK de 0,86 (IC95%: 0,85-0,87). Classificou-se como excelente a concordância entre o desfecho óbito no campo encerramento do SITE-TB e a presença ou não do óbito no SIM no período analisado (Tabela 2).

Tabela 2 Coeficiente kappa com ajuste PABAK (prevalance and bias adjusted kappa) obtido entre o encerramento do Sistema de Informação de Tratamentos Especiais de Tuberculose (SITE-TB) e o desfecho óbito no Sistema de Informações sobre Mortalidade (SIM). Brasil *, 2013 a 2016. 

SITE-TB (2013 a 2014) SIM (2013 a 2016) Total
Óbito Não óbito
n % n %
Óbito 164 72,2 63 27,8 227
Não óbito 93 4,7 1.906 95,3 1.999
Total 257 - 1.969 - 2.226

Nota: PABAK = 0,86 (IC95%: 0,85-0,87).

* Exceto São Paulo.

Discussão

Este trabalho mostrou, a partir da avaliação da qualidade das informações dos registros de TB DR notificados no SITE-TB, que ainda temos lacunas relacionadas ao diagnóstico e ao tratamento da TB DR no Brasil. A identificação da subnotificação no SITE-TB de casos de TB DR confirmados por exames laboratoriais no GAL representa um desafio para o controle da doença. Esses pacientes com diagnóstico de TB RR/MDR/XDR provavelmente não iniciaram o tratamento e, portanto, permaneceram transmissores de cepas resistentes. No que se refere à utilização do SINAN e do SITE-TB pela vigilância epidemiológica, o resultado demonstra que o fluxo de notificação entre os dois sistemas está organizado, porém o número de casos subnotificados anualmente ainda é de cerca de 150, o que representaria um acréscimo de 16% de casos novos de TB DR ao ano 22. Outro ponto a ser destacado é o resultado excelente para a concordância do desfecho óbito no SITE-TB com os registros do SIM e da não ocorrência de casos sem desfecho de tratamento no período do estudo, o que pode estar relacionado à facilidade de utilização de um sistema on-line como o SITE-TB, assim como uma possível maior preocupação do serviço em se tratando de um desfecho desfavorável para o controle da TB DR. Apesar das lacunas encontradas, alguns resultados confirmam a qualidade da vigilância da TB DR no Brasil.

Mais antigo do que o SITE-TB, o GAL iniciou o seu processo de implantação de forma gradual nos estados brasileiros em 2009 9. Em uma avaliação do GAL para a vigilância sentinela da síndrome gripal, constatou-se redução do tempo para acesso aos resultados laboratoriais de 30 para 15 dias e boa aceitabilidade do sistema pelos profissionais 23. No entanto, os resultados de nosso estudo sugerem que, para a vigilância da TB DR, a utilização do GAL como forma de monitoramento dos casos confirmados ainda não é rotina, o que corrobora os resultados obtidos em um estudo sobre confirmação laboratorial da TB realizado no Município do Rio de Janeiro em 2017 24. O resultado encontrado no relacionamento entre o SITE-TB e o GAL para a subnotificação de casos de TB RR/MDR mostrou que teríamos um acréscimo de nove pontos percentuais (177 casos) na detecção de TB RR/MDR ao ano se todos os casos confirmados pelo laboratório estivessem no SITE-TB. Em 2017, a detecção de TB RR/MDR foi de 55% 1. Estudo realizado no Peru concluiu que os sistemas de informação laboratorial on-line têm um grande potencial para melhorar o atendimento ao paciente e o monitoramento da saúde pública 25. Além disso, este estudo identificou que a cobertura e a falta de treinamento dos profissionais para utilização do sistema, somadas ao fluxo de amostras inadequado, são obstáculos a serem vencidos para o alcance de uma rede laboratorial de qualidade 25.

Outros estudos que realizaram relacionamento entre bases de dados de TB encontraram subnotificação de casos ao relacionar o SINAN com o SIM e com o Sistema de Informações Hospitalares do Sistema Único de Saúde (SIH-SUS) 26,27,28. Os dados de morte são compilados desde 1975, e os dados de internação desde 2006. Isso demostra que até os sistemas de informação mais antigos não são utilizados efetivamente como ferramentas da vigilância da TB em diferentes planos de gestão do SUS. Um estudo realizado no Estado do Ceará, a partir do relacionamento do SINAN-TB com o SIM e o SINAN-aids, encontrou como resultado um incremento de até 7,5% nos casos notificados no SINAN-TB em cada ano de estudo 26.

De acordo com o Guia de Vigilância em Saúde (GVS) do Ministério da Saúde, os casos de monorresistência à H ou à R devem ser notificados no SITE-TB, mesmo que não tenham indicação para utilização de esquema especial 7. A não notificação desses casos prejudica a vigilância no reconhecimento da carga de TB DR diagnosticada e tratada no país, pois o cálculo é feito a partir do SITE-TB. Uma possível explicação para a subnotificação desses indivíduos é que eles provavelmente apresentam uma evolução clínica favorável ao tratar a TB com esquema básico e, com isso, não realizam ou realizam tardiamente o diagnóstico da resistência aos fármacos. Dessa forma, o acompanhamento do tratamento desses indivíduos ocorre apenas no SINAN.

Considerando que o encerramento como TB DR no SINAN esteja correto para os casos que não foram encontrados no SITE-TB, podemos sugerir que se trata de situações de abandono de tratamento ou de morte antes de iniciar o tratamento de TB DR. O mesmo pode ser afirmado com relação aos registros de TB RR, MDR, XDR e outras resistências encontrados no GAL. A centralização necessária do atendimento em unidades de referência para TB pode causar dificuldade de acesso aos serviços e influenciar a ocorrência desses possíveis abandonos ou óbitos que foram encontrados no GAL e no SINAN. Entretanto, o fluxo dessas informações geradas pelos diversos sistemas de informação precisa ser organizado pelas equipes de vigilância, para que os indivíduos em abandono de tratamento possam ser recuperados para iniciar o tratamento adequado. Essa deve ser uma ação priorizada pelos serviços de saúde.

Um estudo de abrangência nacional encontrou concordância moderada ao avaliar o encerramento do SINAN-TB com o SIM 29. De acordo com o Ministério da Saúde, a média de encerramento em branco/ignorado ou transferência no SINAN no período de 2010 a 2016 foi de 8,1% 22. O trabalho realizado pelas equipes de vigilância, para que se mantenha atualizada a situação de tratamento dos indivíduos que são acompanhados no SINAN, envolve: (i) emissão mensal de boletins de acompanhamento em papel para a busca do dado nas unidades de saúde, (ii) envio ao primeiro nível informatizado para inserção do dado no SINAN, e (iii) rotinas de vinculação de registros de indivíduos para aqueles que mudaram de unidade de saúde ao longo do tratamento 7. No SITE-TB, a atualização dos dados pode ser feita durante a consulta pelo profissional que está atendendo a pessoa em tratamento, e as situações de transferência de unidade de saúde são realizadas diretamente no sistema pelas próprias unidades responsáveis pelo indivíduo 30. Essas são características que contribuem para a qualidade das informações de acompanhamento dos casos de TB DR.

Assim, como foi discutido em um trabalho que avaliou a concordância entre o SINAN-TB e o SIM no Município do Rio de Janeiro, as possíveis explicações para a não concordância de parte dos encerramentos do SITE-TB e o SIM são: desconhecimento sobre as causas da morte por parte do serviço de saúde que acompanhou o indivíduo, ausência de uma padronização para o preenchimento desse campo ou falha no diagnóstico da doença no momento do óbito 28. Chama atenção os 46 indivíduos que estavam tratando TB DR, que foram encerrados como óbito no SITE-TB, mas que não mencionaram TB entre as causas de morte. Não ter mencionado a TB provavelmente pode estar atrelado ao desconhecimento da história da doença pelo indivíduo ou pelo médico que preencheu a Declaração de Óbito (DO), desconhecimento do médico sobre o preenchimento adequado da DO e, ainda, falta de investigação dos óbitos registrados no SITE-TB 31.

Ainda em relação à concordância, ressaltamos a ocorrência de 63 registros encerrados como óbito e que não foram encontrados no SIM. Provavelmente ocorreu algum erro no preenchimento da situação de encerramento, podendo, inclusive, fazer referência a indivíduos que tenham abandonado o tratamento da TB DR. Isso reforça, assim como já foi dito em outros trabalhos 28,32, a necessidade de monitorar oportunamente todos os sistemas de informação ao trabalhar com a vigilância da TB.

Entre as limitações deste trabalho, destaca-se a impossibilidade de utilizar o estimador de Chapman para o relacionamento entre o SITE-TB e o GAL, devido à cobertura não universal do último sistema. Isso restringiu a análise para a descrição dos casos de TB DR não notificados no SITE-TB a partir do GAL. Essa cobertura não universal do GAL também pode ter subestimado o número de casos de TB DR registrados no GAL e sem notificação no SITE-TB. Da mesma forma, a exclusão das análises do Estado de São Paulo, responsável por 25% dos casos de TB do país 22, pode ter subestimado a subnotificação no SITE-TB. Outra potencial limitação deste estudo é a qualidade das informações, principalmente dos dados de identificação, o que pode ter influenciado negativamente os resultados obtidos nos relacionamentos probabilísticos utilizados. A revisão manual de pares duvidosos 33 foi utilizada em todos os passos dos relacionamentos como forma de minimizar possíveis falhas em decorrência do processo probabilístico e da qualidade dos dados. Para utilizar o estimador de Chapman, a qualidade dos dados é um dos pressupostos básicos, seguido de população fechada, diagnóstico válido e independência, os quais foram parcialmente mantidos 34. Vale salientar que inúmeros trabalhos que avaliaram os resultados do processo de relacionamento com bases de dados do SUS demonstraram que o método pode ser utilizado 11,26,29,35. Por fim, o não relacionamento dos casos subnotificados encontrados no SINAN e no GAL para avaliar se eram os mesmos indivíduos ou não também pode ser considerado uma outra limitação do estudo.

O monitoramento dos diversos sistemas de informação foi reforçado ao longo do artigo como uma estratégia a curto prazo para qualificação da vigilância da TB. Entretanto, a médio e longo prazo, é preciso avançar no desenvolvimento dos sistemas de informação vigentes. Deve-se trabalhar na interoperabilidade automática entre eles, na utilização efetiva do Cartão Nacional de Saúde ou do Cadastro de Pessoa Física (CPF) como identificador único para os indivíduos e na reformulação do Sinan, principal ferramenta de vigilância da TB, para um sistema on-line. Sendo assim, investimentos são necessários (para a geração de dados de qualidade) e oportunos (para demonstrar a verdadeira situação epidemiológica da doença).

As metas para o fim da TB como problema de saúde pública em 2035 já foram estabelecidas 36,37,38. As novas ferramentas para o controle da TB normalmente giram em torno de diagnóstico e tratamento da doença, mas a qualificação da vigilância com sistemas de informação que auxiliem o monitoramento epidemiológico com mais qualidade e que modernizem o trabalho das equipes de vigilância também são essenciais para o alcance das metas. Sem um sistema de informação qualificado, a mensuração e a avaliação das metas paulatinamente até 2030 ficam prejudicadas.

Agradecimentos

Aos professores Elisabeth Carmen Duarte, Mauro Niskier Sanchez, Maria Regina Fernandes de Oliveira e Edgar Merchan-Hamann, que participaram da banca de qualificação do Doutorado de Patricia Bartholomay.

Referências

1. World Health Organization. Global tuberculosis report 2018. Geneva: World Health Organization; 2018. [ Links ]

2. World Health Organization. Global tuberculosis report 2015. Geneva: World Health Organization; 2015. [ Links ]

3. World Health Organization. Global tuberculosis report 2016. Geneva: World Health Organization; 2016. [ Links ]

4. World Health Organization. Global tuberculosis report 2017. Geneva: World Health Organization; 2017. [ Links ]

5. Lew W, Pai M, Oxlade O, Martin D, Menzies D. Initial drug resistance and tuberculosis treatment outcomes: systematic review and meta-analysis. Ann Intern Med 2008; 149:123-34. [ Links ]

6. Villegas L, Otero L, Sterling TR, Huaman MA, Van der Stuyft P, Gotuzzo E, et al. Prevalence, risk factors, and treatment outcomes of isoniazid- and rifampicin-mono-resistant pulmonary tuberculosis in Lima, Peru. PLoS One 2016; 11:e0152933. [ Links ]

7. Departamento de Vigilância das Doenças Transmissíveis, Secretaria de Vigilância em Saúde, Ministério da Saúde. Guia de vigilância em saúde. Brasília: Ministério da Saúde; 2017. [ Links ]

8. Ministério da Saúde. Portaria nº 204, de 17 de fevereiro de 2016. Define a Lista Nacional de Notificação Compulsória de doenças, agravos e eventos de saúde pública nos serviços de saúde públicos e privados em todo o território nacional, nos termos do anexo, e dá outras providências. Diário Oficial União 2016; 18 fev. [ Links ]

9. Jesus R, Guimarães RP, Bergamo R, Santos LCF, Matta ASD, Paula Júnior FJ. Sistema Gerenciador de Ambiente Laboratorial: relato de experiência de uma ferramenta transformadora para a gestão laboratorial e vigilância em saúde. Epidemiol Serv Saúde 2013; 22:525-9. [ Links ]

10. GBD 2016 Causes of Death Collaborators. Global, regional, and national age-sex specific mortality for 264 causes of death, 1980-2016: a systematic analysis for the Global Burden of Disease Study 2016. Lancet 2017; 390:1151-210. [ Links ]

11. Maia-Elkhoury ANS, Carmo EH, Sousa-Gomes ML, Mota E. Analysis of visceral leishmaniasis reports by the capture-recapture method. Rev Saúde Pública 2007; 41:931-7. [ Links ]

12. Lima CRA, Schramm JMA, Coeli CM, Silva MEM. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad Saúde Pública 2009; 25:2095-109. [ Links ]

13. Campbell SE, Campbell MK, Grimshaw JM, Walker AE. A systematic review of discharge coding accuracy. J Public Health Med 2001; 23:205-11. [ Links ]

14. John M. Last: dictionary of epidemiology. New York: Oxford University Press; 1998. [ Links ]

15. Almeida Filho N, Rouquayrol MZ. Introdução à epidemiologia. Rio de Janeiro: Editora Guanabara Koogan; 2006. [ Links ]

16. Camargo Jr. KR, Coeli CM. RecLink 3: nova versão do programa que implementa a técnica de associação probabilística de registros (probabilistic record linkage). Cad Saúde Colet (Rio J.) 2006; 14:399-404. [ Links ]

17. Oliveira GP. Abandono de tratamento da tuberculose no município do Rio de Janeiro: construção de modelo sistêmico e análise de fatores associados a partir de bases de dados secundárias [Tese de Doutorado]. Rio de Janeiro: Universidade Federal do Rio de Janeiro; 2017. [ Links ]

18. Santos ML. Fatores associados à subnotificação de TB e Aids, durante os anos de 2001 a 2010, a partir do SINAN [Dissertação de Mestrado]. Recife: Centro de Pesquisas Ageu Magalhães, Fundação Oswaldo Cruz; 2014. [ Links ]

19. Stroup DF. Special analytic issues. In: Teutsch SM, Churchill RE, editors. Principles and practice of public health surveillance. New York: Oxford University Press; 1994. p. 136-49. [ Links ]

20. Landis JR, Koch JJ. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-74. [ Links ]

21. Brito C, Portela MC, Vasconcellos MTL. Avaliação da concordância de dados clínicos e demográficos entre Autorizações de Procedimento de Alta Complexidade Oncológica e prontuários de mulheres atendidas pelo Sistema Único de Saúde no Estado do Rio de Janeiro, Brasil. Cad Saúde Pública 2005; 21:1829-35. [ Links ]

22. Coordenação-Geral do Programa Nacional de Controle da Tuberculose, Departamento de Vigilância das Doenças Transmissíveis, Secretaria de Vigilância em Saúde, Ministério da Saúde. Situação epidemiológica da tuberculose no Brasil. https://drive.google.com/file/d/1F0QFp3KDIh-8QqvUMzSc0PkZsTQQ77E5/view (acessado em 06/Dez/2019). [ Links ]

23. Paula FJ, Matta ASD, Jesus R, Guimarães RP, Souza LRO, Brant JL, et al. Sistema Gerenciador de Ambiente Laboratorial - GAL: avaliação de uma ferramenta para a vigilância sentinela de síndrome gripal, Brasil, 2011-2012. Epidemiol Serv Saúde 2017; 26:339-48. [ Links ]

24. Liporaci QFS. Acompanhamento da notificação dos casos de tuberculose pulmonar com confirmação laboratorial no município do Rio de Janeiro. Academus Revista Científica da Saúde 2018; 3:1-6. [ Links ]

25. Blaya JA, Shin SS, Yagui MJA, Yale G, Suárez CZ, Asencios LL, et al. A web-based laboratory information system to improve quality of care of tuberculosis patients in Peru: functional requirements, implementation and usage statistics. BMC Med Inform Decis Mak 2007; 7:33. [ Links ]

26. Peres DA, Façanha MC, Viana Júnior AB. Incremento de casos e melhoria da informação sobre tuberculose no Estado do Ceará, Brasil, após o relacionamento de bases de dados. Cad Saúde Colet (Rio J.) 2017; 25:491-7. [ Links ]

27. Sousa LMO, Pinheiro RS. Unnotified deaths and hospital admissions for tuberculosis in the municipality of Rio de Janeiro. Rev Saúde Pública 2011; 45:31-9. [ Links ]

28. Rocha MS, Aguiar FP, Oliveira GP, Saraceni V, Coeli CM, Pinheiro RS. Confiabilidade do desfecho do tratamento usando linkage de bases de dados para a tuberculose. Cad Saúde Colet (Rio J.) 2015; 23:150-6. [ Links ]

29. Bartholomay P, Oliveira GP, Pinheiro RS, Vasconcelos AMN. Melhoria da qualidade das informações sobre tuberculose a partir do relacionamento entre bases de dados. Cad Saúde Pública 2014; 30:2459-70. [ Links ]

30. Bartholomay P, Pinheiro RS, Pelissari DM, Arakaki-Sanchez D, Dockhorn F, Rocha JL, et al. Sistema de Informação de Tratamentos Especiais de Tuberculose (SITE-TB): histórico, descrição e perspectivas. Epidemiol Serv Saúde 2019; 28:e2018158. [ Links ]

31. Rocha MS, Oliveira GP, Aguiar FP, Saraceni V, Pinheiro RS. Do que morrem os pacientes com tuberculose: causas múltiplas de morte de uma coorte de casos notificados e uma proposta de investigação de causas presumíveis. Cad Saúde Pública 2015; 31:709-21. [ Links ]

32. Oliveira GP, Pinheiro RS, Coeli CM, Codenotti SB, Barreira D. Linkage entre SIM e SINAN para a melhoria da qualidade dos dados dos sistemas de informação da tuberculose: a experiência nacional. Cad Saúde Colet (Rio J.) 2010; 18:107-11. [ Links ]

33. Silveira DP, Artmann E. Acurácia em métodos de relacionamento probabilístico de bases de dados em saúde: revisão sistemática. Rev Saúde Pública 2009; 43:875-82. [ Links ]

34. Coeli CM, Veras RP, Coutinho ESF. Metodologia de captura-recaptura: uma opção para a vigilância das doenças não transmissíveis na população idosa. Cad Saúde Pública 2000; 16:1071-82. [ Links ]

35. Gonçalves VF, Kerr LRFS, Mota RSM, Mota JMA. Estimativa de subnotificação de casos de aids em uma capital do Nordeste. Rev Bras Epidemiol 2008; 11:356-64. [ Links ]

36. Coordenação-Geral do Programa Nacional de Controle da Tuberculose, Departamento de Vigilância das Doenças Transmissíveis, Secretaria de Vigilância em Saúde, Ministério da Saúde. Brasil Livre da Tuberculose: plano nacional pelo fim da tuberculose como problema de saúde pública. Brasília: Ministério da Saúde; 2017. [ Links ]

37. Barreira D. Os desafios para a eliminação da tuberculose no Brasil. Epidemiol Serv Saúde 2018; 27:e00100009. [ Links ]

38. World Health Organization. Gear up to end TB: introducing the end TB strategy. Geneva: World Health Organization; 2015. [ Links ]

Recebido: 04 de Maio de 2019; Revisado: 13 de Setembro de 2019; Aceito: 25 de Outubro de 2019

Correspondência P. Bartholomay SRTVN Quadra 701, Via W 5 Norte, Lote D Edifício PO700, Brasília, DF 70719-040, Brasil. patricia.bartholomay@gmail.com

Colaboradores

P. Bartholomay participou no processo de desenvolvimento de estudo, análise e interpretação dos resultados, confecção do manuscrito e aprovação final da versão a ser publicada. R. S. Pinheiro e W. N. Araújo participaram e orientaram o processo de desenvolvimento de estudo, análise e interpretação dos resultados, além da revisão crítica relevante do conteúdo intelectual e aprovação final da versão a ser publicada. F. D. C. Johansen, S. B. Oliveira, M. S. Rocha e D. M. Pelissari contribuíram com a redação, revisão crítica relevante do conteúdo intelectual e aprovação final da versão a ser publicada.

Informações adicionais

ORCID: Patricia Bartholomay (0000-0002-4881-0630); Rejane Sobrino Pinheiro (0000-0002-3361-3626); Fernanda Dockhorn Costa Johansen (0000-0002-1762-9484); Silvano Barbosa de Oliveira (0000-0002-1966-6115); Marli Souza Rocha (0000-0003-2358-0848); Daniele Maria Pelissari (0000-0002-0760-1875); Wildo Navegantes de Araújo (0000-0002-6856-4094).

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons