Acessibilidade / Reportar erro

Estudo de confiabilidade do SINAN a partir das Campanhas para a Eliminação da Sífilis Congênita no Município do Rio de Janeiro

Reliability of the National Disease Surveillance Data System using Campaigns for the elimination of congenital syphilis in the City of Rio de Janeiro

Resumos

A partir da construção da base de dados das Campanhas para a Eliminação da Sífilis Congênita, realizadas no Município do Rio de Janeiro em 1999 e 2000, estabeleceu-se a confiabilidade dos dados informados ao Sistema Nacional de Agravos de Notificação (SINAN). Procedeu-se também a um estudo da qualidade do preenchimento das variáveis, que são as informações solicitadas para a notificação do caso. O percentual de concordância simples para a variável número de consultas de pré-natal foi de 91% e 92,1% e para a variável sífilis na gravidez foi de 62,7% e 76,3%, para os anos de 1999 e 2000, respectivamente. A concordância para as variáveis idade da mãe, data do tratamento e tipo de tratamento foi estabelecida pelo coeficiente kappa. A variável idade apresentou excelente concordância. Contudo, as outras duas resultaram em baixa concordância para os dois anos estudados. Em relação à qualidade, variáveis importantes como realização do primeiro VDRL, do segundo VDRL e a idade gestacional no tratamento, apresentaram percentuais de caselas vazias/ignoradas superiores a 20%. O estudo da confiabilidade entre a base primária das campanhas e o SINAN-SC corrobora a necessidade de desenvolver estratégias para aprimorar a qualidade do último nos vários níveis dos sistemas de saúde. A mudança da definição de caso de sífilis congênita, realizada em 2004, e a introdução do Curso Básico de Vigilância Epidemiológica para sífilis na gestação e sífilis congênita devem contribuir para o aprimoramento do sistema.

Confiabilidade; Vigilância epidemiológica; Sífilis congênita


Using the database obtained from the Campaigns for the elimination of congenital syphilis in the City of Rio de Janeiro in 1999 and 2000, we performed a reliability study on the National Disease Surveillance Data System (SINAN). We also evaluated the quality of the data provided. The percentage of agreement for the variable number of consultations in prenatal care was 91.0% in 1999 and 92.1% in 2000, and for syphilis during pregnancy was 62.7% in 1999 and 76.3% in 2000. Kappa statistics for the variables age of mother, date of treatment and therapy regimen provided an almost perfect agreement for age, in both years, but a slight to fair agreement for the other two. Looking at the quality of data, important variables as first VDRL during pregnancy, second VDRL and gestational age at syphilis treatment had more than 20% of blank or unknown answers. The reliability study of the SINAN using the campaigns' primary databases corroborates the need of establishing strategies to increase the quality of the SINAN at the various levels of the health systems. The 2004 change in case definition and the implementation of the Basic Course in Epidemiological Surveillance on syphilis in pregnancy and congenital syphilis will contribute to the improvement of the system.

Reliability; Epidemiological surveillance; Congenital syphilis


ARTIGOS ORIGINAIS

Estudo de confiabilidade do SINAN a partir das Campanhas para a Eliminação da Sífilis Congênita no Município do Rio de Janeiro

Reliability of the National Disease Surveillance Data System using Campaigns for the elimination of congenital syphilis in the City of Rio de Janeiro

Valéria SaraceniI; Vitória VellozoI; Maria do Carmo LealII; Zulmira Maria de Araújo HartzII

ISecretaria Municipal de Saúde do Rio de Janeiro

IIEscola Nacional de Saúde Pública Sérgio Arouca – Fiocruz, Rio de Janeiro, RJ

Correspondência Correspondência: Valéria Saraceni Rua Afonso Cavalcanti, 455/856 - Cidade Nova 20211-901 Rio de Janeiro RJ E-mail: vsaraceni@rio.rj.gov.br

RESUMO

A partir da construção da base de dados das Campanhas para a Eliminação da Sífilis Congênita, realizadas no Município do Rio de Janeiro em 1999 e 2000, estabeleceu-se a confiabilidade dos dados informados ao Sistema Nacional de Agravos de Notificação (SINAN). Procedeu-se também a um estudo da qualidade do preenchimento das variáveis, que são as informações solicitadas para a notificação do caso. O percentual de concordância simples para a variável número de consultas de pré-natal foi de 91% e 92,1% e para a variável sífilis na gravidez foi de 62,7% e 76,3%, para os anos de 1999 e 2000, respectivamente. A concordância para as variáveis idade da mãe, data do tratamento e tipo de tratamento foi estabelecida pelo coeficiente kappa. A variável idade apresentou excelente concordância. Contudo, as outras duas resultaram em baixa concordância para os dois anos estudados. Em relação à qualidade, variáveis importantes como realização do primeiro VDRL, do segundo VDRL e a idade gestacional no tratamento, apresentaram percentuais de caselas vazias/ignoradas superiores a 20%. O estudo da confiabilidade entre a base primária das campanhas e o SINAN-SC corrobora a necessidade de desenvolver estratégias para aprimorar a qualidade do último nos vários níveis dos sistemas de saúde. A mudança da definição de caso de sífilis congênita, realizada em 2004, e a introdução do Curso Básico de Vigilância Epidemiológica para sífilis na gestação e sífilis congênita devem contribuir para o aprimoramento do sistema.

Palavras-chave: Confiabilidade. Vigilância epidemiológica. Sífilis congênita.

ABSTRACT

Using the database obtained from the Campaigns for the elimination of congenital syphilis in the City of Rio de Janeiro in 1999 and 2000, we performed a reliability study on the National Disease Surveillance Data System (SINAN). We also evaluated the quality of the data provided. The percentage of agreement for the variable number of consultations in prenatal care was 91.0% in 1999 and 92.1% in 2000, and for syphilis during pregnancy was 62.7% in 1999 and 76.3% in 2000. Kappa statistics for the variables age of mother, date of treatment and therapy regimen provided an almost perfect agreement for age, in both years, but a slight to fair agreement for the other two. Looking at the quality of data, important variables as first VDRL during pregnancy, second VDRL and gestational age at syphilis treatment had more than 20% of blank or unknown answers. The reliability study of the SINAN using the campaigns' primary databases corroborates the need of establishing strategies to increase the quality of the SINAN at the various levels of the health systems. The 2004 change in case definition and the implementation of the Basic Course in Epidemiological Surveillance on syphilis in pregnancy and congenital syphilis will contribute to the improvement of the system.

Keywords: Reliability. Epidemiological surveillance. Congenital syphilis.

Introdução

A utilização de bases de dados primárias, obtidas com pesquisa direta junto às unidades de saúde, para a comparação com as bases secundárias que compõem os sistemas de informação em saúde disponíveis em nível nacional, permite avaliar a qualidade da informação que é repassada dos níveis locais às secretarias de saúde. Com isso, pode-se estabelecer a necessidade de capacitação, tanto dos profissionais de saúde que trabalham com a vigilância epidemiológica, como daqueles que trabalham com a assistência, de modo que os dados gerados pelos sistemas de informação oficiais traduzam o que acontece com os serviços de saúde, facilitando o planejamento de ações de saúde a partir de uma situação real1.

A sífilis congênita (SC), grave problema de saúde pública no Brasil2, é declarada doença de notificação compulsória desde 1986. Todo agravo de notificação compulsória tem uma ficha de notificação e/ou investigação preenchida no nível local, e seu conteúdo é posteriormente transferido para meio informatizado, o Sistema Nacional de Agravos de Notificação (SINAN), nas Secretarias de Saúde. O SINAN é consolidado no nível federal.

Uma primeira contribuição desse tipo de iniciativa de comparação de bases de dados já pôde ser estabelecida em um estudo anterior, quando se verificou que a subnotificação de casos de SC atingia 60 a 70%, comparando-se os dados das Campanhas para a Eliminação da Sífilis Congênita (CESC) com o SINAN, no Município do Rio de Janeiro (MRJ)3.

Para realizar um estudo de confiabilidade, parte-se do conceito de que a confiabilidade é a capacidade de um instrumento de reproduzir resultados de forma consistente, quando utilizado por pesquisadores diferentes, ou pelo mesmo pesquisador em momentos diferentes, uma vez que o instrumento tenha sido utilizado de maneira adequada4,5, o que invoca conceitos de estabilidade e de equivalência. Estão disponíveis várias estratégias para se testar a reprodutibilidade de um instrumento, tais como repetir a medida em outro momento, avaliar o instrumento usando outro observador ou mais de um observador, que recebem as denominações de consistência interna, concordância intra-observador e concordância interobservador, que utilizam diferentes testes estatísticos para traduzir o que se quer medir6.

Através da comparação de variáveis constantes das bases de dados das CESC com o SINAN - SC, de 1999 e 2000, pretende-se avaliar a confiabilidade do SINAN - SC, de 1999 e 2000, que foram os anos relativos às campanhas. Neste estudo avaliou-se, também, a qualidade do preenchimento de diversas variáveis consideradas importantes para o propósito de eliminação da SC, usando como parâmetro os valores estabelecidos por Mello-Jorge e colaboradores na validação do SINASC 7.

Métodos

Primeiramente selecionou-se as variáveis de importância para a análise dos dados e identificou-se as que apresentavam um percentual de caselas vazias e/ou com preenchimento como ignorado maior do que 10%, conforme o procedimento descrito por Mello-Jorge. Uma vez que no SINAN a quantidade de variáveis que preenchia o critério de 10% era grande, optou-se em ampliar o critério para 20%.

As variáveis disponíveis nas bases de dados das CESC e do SINAN para comparação foram: nome da gestante, idade da gestante, idade gestacional no diagnóstico e tratamento, data do tratamento e inserção no pré-natal. Utilizou-se o nome da gestante como ligação para os bancos, através do uso do software RECLINK8. A data de tratamento da campanha foi comparada à data de tratamento no SINAN. Os campos sífilis na gravidez e número de consultas de pré-natal foram considerados discordantes quando estavam preenchidos no SINAN como NÃO (possibilidades sim, não e ignorado) e ZERO (nenhuma consulta), respectivamente, pois as participantes das CESC tinham sido diagnosticadas com sífilis na gravidez e tiveram, pelo menos, uma consulta de pré-natal. Para essas duas variáveis foi utilizado o percentual simples de concordância interobservador.

Para as outras variáveis calculamos a concordância pelo coeficiente Kappa, com a base de dados primários das campanhas, aqui considerados como o padrão-ouro em relação ao SINAN. Para a variável idade da mãe, foram consideradas concordantes as informações de idades iguais ou com um ano a mais no SINAN (tendo a gestação duração de nove meses, no momento do parto a mulher poderia estar com um ano a mais de vida). Para as demais variáveis, as informações foram consideradas concordantes somente quando eram exatamente iguais nos dois bancos de dados. A análise do coeficiente Kappa seguiu os parâmetros de Landis e Koch6.

Este estudo fez parte da tese de doutorado da primeira autora, tendo sido aprovado no Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública – Fiocruz.

Resultados

Em relação ao percentual de caselas preenchidas como vazias/ignoradas nas fichas de notificação/investigação do SINAN, chamava atenção a variável etnia da criança, não preenchida em 100% dos casos para os anos de 1999 e 2000. Variáveis extremamente importantes para a definição de caso de SC, como a realização do primeiro VDRL durante a gravidez, realização do segundo VDRL e idade gestacional no tratamento, apresentaram percentuais de caselas vazias/ignoradas iguais a 51,5, 59,9 e 38,5%, respectivamente (Tabela 1), configurando um mau preenchimento da ficha. Em relação ao recém-nascido, uma variável de simples preenchimento como ser assintomático ao nascer, cujas possibilidades de respostas são sim, não ou ignorado, apresentou percentuais de caselas vazias/ignoradas de 20,3% e 16,8%, para cada ano. Uma questão ainda mais importante, porque fala do diagnóstico de neurosífilis, de grave morbidade para o recém-nascido, é a presença de alterações liquóricas, cujo preenchimento apresentou-se como ignorado ou em branco em 92,9% e 89,7% a cada ano.

O percentual de concordância simples para a variável número de consultas foi de 91% em 1999 e 92,1% em 2000. Durante as CESC, as gestantes que estavam fora do pré-natal eram imediatamente inseridas, com a solicitação dos outros exames e realização da primeira avaliação gestacional. Portanto, nenhuma das participantes das campanhas poderia ter ZERO como o número de consultas realizadas durante o pré-natal. O percentual de concordância simples para a variável sífilis na gravidez foi de 62,7% em 1999 e 76,3% em 2000. Do mesmo modo que a variável anteriormente mencionada, essa variável deveria ter SIM como resposta no SINAN para as mulheres que foram captadas pelas CESC e que, definitivamente, foram diagnosticadas como portadoras de sífilis durante a gestação.

A concordância pelo coeficiente kappa para as variáveis idade, data do tratamento e tipo de tratamento estão na Tabela 2. A variável idade apresentou melhor índice para os dois anos, sendo considerada concordância como excelente, o que não aconteceu com as variáveis data de tratamento e tipo de tratamento, com valores bem mais baixos e considerados baixos pelo mesmo critério. Em relação à última variável, observou-se uma disparidade entre a concordância nos dois anos, menor no primeiro ano, o que poderia estar refletindo o efeito das capacitações de profissionais de saúde no manejo da sífilis na gestação, realizadas sistematicamente pela Secretaria Municipal de Saúde do Rio de Janeiro, desde as campanhas.

Discussão

O estudo foi capaz de mostrar que ainda existe espaço para um esforço na qualificação da informação que é repassada para a base de dados oficial do SINAN.

Os achados permitem inferir sobre a maneira como profissionais de saúde se comportam frente ao preenchimento de instrumentos de notificação, levando em consideração a importância creditada a determinado evento ou situação pelo médico assistente, que pode registrar ou não certos dados9. A ficha de notificação de SC, como as demais fichas que compõem o sistema de vigilância epidemiológica, tem instrução para preenchimento em anexo, que pode não estar sendo suficiente para esclarecer sobre o correto preenchimento da mesma.

Pelo visto no estudo, é importante reforçar a capacitação dos profissionais, utilizando-se os Cursos Básicos de Vigilância Epidemiológica (CBVE), que em diversos agravos têm procurado preencher essas lacunas. Os profissionais que realizam a vigilância epidemiológica e que são responsáveis pelo preenchimento das informações passariam a entender melhor seu compromisso com a completude dessas, mesmo com a utilização de outras fontes de informação além do prontuário. Nesses casos, é viável a entrevista com a gestante ou puérpera para completar as informações necessárias sobre a ocorrência do caso de SC.

Não basta apenas avaliar os dados que o monitoramento constante, exercido pela notificação de doenças compulsórias, permite. È necessário um acompanhamento constante da situação das bases de dados. O estudo de confiabilidade traz uma excelente oportunidade de verificar a situação delas. Embora essa avaliação tenha sido feita quando ainda vigorava a base do sistema operacional em DOS, o fato da mesma ter sido substituída pelo sistema operacional Windows (SINAN-w) não impede a apreciação dos resultados, pois os problemas concernentes à notificação permaneceram os mesmos. As mudanças observadas não afetaram a estrutura do banco/base de dados.

Para outros sistemas de informação como o Sistema de Informação sobre Nascidos Vivos (SINASC) e o Sistema de Informação sobre Mortalidade (SIM), estudos semelhantes têm sido realizados, o que tem permitido uma avaliação mais amiúde da qualidade dos mesmos10,11.

Conclusão

A avaliação da qualidade do preenchimento das variáveis consideradas importantes para o SINAN-SC revelou uma situação desfavorável, comprometendo a análise dos dados.

O estudo da confiabilidade entre a base primária das CESC e o SINAN-SC corrobora a necessidade de desenvolver um plano para aprimorar a qualidade do último nos vários níveis dos sistemas de saúde, à semelhança de outros sistemas de informação já mais consolidados.

A modificação da definição de caso de SC para fins de vigilância epidemiológica em janeiro de 2004 foi o primeiro passo. A implantação do CBVE para os agravos de transmissão vertical (sífilis e HIV) pelo Ministério da Saúde contribuirá para o aprimoramento da vigilância do agravo.

Recebido em: 15/06/05

Versão reformulada reapresentada em: 21/10/05

Aprovado em: 08/11/05

  • 1. Mello-Jorge MHP, Gotlieb SLD, Soboll MLMS, Almeida MF, Latorre MRDO. Avaliação do Sistema de Informações sobre Nascidos Vivos e o uso de seus dados em epidemiologia e estatísticas de saúde. Rev Saúde Pública 1993; 27(Suppl): 1-44.
  • 2. Secretaria de Vigilância em Saúde - Programa Nacional de DST e Aids. Boletim Epidemiológico - Aids e DST, Ano XVIII - nş 1. Brasília: Ministério da Saúde; 2004.
  • 3. Saraceni V, Leal MC. Avaliação da efetividade das campanhas para eliminação da sífilis congênita na redução da morbi-mortalidade perinatal. Município do Rio de Janeiro, 1999-2000. Cad Saúde Pública 2003; 19(5): 1341-9.
  • 4. Carmines EG, Zeller AR. Reliability and validity assessment Beverly Hills, CA: Sage University Press; 1979.
  • 5. Bravo G, Potvin L. Estimating the reliability of continuous measures with Cronbach's alpha or the intraclass correlation coefficient: toward the integration of two traditions. J Clin Epidemiol 1991; 44: 381-90.
  • 6. Szklo M, Javier Nieto F. Epidemiology beyond the basics Gaistherburg, MD: Aspen Publishers Inc.; 2000.
  • 7. Mello-Jorge M H P, GotliebS L D, Oliveira H. O sistema de informação sobre nascidos vivos: Primeira avaliação dos dados brasileiros Informe Epidemiológico do SUS 1996; 5: 15-48.
  • 8. Camargo KR, Jr, Coeli CM. [Reclink: an application for database linkage implementing the probabilistic record linkage method]. Cad Saúde Pública 2000 Apr 16(2): 439-47.
  • 9. Campos MR, Leal MC, Souza Jr.PR, Cunha CB. Consistência entre as fontes de dados e confiabilidade interobservador do Estudo da Morbi-mortalidade e Atenção Peri e Neonatal do Município do Rio de Janeiro. Cad Saúde Pública 2004; 20(Sup.1): S34-S43.
  • 10. Theme Filha MM, Gama SGN, Cunha CB, Leal MC. Confiabilidade do Sistema de Informações sobre Nascidos Vivos hospitalares no Município do Rio de Janeiro, 1999-2001. Cad Saúde Pública 2004; 20(Sup.1): S83-S91.
  • 11. Noronha CP, Silva RI, Theme Filha MM. Concordância de dados das Declarações de Óbitos e de Nascidos Vivos para a mortalidade neonatal no Município do Rio de Janeiro. Informe Epidemiológico do SUS 1997; 4: 57-64.
  • Correspondência:
    Valéria Saraceni
    Rua Afonso Cavalcanti, 455/856 - Cidade Nova
    20211-901 Rio de Janeiro RJ
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      30 Jan 2006
    • Data do Fascículo
      Dez 2005

    Histórico

    • Revisado
      21 Out 2005
    • Recebido
      15 Jun 2005
    • Aceito
      08 Nov 2005
    Associação Brasileira de Saúde Coletiva Av. Dr. Arnaldo, 715 - 2º andar - sl. 3 - Cerqueira César, 01246-904 São Paulo SP Brasil , Tel./FAX: +55 11 3085-5411 - São Paulo - SP - Brazil
    E-mail: revbrepi@usp.br