Uma avaliação do Sistema de Informações sobre Mortalidade

Rinaldo Macedo de Morais André Lucirton Costa Sobre os autores

RESUMO

O artigo avalia indicadores de qualidade do Sistema de Informações sobre Mortalidade (SIM) com profissionais e gestores. Cada indicador foi analisado com uso de oscilador estocástico para avaliação qualitativa de escalas Likert. A avaliação indicou que o SIM possui funcionalidades que atendem os usuários, é efetivo à gestão, apresenta desempenho adequado, possibilita auditoria e rastreamento de acessos e operações, possui mecanismos que garantem a recuperação de dados em situações de falhas e possui uma interface robusta. Os indicadores de interoperabilidade foram mal avaliados, confirmando relatos sobre falta de integração, fragmentação e duplicidade de informações nos sistemas de informação de saúde do Sistema Único de Saúde.

PALAVRAS-CHAVE:
Gestão em saúde; Registros de mortalidade; Avaliação em saúde

ABSTRACT

This paper assesses quality indicators of the Mortality Information System (SIM) with professionals and managers. Each indicator was analyzed with use of Stochastic Oscillator for qualitative evaluation of Likert scales. The evaluation indicated that the system has features that meet users, is effective to the management, provides adequate performance, enables auditing and tracking of accesses and operations, has mechanisms that ensure disaster recovery situations in data, and has a robust interface. Interoperability indicators were poorly evaluated, confirming reports on the lack of integration between the health information systems of the Unified Health System, fragmentation, and duplication of information.

KEYWORDS:
Health management; Mortality registries; Health evaluation

Introdução

A captação de eventos de mortalidade no Brasil tem apresentado significativa melhora nas últimas décadas, porém o País tem sido classificado em perfis intermediários em pesquisas sobre cobertura e completude de eventos vitais (MAHAPATRA et al., 2007MAHAPATRA, P. et al. Civil registration systems and vital statistics: successes and missed opportunities. The Lancet, London, v. 370, n. 9599, p. 1653-1663, nov. 2007., MATHERS et al., 2005MATHERS, C. D. et al. Counting the dead and what they died from: an assessment of the global status of cause of death data. Bull World Health Organ, Genebra, v. 83, n. 3, p. 171-177, mar. 2005.), apresenta volume significativo de registros com causas não definidas (LIMA; QUEIROZ, 2011LIMA, E. E. C.; QUEIROZ, B. L. A evolução do sub-registro de mortes e causas de óbitos mal definidas em Minas Gerais: diferenciais regionais. Rev. bras. estud. popul., Rio de Janeiro, v. 28, n. 2, p. 303-320, dez. 2011., FRANÇA et al., 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.) e problemas na notificação e no fluxo de informação de óbitos (SIVIERO et al., 2013SIVIERO, P. et al. Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013., FIGUEIROA et al., 2013FIGUEIROA, B. Q. et al. Análise da cobertura do Sistema de Informações sobre Mortalidade em Olinda, Pernambuco, Brasil. Cad. Saúde Pública, Rio de Janeiro, v. 29, n. 3, p. 475-484, mar. 2013.).

O processo de coleta, armazenamento e gerenciamento de registros de óbitos, no Brasil, é apoiado pelo Sistema de Informações sobre Mortalidade (SIM), de alimentação obrigatória em todos os municípios. Os registros de mortalidade são periodicamente enviados às Secretarias Estaduais de Saúde e transmitidos para o banco de dados nacional do Ministério da Saúde. O sistema também possui um módulo disponível pela web, que acessa a base de dados nacional para registros e consultas de investigação, como óbitos infantis e neonatais e de gestantes e mulheres em idade fértil. Os dados históricos armazenados pelo sistema produzem indicadores que subsidiam os gestores, por meio de consultas gerenciais acessíveis por intermédio dos aplicativos de consultas e de painéis situacionais de saúde em bases de dados consolidadas.

Trabalhos na literatura descrevem deficiências na qualidade dos sistemas de informação de saúde pública no Brasil, como falta de integração, fragmentação e duplicidade de informações (THAINES et al., 2009THAINES, G. H. L. S. et al. Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009., DAMÉ et al., 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.), baixa cobertura de alguns sistemas e incertezas quanto à confiabilidade dos dados por eles mantidos (DAMÉ ET AL., 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011., BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011., FARIAS et al., 2011FARIAS, L. M. M. et al. Os limites e possibilidades do Sistema de Informação da Esquistossomose (SISPCE) para a vigilância e ações de controle. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 10, p. 2055-2062, out. 2011., MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.) e deficiências no apoio ao gestor em processos de tomada de decisão e planejamento (MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009., VIDOR; FISHER; BORDIN, 2011VIDOR, A. C.; FISHER, P. D.; BORDIN, R. Utilização dos sistemas de informação em saúde em municípios gaúchos de pequeno porte. Revista de Saúde Pública, São Paulo, v. 45, n. 1, p. 24-30, 2011.). As informações em saúde no País possuem múltiplas fontes, baixa qualidade dos dados e disponibilização em formato que dificulta sua apropriação pelos gestores e pelo controle social (MORAES, 2010MORAES, I. H. S. Sala de situação em saúde: contribuição à ampliação da capacidade gestora do Estado? In: ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília, DF: Organização Pan-Americana da Saúde, Ministério da Saúde, 2010.) e o monitoramento da qualidade de dados em sistemas de informação de saúde que atendem ao Sistema Único de Saúde (SUS) não segue um plano regular de avaliações (LIMA et al., 2009LIMA, C. R. A. et al. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad. Saúde Pública, Rio de Janeiro, v. 25, n. 10, p. 2095-2109, out. 2009.).

Este artigo apresenta um processo de avaliação do SIM para dois perfis de usuários: profissionais de saúde que utilizam o sistema e gestores de saúde que analisam informações do sistema para gerenciamento e tomada de decisões, em municípios do nordeste do estado de São Paulo, Brasil.

Métodos

Caracterizada como um estudo transversal, esta pesquisa consistiu em uma avaliação de qualidade do SIM que incluiu profissionais de saúde de uma macrorregião do estado de São Paulo e gestores de saúde que atuam nos níveis local, regional e estadual. A opção de avaliar o SIM se deu pelo fato deste se tratar de um sistema de alta capilaridade, de uso regular e obrigatório em todos os municípios brasileiros e que tem demandado muitos estudos na literatura em epidemiologia e saúde pública.

Com os profissionais de saúde, o SIM foi avaliado por meio de entrevistas em cidades da 13ª Rede Regional de Atenção à Saúde do Estado de São Paulo (RRAS-13), que inclui as regiões de saúde de Araraquara, Barretos, Franca e Ribeirão Preto. No critério de seleção, foi adotada uma grade com cinco faixas populacionais, adaptada da grade de indicadores sociais municipais do Instituto Brasileiro de Geografia e Estatística (IBGE). Dezoito cidades foram selecionadas (20% das cidades da RRAS-13), observando-se a distribuição populacional proporcional da região por faixa, resultando em duas cidades com população até 5 mil habitantes (Cássia dos Coqueiros e Santa Cruz da Esperança), nove entre 5 e 25 mil (Dumont, Santo Antônio da Alegria, Serra Azul, Luiz Antônio, São Simão, Pradópolis, Miguelópolis, Cajuru e Santa Rosa de Viterbo), quatro entre 25 e 50 mil (São Joaquim da Barra, Ituverava, Barrinha e Santa Rita do Passa Quatro), duas entre 50 e 200 mil (Taquaritinga e Barretos) e uma acima de 200 mil habitantes (Ribeirão Preto). As cidades, em cada faixa, foram selecionadas por conveniência: foram incluídas aquelas em que houve concordância dos profissionais em participar da pesquisa e que utilizavam o SIM há pelo menos três meses.

Com os gestores de saúde, foram entrevistados cinco profissionais que atuam nos municípios de Ribeirão Preto, Barretos, Araraquara, São Joaquim da Barra e Taquaritinga, quatro que atuam nos Grupos de Vigilância Epidemiológica (GVE) nos Departamentos Regionais de Saúde de Ribeirão Preto, Araraquara, Franca e Barretos (RRAS-13) e uma gestora do SIM da diretoria do Centro de Informações Estratégicas em Vigilância à Saúde da Secretaria Estadual de Saúde do Estado de São Paulo. Os profissionais selecionados trabalham com o SIM há pelo menos seis meses.

Como referencial teórico, foi utilizado o modelo de avaliação proposto por Morais e Costa (2014)MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014., projetado como um instrumento para avaliação da qualidade dos sistemas de informação do SUS de abrangência nacional. Esse modelo inclui três dimensões de qualidade: qualidade do produto de software, qualidade em uso e qualidade de serviços. Para cada dimensão, o modelo especifica de um conjunto de indicadores de qualidade para sistemas de informação de saúde, descritos no quadro 1.

Quadro 1
Estruturação e definições de atributos de qualidade do modelo de avaliação

Para a coleta de dados, foram preparados dois questionários orientados a cada perfil de usuário, com a especificação de questões de avaliação para 45 indicadores de qualidade para sistemas de informação em saúde previstos no modelo especificado por Morais e Costa (2014)MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014., sendo 28 questões para profissionais de saúde que atuam em municípios e 17 questões orientadas a gestores, com escala ordinal de Likert de quatro pontos.

Os resultados são apresentados com as distribuições de frequência absolutas e percentuais observadas para as categorias de respostas para cada indicador. A avaliação dos resultados reutilizou um procedimento para análise de dados em escalas de Likert, formulado por Sanches, Meireles e De Sordi (2011)SANCHES, C.; MEIRELES, M.; DE SORDI, J. O. Análise qualitativa por meio da Lógica Paraconsistente: método de interpretação e síntese de informação obtida por escalas Likert. In: ENCONTRO DE PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE DA ANPAD (ENEPQ), 3., 2011, João Pessoa. Anais... João Pessoa, 2011. Disponível em: <http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf>. Acesso em: 24 abr. 2014.
http://www.anpad.org.br/diversos/trabalh...
, com versão adaptada do oscilador estocástico proposto pelos autores, para avaliação do grau de concordância (GC) para cada indicador, em uma escala entre zero e um, com inclusão de fatores de peso para as categorias, conforme a expressão:

GC = 100 100 × 0 . 01 1 + 2 × Σ CC + Σ CP + 0 . 25 × Σ DP + 0 . 00001 2 × Σ DC + Σ DP + 0 . 25 × Σ CP + 0 . 00001

Na expressão, os somatórios para CC, CP, DP e DC referem-se aos totais obtidos das compilações de respostas para cada categoria nos questionários de avaliação (CC=Concordo Completamente, CP=Concordo Parcialmente, DC=Discordo Completamente e DP=Discordo Parcialmente). O fator 0.00001 foi adicionado à expressão para evitar erros de divisão por zero. O grau de concordância (GC) para a proposição associada ao indicador foi interpretado qualitativamente, de acordo com a função de mapeamento apresentada na tabela 1. Conforme é mostrado na tabela 1, o valor calculado para o grau de concordância foi mapeado para concordância ou discordância muito forte, substancial, moderada, baixa ou desprezível, adaptada da proposta dos autores para a escala adotada.

Tabela 1
Avaliação qualitativa do grau de concordância (GC)

Um indicador foi considerado bem avaliado para concordância muito forte, substancial ou moderada (valor de CG superior a 0.7) e mal avaliado para discordância muito forte, substancial ou moderada (CG inferior a 0.3). O resultado foi considerado inconclusivo para as demais opções (concordâncias ou discordâncias baixas ou desprezíveis, com GC entre 0.3 e 0.7).

Este estudo foi incluído em projeto submetido e aprovado pelo Comitê de Ética em Pesquisa do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HCFMRP-USP) (CAAE/Conep 21337513.0.0000.5440) e não apresenta conflitos de interesses.

Resultados e discussão

Avaliação com profissionais de saúde

As entrevistas com os usuários do SIM em nível local ocorreram entre novembro de 2013 e fevereiro de 2014, nos departamentos de vigilância epidemiológica das secretarias de saúde dos municípios selecionados. A aplicação do questionário foi conduzida pessoalmente pelo pesquisador, com a apresentação de cada proposição associada ao indicador: o respondente assinalou as opções de respostas, com abertura para suas observações e comentários.

A tabela 2 apresenta as distribuições das frequências das respostas para as questões referentes às dimensões Qualidade de Produto de Software (indicadores 1 a 21), Qualidade em Uso (indicadores 22 a 25) e Qualidade de Serviços (indicadores 26 a 28), com as respectivas métricas de avaliação, interpretações e resultados para os indicadores avaliados.

Tabela 2
Distribuições de frequência, métricas e avaliação dos indicadores – profissionais de saúde

SUPORTABILIDADE FUNCIONAL

Os indicadores incluem Completude e Corretude Funcional (questões 1 e 2), foram avaliados muito positivamente, sem respostas discordantes. Cabe observar que, para Corretude Funcional, 47.1% dos usuários observaram que o SIM apresenta algum nível de informações incorretas, sobretudo em causas de óbitos, associado ao registro de causas de mortalidade nas declarações de óbitos, que impacta na qualidade das informações mantidas pelo sistema.

Quanto à qualidade dos dados mantidos pelo sistema, associada à Corretude Funcional, os registros de óbitos com causas não definidas, informadas erroneamente ou incompletos são recorrentemente relatados na literatura (FRANÇA et al., 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013., BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.; COSTA; FRIAS, 2011COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.).

Avanços na melhoria na qualidade dos dados no SIM incluem maior comprometimento do profissional médico (MELLO-JORGE; LAURENT; GOTLIEB, 2007MELLO-JORGE, M. H. P.; LAURENTI, R.; GOTLIEB, S. L. D. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciência saúde coletiva, Rio de Janeiro, v. 12, n. 3, p. 643-654, jun. 2007.; CASCÃO; COSTA; KALE, 2012CASCÃO, A. M.; COSTA, A. J. L.; KALE, P. L. Qualidade da informação sobre mortalidade numa coorte de diabéticos - Estado do Rio de Janeiro, 2000 a 2003. Rev. bras. epidemiol., São Paulo, v. 15, n. 1, p. 134-142, mar. 2012.), de profissionais que trabalham na codificação e alimentação do sistema (COSTA; FRIAS, 2011COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.; BRAZ et al., 2013BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.) e melhor integração com outros órgãos públicos que possuem interface com serviços e sistemas de informação de saúde (MELO; VALONGUEIRO, 2015MELO, G. B.; VALONGUEIRO, S. Incompletude dos registros de óbitos por causas externas no Sistema de Informações sobre Mortalidade em Pernambuco, Brasil, 2000-2002 e 2008-2010. Epidemiol. Serv. Saúde, Brasília, DF, v. 24, n. 4, p. 651-660, dez. 2015.). Uma melhoria técnica que pode reduzir alimentações incorretas no sistema é a inclusão de regras de validação de motivos de óbitos em relação a gênero, idade e contexto do óbito.

Para óbitos precoces, Costa e Frias (2011)COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011. também relatam uma estratégia que tem se mostrado eficiente na melhoria do preenchimento das declarações de óbitos: a atuação da Vigilância dos Óbitos Infantis e dos Comitês de Prevenção do Óbito Infantil, organizados pelo poder público e pela sociedade civil, que promovem a investigação e discussão sistemática desses casos de óbitos no âmbito dos municípios.

EFICIÊNCIA NO DESEMPENHO

A Eficiência no Desempenho (questões 3 a 5) foi satisfatoriamente avaliada pelos usuários, tanto para o módulo local como para o módulo web do SIM, para operações on-line, em lote e de autenticação. Os problemas de desempenho relatados pelos usuários relacionam-se, sobretudo, às deficiências na estrutura de rede interna e de acesso à Internet em alguns municípios, mas que não comprometem a operacionalidade do sistema.

USABILIDADE

Para os indicadores de Usabilidade (questões 6 a 16), as respostas indicaram que:

  1. o sistema possui documentação acessível ao usuário, porém não se pode inferir se o sistema é de fácil aprendizagem, sem longo treinamento, com apoio da documentação disponível. Esses resultados podem ser parcialmente justificados pelo fato de que, enquanto alguns usuários foram capacitados e contaram com apoio de profissionais na aprendizagem no uso do sistema, como, por exemplo, na codificação de casos de óbito, outros aprenderam seu uso sem recurso algum, com suporte deficiente ou ausente;

  2. o sistema possui boa operabilidade, com fácil operação, acesso e navegação padronizados, e suas funções oferecem feedback de operações adequado ao usuário, permite ao usuário efetuar correções com facilidade e auxilia o usuário na prevenção de erros, com validação de valores de entrada e bloqueio de operações inválidas e

  3. ainda que os usuários tenham observado que o sistema possua interfaces uniformes e padronizadas, a estética da interface foi mal avaliada na flexibilidade do usuário para ajustar os arranjos de campos, assim como na acessibilidade, por não disponibilizar facilidades para usuários com necessidades especiais ou idosos.

CONFIABILIDADE

Na avaliação dos atributos de Confiabilidade (questões 17 a 21), os usuários divergiram sobre a frequência de manutenções para correções de erros, sobre a estabilidade de novas versões e avaliaram negativamente a prevalência de erros durante a operação do sistema. Alguns fatores que podem estar associados à má avaliação desses indicadores, com base nos relatos, incluem o treinamento e tempo de uso do sistema, a infraestrutura disponível para operação do sistema, a qualidade dos dados e a disponibilidade de suporte ao usuário.

Dois indicadores de Confiabilidade foram bem avaliados: há um grau de disponibilidade adequada para o sistema, tanto para o módulo local como para o módulo web para acesso à base de dados nacional, e o sistema possui recursos de backup e restauração confiáveis que garantem suporte em casos de falha.

QUALIDADE EM USO

Os resultados sobre a efetividade do SIM no suporte às atividades do usuário (questões 22 a 25) sugerem que o sistema auxilia na redução do tempo de trabalho do profissional e é eficiente no armazenamento e recuperação de informações mantidas por ele.

QUALIDADE DE SERVIÇOS

Os indicadores de Qualidade de Serviços (questões 26 a 28), para avaliar a infraestrutura para apoio ao usuário na capacitação e suporte para resolução de problemas, apresentaram os seguintes resultados: (a) a maioria dos usuários declarou-se satisfeita com o treinamento e qualificação dos usuários do sistema, apesar de parte dessa maioria avaliar que não seja adequado; e (b) os resultados para os indicadores associados à infraestrutura para atendimento ao usuário sugerem que a equipe de suporte técnico para o sistema é efetiva e qualificada para auxiliar os profissionais em dificuldades no uso do sistema, apesar da estrutura de atendimento on-line/help-desk não ser ideal. Os usuários relataram que dificilmente são atendidos prontamente, nem sempre o profissional está disponível para atendimento e muitas vezes há demora no feedback para solução de pendências.

AVALIAÇÃO COM GESTORES DE SAÚDE

As entrevistas com os usuários do SIM que trabalham na gestão ocorreram entre janeiro e março de 2014, nas coordenações de departamentos de vigilância epidemiológica das secretarias de saúde dos municípios (gestores municipais), grupos de vigilância epidemiológica de departamentos regionais de saúde (gestores regionais) e na Diretoria do Centro de Informações Estratégicas em Vigilância à Saúde da Secretaria Estadual de Saúde (gestor estadual), após agendamento prévio.

A tabulação dos resultados quantitativos e qualitativos referentes aos questionários aplicados aos gestores é apresentada na tabela 3, que inclui as distribuições das frequências, das respostas para as questões referentes às dimensões Qualidade de Produto de Software (indicadores 1 a 10), Qualidade em Uso (indicadores 11 a 16) e Qualidade de Serviços (indicador 17), com as respectivas métricas de avaliação, interpretações e resultados para os indicadores avaliados.

Tabela 3
Distribuições de frequência, métricas e avaliação dos indicadores – gestores de saúde

SUPORTABILIDADE FUNCIONAL

Os indicadores de Completude Funcional (questões 1 a 3) foram avaliados positivamente, com predominância de respostas concordantes. Algumas observações foram comentadas pelos respondentes:

  1. Há demanda por relatórios para tomada de decisão que apresentem dados consolidados, muitos relatórios são de extração trabalhosa e não apresentam dados sintetizados, o que exige retrabalho do gestor no tratamento dos dados em planilhas eletrônicas;

  2. Quanto às normas legais e tabelas padronizadas, foram relatadas inconsistências associadas ao CID10 (Código Internacional de Doenças), códigos de ocupação (CBO) e logradouros e

  3. Os relatórios e consultas ao sistema não incluem dados de prontuários e exigem investigação manual em outros sistemas.

O indicador para Adequação Funcional (questão 4) apresentou resultado inconclusivo: apesar de 50% dos entrevistados concordarem completamente que o SIM integra as áreas e departamentos abrangidos pelo sistema, 30% apontaram baixo grau de integração, como, por exemplo, entre as equipes que trabalham integradas com as equipes de agravos e notificações, que utilizam o Sistema de Informação de Agravos de Notificação (Sinan).

EFICIÊNCIA NO DESEMPENHO

O indicador para Eficiência no Desempenho (questão 5) foi satisfatoriamente avaliado pelos usuários do SIM, com 100% de respostas concordantes, como sugerem os resultados para o indicador 5. Os problemas de desempenho apontados pelos usuários relacionam-se basicamente às deficiências na estrutura de rede e de acesso à Internet, mas que não comprometem a operação do sistema.

COMPATIBILIDADE

Os indicadores de Compatibilidade - Coexistência (questão 6) e Interoperabilidade (questão 7) - foram mal avaliados pelos respondentes, com 87.5 e 80% de respostas discordantes respectivamente, conforme os resultados para os indicadores 6 e 7. Os usuários relataram que:

  1. - Não há integração com aplicações que registram dados clínicos da pessoa falecida (enquanto paciente);

  2. - Não há integração com o Sinan;

  3. - Há deficiências de integração com o Sistema de Informações sobre Nascidos Vivos (Sinasc);

  4. - Há demandas para integração mais efetiva entre o módulo local e o módulo web do SIM;

  5. - Os cruzamentos de dados para relatórios gerenciais são obtidos de forma manual, a partir de diversas fontes e sistemas.

Também foi observado pelos respondentes que a integração entre aplicações, por meio de data-linkages, é inviabilizada devido a restrições na lei de acesso à informação, que limita identificação de registros públicos sobre dados populacionais até o nível de bairro. Apesar dessa limitação, o desenvolvimento de alguns linkages específicos poderia auxiliar a gestão no acesso a informações integradas de múltiplas fontes.

A má avaliação dos atributos de Compatibilidade confirmam relatos de trabalhos na literatura sobre a falta de integração entre os SIS, fragmentação e duplicidade de informações (THAINES et al., 2009THAINES, G. H. L. S. et al. Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009., DAMÉ et al., 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.). Diversas ações do Ministério da Saúde buscam promover regulamentações sobre padrões de interoperabilidade, como a Portaria nº 2.073/2011, a institucionalização do CIINFO (Comitê de Informação e Informática em Saúde), o gerenciamento e aperfeiçoamento da PNIIS (Política Nacional de Informação e Informática em Saúde) e a padronização de tecnologias (Portarias nº 2.466/2009, nº 2.072/2011 e nº 188/2012 do Ministério da Saúde), mas uma efetiva integração entre as aplicações ainda é um desafio a ser equacionado.

USABILIDADE

Dois indicadores de Usabilidade (questões 8 e 9) foram avaliados: (a) a flexibilidade do sistema foi mal avaliada pelos respondentes, os entrevistados comentaram que o SIM não possui interface modificável, mas um padrão fixo baseado nos formulários aprovados pelo comitê gestor do sistema, sem flexibilidade para customizações; e (b) a estética da interface foi positivamente avaliada, com 90% de respostas concordantes quanto à apresentação de formulários, relatórios, telas e gráficos claros, com termos compreensíveis e sem ambiguidades.

SEGURANÇA

O indicador para auditoria e rastreabilidade de acesso a operações (questão 10) foi positivamente avaliado: os entrevistados comentaram que o SIM mantém os registros de eventos executados por usuários - tanto em nível local como no módulo web. Os controles de acessos são registrados com dados de usuários cadastrados pelos gestores, que atendem aos requisitos de segurança para o sistema.

QUALIDADE EM USO

Para os indicadores de Qualidade em Uso (questões 11 a 16), a Efetividade - que avalia o grau que o sistema permite que o usuário acesse informações relacionadas durante seu uso - foi positivamente avaliada, bem como os indicadores de Satisfação, Utilidade e Cobertura de Contexto.

QUALIDADE DE SERVIÇOS

Um único indicador para a dimensão Qualidade de Serviços (questão 17) foi avaliado: se o processamento de modificações requeridas para o sistema é adequado em relação ao tempo, resultados das modificações e abertura à participação do usuário nos processos de manutenção evolutiva. Nos resultados, 44.4% dos respondentes concordaram com a afirmação, enquanto 55.6% discordaram. As avaliações negativas para esse indicador foram justificadas pelos respondentes com argumentos que os prazos em que as modificações requeridas são atendidas são muito longos, nem sempre as modificações implementadas atendem às necessidades dos usuários e a decisão sobre prioridades não envolve os usuários em nível local e estadual.

Conclusões

Ainda que a literatura relate que o SIM apresenta problemas associados à cobertura, incompletude dos dados, integração e apoio à gestão (FRANÇA et al., 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.; SIVIERO et al., 2013SIVIERO, P. et al. Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013.; BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.; MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.; BRAZ et al., 2013BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.), em números absolutos, para ambos os perfis de usuários, o SIM foi bem avaliado no processo desenvolvido. Para 45 atributos de qualidade do sistema analisados, houve 31 avaliações positivas contra 6 avaliações negativas, enquanto em 8 indicadores houve resultados divergentes ou inconclusivos.

A avaliação indicou que o SIM possui funcionalidades que atendem às necessidades de seus usuários, apresenta um desempenho adequado e, apesar de deficiências na flexibilidade para adaptações e acessibilidade da interface, sua usabilidade foi bem avaliada. Quanto à Confiabilidade, a avaliação indicou que o sistema se apresenta disponível e possui mecanismos que garantem a recuperação de dados em situações de falhas, porém, segundo os respondentes, o sistema apresenta prevalência de erros e instabilidade em novas versões, que comprometem sua operação normal. A segurança também foi bem avaliada, o sistema possibilita auditoria e rastreamento de acessos e operações realizadas por seus usuários.

Os indicadores de Interoperabilidade foram mal avaliados, confirmando relatos na literatura sobre falta de integração, fragmentação e duplicidade de informações nos sistemas de informação de saúde do SUS. A qualidade de dados mantidos pelo sistema também foi um dos problemas apontados pelos usuários, devido a registros de óbitos com causas não definidas, informadas erroneamente ou incompletos.

Quanto à dimensão Qualidade em Uso, os resultados para seus indicadores sugerem que o SIM tem sido efetivo para apoio à gestão e à satisfação desses usuários, com avaliações positivas acima de 70%.

Para a dimensão de Qualidade de Serviços, a avaliação dos indicadores indicou deficiências no suporte e atendimento ao usuário. O treinamento e a capacitação dos profissionais que operam o SIM nos municípios foi uma das demandas identificadas neste estudo: foi observado que a formação dos profissionais é heterogênea e investimentos na qualificação podem trazer ganhos na qualidade dos dados mantidos pelo sistema.

A infraestrutura de apoio ao usuário também carece da organização de um serviço de atendimento remoto mais bem estruturado e que ofereça um feedback ao usuário mais efetivo. Os resultados também indicam que não há um gerenciamento adequado de modificações no sistema, em relação ao tempo, conteúdo de alterações e abertura para participação de usuários.

Em síntese, foi possível realizar uma avaliação do SIM com seus principais usuários, identificar os atributos que o sistema apresenta adequação e aqueles que requerem melhorias. A avaliação positiva para o SIM não é extensível a outros sistemas, deve-se considerar que o SIM possui considerável estabilidade e que foi o primeiro sistema de informação de saúde pública implantado no Brasil, ainda em 1976.

Em estudo recente, Santos e Teixeira (2016)SANTOS, J. S.; TEIXEIRA, C. F. Política de saúde no Brasil: produção científica 1988-2014. Saúde debate, Rio de Janeiro, v. 40, n. 108, p. 219-230, jan./mar. 2016. procederam uma revisão sistemática sobre estudos na literatura associados às políticas de saúde no âmbito do Ministério da Saúde entre 1998 e 2014. Entre os achados da pesquisa, foram identificados apenas 2 artigos sobre sistemas de informação de saúde, em um universo de 377 trabalhos (0.5%), o que evidencia a carência de trabalhos na literatura sobre esse tema e um potencial para pesquisas futuras.

O processo descrito neste artigo poderá auxiliar outros projetos de avaliação de sistemas de informação em saúde, no contexto de políticas públicas, poderá ser replicado total ou parcialmente para outras aplicações e ser útil como mais uma referência para estudos que envolvam processos de avaliação da qualidade técnica de softwares em saúde ou em outras áreas, com adaptações.

  • Suporte financeiro: não houve

Referências

  • BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.
  • BRAZ, R. M. et al Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.
  • CASCÃO, A. M.; COSTA, A. J. L.; KALE, P. L. Qualidade da informação sobre mortalidade numa coorte de diabéticos - Estado do Rio de Janeiro, 2000 a 2003. Rev. bras. epidemiol., São Paulo, v. 15, n. 1, p. 134-142, mar. 2012.
  • COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.
  • DAMÉ, P. K. V. et al Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.
  • FARIAS, L. M. M. et al Os limites e possibilidades do Sistema de Informação da Esquistossomose (SISPCE) para a vigilância e ações de controle. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 10, p. 2055-2062, out. 2011.
  • FIGUEIROA, B. Q. et al Análise da cobertura do Sistema de Informações sobre Mortalidade em Olinda, Pernambuco, Brasil. Cad. Saúde Pública, Rio de Janeiro, v. 29, n. 3, p. 475-484, mar. 2013.
  • FRANÇA, E. B. et al Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.
  • LIMA, C. R. A. et al Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad. Saúde Pública, Rio de Janeiro, v. 25, n. 10, p. 2095-2109, out. 2009.
  • LIMA, E. E. C.; QUEIROZ, B. L. A evolução do sub-registro de mortes e causas de óbitos mal definidas em Minas Gerais: diferenciais regionais. Rev. bras. estud. popul, Rio de Janeiro, v. 28, n. 2, p. 303-320, dez. 2011.
  • MAHAPATRA, P. et al Civil registration systems and vital statistics: successes and missed opportunities. The Lancet, London, v. 370, n. 9599, p. 1653-1663, nov. 2007.
  • MATHERS, C. D. et al Counting the dead and what they died from: an assessment of the global status of cause of death data. Bull World Health Organ, Genebra, v. 83, n. 3, p. 171-177, mar. 2005.
  • MELLO-JORGE, M. H. P.; LAURENTI, R.; GOTLIEB, S. L. D. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciência saúde coletiva, Rio de Janeiro, v. 12, n. 3, p. 643-654, jun. 2007.
  • MELO, G. B.; VALONGUEIRO, S. Incompletude dos registros de óbitos por causas externas no Sistema de Informações sobre Mortalidade em Pernambuco, Brasil, 2000-2002 e 2008-2010. Epidemiol. Serv. Saúde, Brasília, DF, v. 24, n. 4, p. 651-660, dez. 2015.
  • MORAES, I. H. S. Sala de situação em saúde: contribuição à ampliação da capacidade gestora do Estado? In: ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília, DF: Organização Pan-Americana da Saúde, Ministério da Saúde, 2010.
  • MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014.
  • MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.
  • SANCHES, C.; MEIRELES, M.; DE SORDI, J. O. Análise qualitativa por meio da Lógica Paraconsistente: método de interpretação e síntese de informação obtida por escalas Likert. In: ENCONTRO DE PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE DA ANPAD (ENEPQ), 3., 2011, João Pessoa. Anais... João Pessoa, 2011. Disponível em: <http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf>. Acesso em: 24 abr. 2014.
    » http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf
  • SANTOS, J. S.; TEIXEIRA, C. F. Política de saúde no Brasil: produção científica 1988-2014. Saúde debate, Rio de Janeiro, v. 40, n. 108, p. 219-230, jan./mar. 2016.
  • SIVIERO, P. et al Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013.
  • THAINES, G. H. L. S. et al Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009.
  • VIDOR, A. C.; FISHER, P. D.; BORDIN, R. Utilização dos sistemas de informação em saúde em municípios gaúchos de pequeno porte. Revista de Saúde Pública, São Paulo, v. 45, n. 1, p. 24-30, 2011.

Datas de Publicação

  • Publicação nesta coleção
    Mar 2017

Histórico

  • Recebido
    Abr 2016
  • Aceito
    Out 2016
Centro Brasileiro de Estudos de Saúde Av. Brasil, 4036, sala 802, 21040-361 Rio de Janeiro - RJ Brasil, Tel. 55 21-3882-9140, Fax.55 21-2260-3782 - Rio de Janeiro - RJ - Brazil
E-mail: revista@saudeemdebate.org.br