Um modelo para avaliação de sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores

A model for evaluating information systems of SUS with national scope: the process for selecting and structuring indicators

Un modelo para la evaluación de los sistemas de información del Sistema Único de Salud (SUS) a nivel nacional: el proceso de selección y estructuración de los indicadores

A model for evaluating information systems of SUS with national scope: the process for selecting and structuring indicators

Rinaldo Macedo de Morais^I; André Lucirton Costa^II

^IInstituto Federal de São Paulo

^IIUniversidade de São Paulo

RESUMO

Os processos de gestão do Sistema Único de Saúde (SUS) são apoiados por um conjunto de sistemas de informação de abrangência nacional, com funcionalidades para as áreas epidemiológicas, ambulatoriais, hospitalares e administrativas. Este artigo propõe um modelo para avaliação de sistemas de informação em saúde que possa ser aplicado aos sistemas do SUS. É descrito o processo de pesquisa, análise e classificação dos indicadores de avaliação para o modelo. Os indicadores foram obtidos por meio de pesquisa em bases bibliográficas e classificados segundo os atributos de qualidade da norma ISO/IEC 25010, adotada como modelo de qualidade no estudo. Como resultado, 66 indicadores foram identificados e mapeados, abrangendo todas as características de qualidade do modelo. Este trabalho poderá contribuir como mais uma referência para estudos que envolvam processos de avaliação da qualidade de softwares em saúde e auxiliar na normatização de planos de avaliação e monitoramento de qualidade de sistemas e dados em saúde pública no Brasil e em projetos de melhoria de softwares.

Palavras-chave: gestão em saúde; Sistema Único de Saúde; sistema de informação; avaliação da qualidade.

RESUMEN

Los procesos de gestión del SUS son apoyados por un conjunto de sistemas de información de alcance nacional, con funciones destinadas a áreas epidemiológicas, ambulatorias, hospitalarias y administrativas. Este artigo propone un framework para la evaluación de sistemas de información en salud que pueda ser aplicado a los sistemas del SUS. Se describe el proceso de pesquisa, análisis y clasificación de indicadores de evaluación para el modelo. Los indicadores se obtuvieron mediante la búsqueda sistemática en bases de datos bibliográficos y fueron clasificados de acuerdo a los atributos de calidad de la norma ISO/IEC 25010, adoptada como modelo de calidad en el presente estudio. Como resultado, se identificaron 66 indicadores, abarcando de esta manera todas las características de calidad del modelo. Este trabajo contribuye como una referencia para estudios que incluyen procesos de evaluación de la calidad de software en salud y auxilia en la normalización de planes de evaluación y monitoriamiento de la calidad de sistemas de salud pública en el Brasil.

Palabras clave: gestión de la salud; Sistema Único de Salud; sistema de información; evaluación de la calidad.

ABSTRACT

The management processes of the Unified Health System (SUS) are supported by a set of information systems with national scope, having features for the epidemiological, ambulatory, hospital, and administrative areas. This article proposes a model for evaluating health information systems that may be applied to the systems of SUS. It describes the research, analysis, and classification process of evaluation indicators for the model. The indicators were obtained by search in bibliographic databases and they were classified according to the quality attributes of the standard ISO/IEC 25010, adopted as quality model in the study. As a result, 66 indicators were identified and mapped, covering all quality features of the model. This paper will be able to contribute as a further reference for studies involving quality assessment processes for softwares in health and to assist in the standardization of plans for assessing and monitoring the quality of systems and data on public health in Brazil and in projects for improving softwares.

Keywords: health management; Unified Health System; information system; quality assessment.

1. Introdução

A criação do Sistema Único de Saúde (SUS), a partir da Constituição Federal de 1988, estabeleceu bases para a estruturação de um sistema público de saúde que tem como princípios a descentralização, a integralidade, a equidade e o controle social (Brasil, 1988). Diversas ações políticas nos vários governos que se sucederam após a criação do SUS definiram papéis e responsabilidades à União, aos estados e aos municípios. Essas ações regulamentaram a municipalização e a regionalização, as políticas de custeio e financiamento, a autonomia dos estados e municípios na gestão de repasses de verbas para os fundos de saúde e as estratégias para a atenção básica, por meio do incentivo ao Programa de Agentes Comunitários de Saúde (Pacs) e ao Programa de Saúde da Família (PSF) (Brasil, 1990a, 1990b, 1991, 1993, 1996, 1998, 2001, 2002, 2006a, 2006b, 2006c, 2008, 2009a, 2011).

O Ministério da Saúde, por meio do Datasus, desenvolve e mantém um conjunto de sistemas de informação, listados no quadro 1, para dar suporte aos diversos eventos epidemiológicos, de atenção básica, ambulatoriais, hospitalares e nas várias ações implementadas pelo Ministério da Saúde no Brasil. Alguns sistemas foram criados entre meados da década de 1970 e início dos anos 1980, a partir das primeiras discussões sobre sistemas de informação em saúde, na I Conferência Nacional de Saúde (Brasil, 2009b).

Diversos trabalhos têm sido publicados sobre o uso dos sistemas de informações do SUS, comumente chamados de SIS, pelo fato de alguns desses sistemas possuírem esse prefixo em seu nome. Alguns trabalhos apontam a falta de integração dos diversos sistemas e suas bases de dados e a fragmentação de informações nessas aplicações (Souza, Freire e Almeida, 2010; Damé et al., 2011; Almeida, Alencar e Shoeps, 2009; Almeida et al., 2006; Thaines et al., 2009). Outros trabalhos descrevem a baixa cobertura de alguns SIS e apontam incertezas quanto à confiabilidade dos dados por eles mantidos (Damé et al., 2011; Almeida, Alencar e Shoeps, 2009; Almeida et al., 2006; Bittencourt, Camacho e Leal, 2006; Farias et al., 2011; Barbuscia e Rodrigues Júnior, 2011; Mota, 2009). A deficiência no apoio ao gestor em processos de tomada de decisão e planejamento, relatada em trabalhos antigos (Moraes, 1994; Bordignon, 1996), ainda é citada em trabalhos recentes (Figueiredo, 2009; Mota, 2009; Brito e Silva et al., 2010; Barbosa, 2006; Vidor, Fisher e Bordin, 2011; Vieira, 2009).

Historicamente, as informações em saúde no Brasil têm como característica a fragmentação, múltiplas fontes, baixa qualidade dos dados, disponibilização em formato que dificulta sua apropriação pelos gestores e pelo controle social (Moraes, 2010), e o monitoramento da qualidade dos dados dos sistemas de informação em saúde que atendem ao SUS não segue um plano regular de avaliações normatizado pelo Ministério da Saúde, apenas iniciativas isoladas (Lima et al., 2009).

O portfólio de sistemas do Datasus, em seu sítio institucional (Brasil, 2013), sugere que alguns SIS se caracterizam como sistemas legados, que utilizam tecnologias em desuso, além da falta de padronização de linguagens e bancos de dados, como mostra o quadro 1. Segundo Sommerville (2011:519), um sistema legado é um sistema baseado em computador "(...) útil ou até essencial para uma organização, mas que foi desenvolvido com uso de tecnologias ou métodos obsoletos". É comum o interesse em manter esses sistemas em funcionamento, por agregarem conhecimento da organização, após anos de investimento em desenvolvimento e testes, sua lógica interna implementar experiências, processos e estratégias da organização e por ser difícil substituí-los sem riscos (Cagnin, 2005).

Após essas considerações, identifica-se uma demanda para discussão sobre a qualidade dos sistemas de informação em saúde pública no Brasil, e como estabelecer diretrizes para processos de avaliação dos SIS. Nesse contexto, levantam-se as seguintes questões:

▼ P1: Como estruturar um instrumento para avaliação de sistemas de informação para os sistemas de informação do SUS de abrangência nacional?

▼ P2: Quais indicadores devem ser incluídos no projeto desse instrumento?

Este trabalho propõe um modelo de avaliação para sistemas de informação em saúde, que possa ser aplicado aos sistemas de informação de abrangência nacional do SUS, e descreve o processo de pesquisa, análise e mapeamento de indicadores de qualidade para esse modelo.

2. Método

Este trabalho é de natureza qualitativa e propõe um constructo para avaliação de qualidade para os sistemas de informação do SUS. Foi estruturado a partir de elementos da literatura, de diretrizes técnicas para avaliação de qualidade propostas pela ISO - principal organização para normatização e padronização - e por um processo sistemático de seleção de trabalhos sobre qualidade de sistemas de informação em saúde. O procedimento metodológico deste trabalho consistiu em três etapas básicas:

1. Definição do modelo de qualidade: nessa etapa foi definida uma estrutura com as dimensões e características de qualidade para o instrumento de avaliação. A norma ISO/IEC 25010 (International Organization for Standardization, 2011a), que define um modelo de qualidade para produto de software, foi utilizada para classificar os indicadores selecionados para o modelo.

2. Pesquisa bibliográfica sobre indicadores para avaliação de sistemas de informação em saúde: foi desenvolvido um processo de busca em bases de dados nacionais, com consulta em revistas indexadas na base de periódicos da Capes e nas bases de dados científicas internacionais Scopus, Science Direct e WebOfScience, com as seguintes diretrizes:

D1. Uso das seguintes palavras-chave de forma combinada: "Information Systems", "Healthcare", "Health", "Evaluation" e "Benchmarking";

D2. Priorização de trabalhos publicados nos últimos 10 anos;

D3. Uso das ferramentas de ordenação por relevância disponibilizadas pelos sites de busca;

D4. Leitura dos textos selecionados para seleção de publicações que apresentam modelos de avaliação de sistemas de informação em saúde e

D5. Avaliação recursiva de referências bibliográficas constantes nas referências recuperadas nos itens anteriores.

3. Análise e classificação de indicadores: nessa etapa foram realizadas a análise semântica e o mapeamento dos indicadores constantes nos trabalhos selecionados na etapa 2 para a estrutura do modelo de qualidade. Como resultado, os indicadores foram classificados nas variáveis do modelo de qualidade, aplicáveis aos stakeholders das aplicações a serem avaliadas.

Esta pesquisa acompanha as abordagens mais utilizadas em avaliação de tecnologia de sistemas de informação em saúde: segundo Pai e Huang (2011), nos trabalhos dos últimos cinco anos sobre esse tema têm sido utilizados majoritariamente questionários de pesquisa, entrevistas in loco e estudos de casos individuais.

3. A Norma ISO/IEC 25010

A Norma ISO/IEC 25010 (International Organization for Standardization, 2011a) é parte do projeto SQuaRE (Software product Quality Requirements and Evaluation) - um conjunto de normas técnicas que estabelece padrões para qualidade e que inclui gerência, modelo, medição, requisitos e avaliação de qualidade para qualquer produto de software. Seu modelo de qualidade para produto de software é composto pelas dimensões qualidade do produto e qualidade em uso, conforme o quadro 2.

A dimensão qualidade do produto inclui atributos do software decorrentes de seu processo de implementação, revisão e testes (qualidade interna) e atributos do software associados à sua execução (qualidade externa). A qualidade em uso está associada ao grau em que o sistema atende aos objetivos do usuário em suas atividades. Cada dimensão do modelo de qualidade da ISO/IEC 25010 especializa-se em um conjunto de características e subcaracterísticas de qualidade, também descritas no quadro 2.

Ressalta-se aqui a aplicabilidade da norma ISO/IEC 25010, estritamente utilizada para avaliação de software em produção e após seu desenvolvimento. Outras abordagens permitem avaliar a qualidade do processo de desenvolvimento de software, nas atividades realizadas nas várias etapas de seu ciclo de vida de projeto e implementação, como os modelos Spice (Associação Brasileira de Normas Técnicas, 2009), Ideal (Software Engineering Institute, 2009), MPS.BR (Softex, 2012) e CMMI (CMMI Institute, 2014).

Com foco nos processos de negócio de uma organização, a gestão por processos é uma outra abordagem que pode ser conduzida de modo ortogonal à avaliação de qualidade de software. Glykas (2011) define um processo como "uma ligação horizontal de atividades necessárias para atingir um resultado desejado" para uma organização e o gerenciamento de processos de negócio (Business Process Management - BPM) é definido pela Association of Business Process Management Professionals (ABPMP) como um conjunto de atividades para identificar, desenhar, executar, documentar, medir, monitorar, controlar e promover melhorias dos processos de uma organização e, consequentemente, atender com efetividade seus objetivos de negócio (Association of Business Process Management Professionals, 2009).

Ao analisar os processos da organização independentemente de sua automatização através de tecnologia de informação, a gestão por processos evita a formação de "ilhas" na organização - quando as informações são compartimentalizadas e ocorrem dificuldades na integração e comunicação entre departamentos, o que causa ineficiência na gestão da organização e restringe seu desempenho (Paim, Caulliraux e Cardoso, 2008).

4. A estrutura do modelo de avaliação para sistemas de informação em saúde

A estrutura do modelo de avaliação proposto nesse trabalho é apresentada na figura 1. O modelo de qualidade foi estruturado em três dimensões: qualidade do produto e qualidade em uso da norma ISO/IEC 25010 (International Organization for Standardization, 2011a), acrescida da dimensão qualidade de serviços, por observar-se a ocorrência de indicadores dessa dimensão em trabalhos sobre avaliação de sistemas de informação em saúde (Pai e Huang, 2011; Hübner-Bloder e Ammenwerth, 2009; Ribière et al., 1999; DeLone e McLean, 2003). A opção pelo uso na norma ISO/IEC 25010, nesse trabalho, deu-se por sua estrutura abrangente e atual, quando comparada com outros modelos de qualidade analisados (Associação Brasileira de Normas Técnicas, 2003; Centro de Tecnologia da Informação Renato Archer, 2012; DeLone e McLean, 2003; McCall, Richards e Walters apud Pressman, 2010).

As dimensões do modelo de qualidade detalham-se em um conjunto de atributos - as características e subcaterísticas de qualidade, bases para a especificação de requisitos de qualidade para os processos de avaliação. Os indicadores de qualidade são utilizados para mensuração das características de qualidade, por meio de um conjunto de questionários e procedimentos de inspeção de software, aplicáveis aos sistemas de informação em saúde a seus diferentes stakeholders. Como stakeholders, o modelo inclui:

▼ Gestores: usuários do sistema em seu nível estratégico;

▼ Profissionais de saúde: usuários do sistema em níveis tático e operacional;

▼ Pacientes: usuários que acessam sistemas apenas para consultas, como usuários do sistema de saúde;

▼ Profissionais de Tecnologia da Informação: compõem o staff técnico do sistema; inclui desenvolvedores, manutenedores, profissionais de suporte técnico ou afins.

Cada questionário de avaliação é estruturado em conjunto de questões, para uso em entrevistas com usuários. Um procedimento de inspeção utiliza uma ou mais métricas de software para avaliar objetivamente seu indicador e pode incluir análise documental, teste/simulação do software ou medição/ensaio de desempenho. As questões e métricas são avaliadas em escalas apropriadas, com critérios e pontuação definidos, e podem utilizar elementos de documentação do sistema, padrões ou benchmarks de referência, documentação de requisitos ou documentação técnica em sua estruturação ou mensuração.

5. A seleção de indicadores de qualidade para sistemas de informação em saúde

Foi conduzido um processo de pesquisa em bases de dados para seleção de trabalhos relevantes que apresentassem indicadores de qualidade para uso no instrumento de avaliação. Conforme procedimento metodológico descrito na etapa 2 da Seção 2, foram selecionados sete trabalhos, dos seguintes autores: Hübner-Bloder e Ammenwerth (2009), Ribière e colaboradores (1999), Pai e Huang (2011), Otieno e colaboradores (2008), Viitanen e colaboradores (2011), Anderson e Aydin (2005) e Lima e colaboradores (2009).

Hübner-Bloder e Ammenwerth (2009) identificaram indicadores-chave para realização de benchmarks em sistemas de informação para hospitais com o uso da técnica Delphi, aplicada a um painel de especialistas da Áustria, Alemanha e Suíça. Delphi é uma técnica para condução de questionários, composta por vários estágios, com o objetivo de obter consensos a partir das opiniões de um grupo e tem sido frequentemente aplicada para tomada de decisões na área de saúde (Hasson, Keeney e McKeena, 2000).

No trabalho de Hübner-Bloder e Ammenwerth (2009), ocorreram três rodadas de questionários. A primeira, de natureza qualitativa, com questões abertas para coletar opiniões de um conjunto de especialistas sobre indicadores de avaliação para sistemas de informação para hospitais. O segundo questionário foi de característica quantitativa, com escala Likert de quatro pontos, que foi submetido aos gestores para se avaliar a importância de cada indicador identificado na primeira rodada. Os resultados da segunda rodada foram reenviados aos gestores para permitir que suas opiniões fossem reavaliadas. Como resultado, foram identificados 77 indicadores de avaliação, organizados em oito categorias: qualidade técnica, qualidade de software, qualidade da arquitetura e da interface, qualidade do fornecedor de TI, qualidade do departamento de suporte de TI, qualidade do suporte ao fluxo de trabalho, qualidade em resultados de TI e Custos de TI.

Ribière e colaboradores (1999) desenvolveram um conjunto de questionários para avaliar o nível de satisfação de diferentes grupos de usuários de sistemas de informação, organizado em quatro dimensões: qualidade dos serviços entregues pelo sistema, qualidade do sistema (interface, funções e desempenho), qualidade da informação e sentido global de satisfação do usuário. Cada dimensão divide-se em um conjunto de fatores que agrupam uma lista de questões, em um total de 28 fatores. Em cada fator, o usuário expressa seu nível de satisfação em uma escala de Likert de sete pontos para um conjunto de questões.

Pai e Huang (2011) conduziram um processo de avaliação de sistemas de informação em saúde em Taiwan, por meio da aplicação de questionários em 100 hospitais distritais. O questionário baseou-se no modelo de DeLone e McLean (2003), composto de seis variáveis: qualidade da informação, qualidade de serviços, qualidade do sistema, utilidade do sistema, facilidade de uso e intenção de uso, contendo questões com respostas da escala de Likert de cinco pontos.

Otieno e colaboradores (2008) propuseram um framework de avaliação para sistemas de informação que incluem registro médico eletrônico (EMR), que foram respondidos por gestores e usuários de 20 hospitais no Japão, incluindo hospitais governamentais, semigovernamentais, privados e universitários. O framework também se baseou no modelo de DeLone e McLean (2003) e foi estruturado em cinco dimensões: qualidade do sistema, qualidade da informação, qualidade dos serviços, utilização e satisfação do usuário. Os questionários de avaliação foram aplicados aos seguintes stakeholders: coordenador de informática, coordenador médico, coordenador de enfermagem, médico e enfermeiro.

Viitanen e colaboradores (2011) desenvolveram um estudo sobre uma avaliação de abrangência nacional, na Finlândia, em hospitais de níveis secundário e terciário. Os sistemas desses hospitais foram avaliados por 3.929 médicos para investigar sua usabilidade em sistemas que incluem o registro médico eletrônico. O questionário foi organizado com 32 questões na escala de Likert de cinco pontos, estruturadas em três dimensões:

▼ a compatibilidade entre os sistemas e as tarefas dos profissionais, relacionadas às funcionalidades dos sistemas, com o desempenho e com a interface com o usuário;

▼ o suporte para troca de informações, colaboração e comunicação no trabalho clínico;

▼ a interoperabilidade e a confiabilidade do sistema.

Para Anderson e Aydin (2005), ao se avaliar o impacto de sistemas de informação em organizações de saúde, deve-se buscar não apenas a compreensão sobre a tecnologia utilizada, mas também a compreensão dos complexos processos sociais e comportamentais da organização. A proposta de avaliação de Anderson e Aydin é predominantemente qualitativa e propõe 12 questões-chave para avaliação de sistemas de informação em saúde, que devem ser desenvolvidas pelos avaliadores com técnicas adequadas, como entrevistas, observação, análise documental ou questionários.

Lima e colaboradoes (2009) investigaram as iniciativas de avaliação da qualidade da informação dos sistemas de informações do sistema público de saúde no Brasil. A pesquisa baseou-se na busca de artigos publicados em revistas científicas nas bases Scielo, Lilacs e BVS, e categorizou os trabalhos sobre qualidade da informação em sistemas de informação dos SIS-SUS em nove dimensões conceituais: acessibilidade, clareza metodológica, cobertura, completude, confiabilidade, consistência, não duplicidade, oportunidade e validade.

6. A análise e estruturação de indicadores

Essa etapa consistiu em avaliar e selecionar os indicadores constantes nos trabalhos obtidos na etapa anterior e classificá-los na estrutura do modelo de qualidade proposto neste trabalho. Como forma de sistematizar o instrumento de avaliação, a estrutura da norma ISO/IEC 25010 (International Organization for Standardization, 2011a), acrescida da dimensão Qualidade de Serviços, foi empregada como um "gabarito": um container que agregou e classificou cada indicador observado nos trabalhos selecionados em sua estrutura de características e subcaracterísticas.

A figura 2 descreve o processo de mapeamento de indicadores para estruturação do modelo de avaliação proposto: cada indicador de cada trabalho foi inspecionado, por meio da análise de sua semântica e, se aplicável às variáveis do modelo proposto, foi classificado em uma dimensão, característica e subcaracterística de qualidade.

Houve situações em que um mesmo indicador foi proposto por diferentes autores, assim como, em alguns casos, mais de um indicador proposto por um dado autor foi mapeado para um único atributo no modelo proposto. Os casos de indicadores que não foram utilizados deveram-se à não aplicabilidade no contexto do SUS, a dificuldades de se obter informações para quantificar o indicador ou à subjetividade.

Como resultado, essa etapa gerou uma lista de indicadores de qualidade, estruturada nas variáveis do modelo de qualidade, base para elaboração de questionários de avaliação aplicáveis aos grupos de usuários dos sistemas, e de procedimentos de inspeção, aplicáveis aos profissionais de tecnologia da informação mantenedores das aplicações. O quadro 3 apresenta resultados dessa etapa, com 32 indicadores na dimensão qualidade do produto, 16 na dimensão qualidade em uso e oito na dimensão qualidade de serviços.

O mapeamento dos indicadores para o modelo de qualidade do instrumento de avaliação, descrito no quadro 3, mostrou que os indicadores selecionados cobrem a quase totalidade das características de qualidade do modelo, porém observou-se que:

▼ Os itens se concentram predominantemente em suportabilidade funcional, usabilidade, confiabilidade, compatibilidade, qualidade em uso (predominantemente em efetividade, eficiência e utilidade) e qualidade de serviços;

▼ As características de qualidade, segurança e manutenabilidade apresentaram baixa cobertura de indicadores (um indicador em cada uma dessas subcaracterísticas);

▼ As demais características (eficiência no desempenho, portabilidade, cobertura de contexto, satisfação e ausência de riscos) concentraram indicadores em algumas subcaracterísticas ou também apresentam baixa cobertura.

Para complementação do modelo de avaliação nos atributos de qualidade com carência de indicadores, outros 10 indicadores foram propostos pelos autores do presente trabalho, descritos no quadro 4. A proposição de novos indicadores apoiou-se na leitura dos documentos ISO/IEC 25023 (International Organization for Standardization, 2011b) e ISO/IEC 9123-3 (International Organization for Standardization, 2003), que especificam métricas de avaliação para a dimensão de qualidade de produto de software. Com a inclusão desses indicadores, foram cobertas todas as subcaracterísticas da dimensão qualidade do produto, com exceção de:

▼ Utilização de recursos: esta variável refere-se a medidas de uso de processador, memória e dispositivos de entrada e saída, aplicáveis principalmente a sistemas de tempo real, em que a falta desses recursos pode causar efeitos severos para a operação do sistema, mas considerados não tão críticos às aplicações transacionais, como os sistemas de informação em saúde;

▼ Inteligibilidade: esta variável associa-se à propriedade do software de possuir elementos, em sua documentação, que possibilitem ao usuário compreender se o software é apropriado às suas atividades e como pode ser utilizado em suas tarefas, muito útil em contextos de seleção ou benchmark de produtos de software. Como os SIS já são estruturados com orientação às tarefas de profissionais, esta propriedade também foi considerada não crítica;

▼ Capacidade para substituir: refere-se a propriedades que o software possui para substituir outro sistema existente, como facilidades para migração de dados, para inclusão de funcionalidades em substituição a outras anteriormente implantadas e adaptabilidade às interfaces da aplicação anterior. Essa propriedade também não se aplica ao contexto dos SIS.

Como resultado, ao final dessa etapa, 66 indicadores foram identificados e mapeados, abrangendo todas as características de qualidade do modelo: acredita-se que o modelo de avaliação tenha incluído os principais aspectos de qualidade no domínio de sistemas de informação em saúde, ao agregar um elenco holístico de indicadores para composição de questionários de avaliação e procedimentos de inspeção de software, previstos em sua arquitetura.

7. Considerações finais

No Brasil, a implantação do SUS trouxe uma perspectiva moderna para o sistema público de saúde, por meio da estruturação de uma rede hierarquizada de atendimento e de uma política de descentralização das ações de saúde, que busca eficiência e autonomia aos gestores para tomadas de decisão. Ao utilizar uma política de gestão pactuada, busca-se consolidar a equidade social (Fadel et al., 2009). No entanto, trabalhos que fazem referência ao uso dos SIS sugerem que uma infraestrutura de tecnologia da informação para o SUS, que ofereça suporte adequado para sua gestão, ainda é um desafio para a administração pública.

Este artigo apresentou um modelo de avaliação para sistemas de informação em saúde que possa ser aplicado aos SIS-SUS para investigar o quanto são efetivos ante as necessidades dos gestores, dos profissionais de saúde, dos profissionais de TI e dos pacientes/usuários do SUS. Foram descritas as atividades de seleção, análise e estruturação dos indicadores para as características de qualidade do modelo de avaliação. O processo de seleção de indicadores de qualidade para sistemas de informação em saúde baseou-se em trabalhos da literatura e foi complementado pelos autores, com base em normas ISO para métricas de software. A arquitetura do modelo proposto prevê procedimentos de avaliação orientados a stakeholders com interesses conflitantes, por meio de questionários de avaliação para os diferentes tipos de usuários dos sistemas e procedimentos de inspeção aplicáveis aos profissionais de TI responsáveis por sua manutenção.

Os atributos de qualidade de software especificados na norma ISO/IEC 25010, adotados na especificação do modelo proposto, agregam-lhe abrangência e robustez, assim como o processo sistemático de busca por indicadores em trabalhos da literatura sobre avaliação de sistemas de informação em saúde visou assegurar a especificidade para esse domínio de informação.

O modelo proposto pode ser utilizado parcialmente, com enfoque em atributos específicos de interesse de avaliadores, assim como pode ser combinado com outros modelos ou estendido, com a incorporação de outros atributos e indicadores específicos.

As próximas etapas deste projeto envolvem a instrumentalização do modelo: incluem a formulação de questões de avaliação e estruturação de questionários segmentados aos diferentes stakeholders, a proposição de métricas de software para os indicadores de qualidade selecionados para o modelo e a definição de escalas e regras de medição apropriadas, para os questionários de avaliação e procedimentos de inspeção. Em sequência, estão previstos estudos de avaliação, para verificar a efetividade do instrumento e a submissão do modelo e dos resultados desses estudos a um painel de especialistas, para validação de constructo.

Espera-se que, ao propor um novo modelo para avaliação de sistemas de informação em saúde, este trabalho possa contribuir como mais uma referência para estudos que envolvam processos de avaliação da qualidade técnica de softwares em saúde e agregar conteúdo e/ou fornecer subsídios para projetos que tratem da normatização de planos de avaliação e monitoramento de qualidade de sistemas e dados em saúde, e em projetos de melhoria de ativos de software para gestão da saúde pública no Brasil.

Artigo recebido em 22 mar. 2013

Aceito em 6 fev. 2014

Rinaldo Macedo de Morais é professor do Instituto Federal de São Paulo e doutorando em administração pela Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto (Fearp/USP). E-mail: [e-mail].

André Lucirton Costa é professor associado da Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo (Fearp/USP). E-mail: [e-mail].

• ALMEIDA, Marcia F.; ALENCAR, Gizelton P.; SHOEPS, Daniela. Sistema de Informações sobre Nascidos Vivos - Sinasc: uma avaliação de sua trajetória. In: BRASIL. Ministério da Saúde. A experiência brasileira em sistemas de informação em saúde Brasília: Editora do Ministério da Saúde;Organização Pan-Americana da Saúde; Fundação Oswaldo Cruz, 2009. v. 1, p. 11-37.
• ALMEIDA, Marcia F. et al. Sistemas de informação e mortalidade perinatal: conceitos e condições de uso em estudos epidemiológicos. Revista Brasileira de Epidemiologia, v. 9, n. 1, p. 56-68, 2006.
• ANDERSON, James; AIDYN, Carolyn E. Evaluating the organizational impact of healthcare information systems Nova York: Springer, 2005.
• ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR ISO/IEC 9126-1:2003 - Engenharia de software - Qualidade de produto - Parte 1: Modelo de qualidade. Rio de Janeiro: ABNT, 2003.
• ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR ISO/IEC 15504-7:2009 - Tecnologia de informação - Processos de avaliação - Parte 7: Avaliação da maturidade de uma organização. Rio de Janeiro: ABNT, 2009.
• ASSOCIATION OF BUSINESS PROCESS MANAGEMENT PROFESSIONALS (ABPMP). Guia para Gerenciamento de Processos de Negócio - corpo comum de conhecimento. São Paulo: ABPMP, 2009.
• BARBOSA, Débora C. M. Sistemas de Informação em Saúde: a percepção e a avaliação dos profissionais envolvidos na atenção básica em Ribeirão Preto-SP. Dissertação (mestrado) - Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2006.
• BARBUSCIA, Denise M.; RODRIGUES JÚNIOR, Antonio Luiz. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cadernos de Saúde Pública, v. 27, n. 6, p. 1192-1200, 2011.
• BITTENCOURT, Sonia A.; CAMACHO, Luiz Antonio B.; LEAL, Maria do Carmo. Sistema de informação hospitalar e sua aplicação na saúde coletiva. Cadernos de Saúde Pública, v. 22, n. 1, p. 19-30, 2006.
• BORDIGNON, Milene O. Informação em saúde: potencialização e sentido. In: BORDIN, Ronaldo et al. (Org.). Práticas de gestão em saúde: em busca da qualidade. Porto Alegre: Dacasa, 1996. p. 29-38.
• BRASIL. Constituição 1988. Constituição da República Federativa do Brasil. 1988. Disponível em: <www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em: 1^o jan. 2013.
• BRASIL. Decreto n^o7.508, de 28 de junho de 2011. Regulamenta a Lei n^o8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde - SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Disponível em: <www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/decreto/D7508.htm>. Acesso em: 12 out. 2012.
• BRASIL. Instituto Nacional de Assistência Médica da Previdência Social. Resolução n^o258, de 07 de janeiro de 1991. Norma Operacional Básica/SUS n^o 01/91. 1991. Disponível em: <http://siops.datasus.gov.br/Documentacao/Resolução 258_07_01_1991.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Lei n^o8.080, de 19 de setembro de 1990 Dispõe sobre as condições para a promoção, proteção e recuperação da saúde, a organização e o funcionamento dos serviços correspondentes e dá outras providências. 1990a. Disponível em: <portal.saude.gov.br/portal/arquivos/pdf/lei8080.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Lei n^o8.142, de 28 de dezembro de 1990 Dispõe sobre a participação da comunidade na gestão do Sistema Único de Saúde (SUS) e sobre as transferências intergovernamentais de recursos financeiros na área da saúde e dá outras providências. 1990b. Disponível em: <www.planalto.gov.br/ccivil_03/leis/L8142.htm>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. A experiência brasileira em sistemas de informação em saúde Brasília: Editora do Ministério da Saúde; Organização Pan-Americana da Saúde; Fundação Oswaldo Cruz, 2009b. v. 1.
• BRASIL. Ministério da Saúde. Departamento de Informática do SUS (Datasus-Sítio institucional). Disponível em: <www2.datasus.gov.br/DATASUS/index.php>. Acesso em: 24 mar. 2012.
  » link
• BRASIL. Ministério da Saúde. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de gestão Documento pactuado na reunião da Comissão Intergestores Tripartite do dia 26 de janeiro de 2006 e aprovado na reunião do Conselho Nacional de Saúde do dia 9 de fevereiro de 2006. Brasília: Ministério da Saúde, 2006c. Disponível em: <http://portal.saude.gov.br/portal/arquivos/pdf/volume_1_completo.pdf>. Acesso em: 30 set. 2012.
• BRASIL. Ministério da Saúde. Instrução Normativa n^o01/98, de 02 de janeiro de 1998 Norma Operacional Básica/SUS n^o 01/98. Disponível em: <http://portal.saude.gov.br/portal/arquivos/pdf/in98.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Norma Operacional Básica do Sistema Único de Saúde/NOB-SUS n^o01/96. 1996. Disponível em: <http://portal.saude.gov.br/portal/arquivos/pdf/nob96.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o95, de 26 de janeiro de 2001 Norma Operacional de Assistência à Saúde/Noas-SUS n^o 01/2001. Disponível em: <www.brasilsus.com.br/index.php?option=com_content&view=article&id=13475>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o325, de 21 de fevereiro de 2008 Estabelece prioridades, objetivos e metas do Pacto pela Vida para 2008, os indicadores de monitoramento e avaliação do Pacto pela Saúde e as orientações, prazos e diretrizes para a sua pactuação. Disponível em: <http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2008/GM/GM-325.htm>. Acesso em: 29 ago. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o373, de 27 de fevereiro de 2002 Norma Operacional de Assistência à Saúde/Noas-SUS n^o 01/2002. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2002/prt0373_27_02_2002.html>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o399/GM, de 22 de fevereiro de 2006 Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as diretrizes operacionais do referido pacto. 2006a. Disponível em: <http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2006/GM/GM-399.htm>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o545, de 29 de maio de 1993 Norma Operacional Básica/SUS n^o 01/93. Disponível em: <http://siops.datasus.gov.br/Documentacao/Portaria545_20_05_1993.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o699/GM, de 30 de março 2006 Pacto pela Saúde. Regulamenta as diretrizes operacionais dos pactos Pela Vida e de Gestão. 2006b. Disponível em: <http://portal.saude.gov.br/portal/arquivos/pdf/Portaria_699_2006.pdf>. Acesso em: 15 abr. 2012.
• BRASIL. Ministério da Saúde. Portaria n^o2669, de 3 de novembro 2009 Estabelece as prioridades, objetivos, metas e indicadores de monitoramento e avaliação do Pacto pela Saúde, nos componentes pela Vida e de Gestão, e as orientações, prazos e diretrizes do seu processo de pactuação para o biênio 2010-2011. 2009a. Disponível em: <http://portalweb04.saude.gov.br/sispacto/portaria2669_versao_impressao.pdf>. Acesso em: 29 ago. 2012.
• BRITO E SILVA, Keila S. et al. Conhecimento e uso do Sistema de Informações sobre Orçamentos Públicos em Saúde (Siops) pelos gestores municipais, Pernambuco, Brasil. Cadernos de Saúde Pública, v. 26, n. 2, p. 373-382, 2010.
• CAGNIN, Maria Istela. Parfait: uma contribuição para a reengenharia de software baseada em linguagens de padrões e frameworks. Tese (doutorado) - Instituto de Ciências Matemáticas e de Computação de São Carlos, Universidade de São Paulo, São Carlos, 2005.
• CENTRO DE TECNOLOGIA DA INFORMAÇÃO RENATO ARCHER (CTI). Software público brasileiro 2012. Disponível em: <www.cti.gov.br/software-publico-dtds.html>. Acesso em: 30 dez. 2012.
• CMMI INSTITUTE. Carnegie Mellon University. CMMI website. Disponível em: <www.cmmiistitute.com>. Acesso em: 17 mar. 2014.
• DAMÉ, Patrícia K. V. et al. Sistema de Vigilância Alimentar e Nutricional (Sisvan) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cadernos de Saúde Pública, v. 27, n. 11, p. 2155-2165, 2011.
• DELONE, William H.; McLEAN, Ephraim R. The DeLone and McLean model of information systems success: a ten-year update. Journal of Management Information Systems, v. 19, n. 4, p. 9-30, 2003.
• FADEL, Cristina B. et al. Administração pública: o pacto pela saúde como uma nova estratégia de racionalização das ações e serviços em saúde no Brasil. Rev. Adm. Pública, v. 43, n. 2, p. 445-456, mar./abr. 2009.
• FARIAS, Leila Maria M. et al. Os limites e possibilidades do Sistema de Informação da Esquistossomose (Sispce) para a vigilância e ações de controle. Cadernos de Saúde Pública, v. 27, n. 10, p. 2055-2062, 2011.
• FIGUEIREDO, Luana A. Análise da utilização do Sistema de Informação em Atenção Básica - SIAB pelos coordenadores da Atenção Primária à Saúde na tomada de decisão Dissertação (mestrado) - Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2009.
• GLYKAS, Michael. Effort based performance measurement in business process management. Knowedge and Process Management, v. 18, n. 1, p. 10-33, 2011.
• HASSON, Felicity; KEENEY, Sinead; McKEENA, Hugh. Research guidelines for the Delphi survey technique. Journal of Advanced Nursing, v. 32, n. 4, p. 1008-1015, 2000.
• HÜBNER-BLODER, Gudrun; AMMENWERTH, Elske. Key performance indicators to benchmark hospital information systems - a Delphi study. Methods of Information in Medicine, v. 48, n. 6, p. 508-518, 2009.
• INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC 25010 Systems and software engineering - systems and Software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva, 2011a.
• INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC 25023 Systems and software engineering - systems and software Quality Requirements and Evaluation (SQuaRE) - Measurement of system and software product quality (in development). Geneva, 2011b.
• INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC TR 9126-3. Software engineering - Product Quality - part 3: Internal metrics. Geneva, 2003.
• LIMA, Claudia R. A. et al. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cadernos de Saúde Pública, v. 25, n. 10, p. 2095-2109, 2009.
• MORAES, Ilara H. S. Informações em saúde: da prática fragmentada ao exercício da cidadania. São Paulo: Hucitec, 1994.
• MORAES, Ilara H. S. Sala de Situação em Saúde: contribuição à ampliação da capacidade gestora do Estado? In: ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE (OPAS). Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília: Organização Pan-Americana da Saúde; Ministério da Saúde, 2010. p. 21-38.
• MOTA, Francisca R. L. Registro de informação no sistema de informação em saúde: um estudo das bases Sinasc, Siab e SIM no estado de Alagoas. Tese (doutorado em ciência da informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.
• OTIENO, George O. et al. Measuring effectiveness of electronic medical records systems: Towards building a composite index for benchmarking hospitals. International Journal of Medical Informatics, v. 77, n. 10, p. 657-669, 2008.
• PAI, Fan-Yun; HUANG, Kai-I. Applying the technology acceptance model to the introduction of healthcare information systems. Technological Forecasting & Social Change, v. 78, n. 4, p. 650-660, 2011.
• PAIM, Rafael; CAULLIRAUX, Heitor M.; CARDOSO, Rodolfo. Process management tasks: a conceptual and practical view. Business Process Management Journal, v. 14, n. 5, p. 694-723, 2008.
• PRESSMAN, Roger S. Software engineering: a practitioner's approach. Nova York: McGraw-Hill, 2010.
• RIBIÈRE, Vincent et al. Hospital information systems quality: a customer satisfaction assessment tool. In: HAWAII INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES, 32., 1999, Hawaii. Proceedings... Havaí: IEEE, 1999. Disponível em: <http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=773011>. Acesso em: 22 mar. 2013.
• SOFTEX. MPS.BR - Melhoria de processo do software brasileiro Guia geral MPS de Software. 2012. Disponível em: <www.softex.br/wp-content/uploads/2013/07/MPS.BR_Guia_Geral_Software_2012.pdf>. Acesso em: 17 mar. 2014.
• SOFTWARE ENGINEERING INSTITUTE (SEI). Carnegie Mellon University. Capability Maturity Model Integration (CMMI). Disponível em: <www.sei.cmu.edu/cmmi/>. Acesso em: 11 jan. 2013.
• SOFTWARE ENGINEERING INSTITUTE (SEI). Carnegie Mellon University. The ideal model. 2009. Disponível em: <www.sei.cmu.edu/library/assets/idealmodel.pdf>. Acesso em: 11 jan. 2013.
• SOMMERVILLE, Ian. Engenharia de software São Paulo: Pearson Prentice-Hall, 2011.
• SOUZA, Rômulo C.; FREIRE, Sergio M.; ALMEIDA, Rosimary T. Sistema de informação para integrar os dados da assistência oncológica ambulatorial do Sistema Único de Saúde. Cadernos de Saúde Pública, v. 26, n. 6, p. 1131-1140, 2010.
• THAINES, Geovana H. L. S. et al. Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto - Enfermagem, v. 18, n. 3, p. 466-474, 2009.
• VIDOR, Ana Cristina; FISHER, Paul D.; BORDIN, Ronaldo. Utilização dos sistemas de informação em saúde em municípios gaúchos de pequeno porte. Revista de Saúde Pública, v. 45, n. 1, p. 24-30, 2011.
• VIEIRA, Fabíola S. Avanços e desafios do planejamento no Sistema Único de Saúde. Ciência & Saúde Coletiva, v. 14, n. supl. 1, p. 1565-1577, 2009.
• VIITANEN, Johanna et al. National questionnaire study on clinical ICT systems proofs: physicians suffer from poor usability. International Journal of Medical Informatics, v. 80, n. 10, p. 708-725, 2011.

Um modelo para avaliação de sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores

Un modelo para la evaluación de los sistemas de información del Sistema Único de Salud (SUS) a nivel nacional: el proceso de selección y estructuración de los indicadores

Datas de Publicação

• Publicação nesta coleção
  10 Jun 2014
• Data do Fascículo
  Jun 2014

Histórico

• Aceito
  06 Fev 2014
• Recebido
  22 Mar 2013