Sistema para acolhimento e classificação de risco em obstetrícia: avaliação de qualidade técnica* * Artigo extraído da dissertação de mestrado “Desenvolvimento e avaliação de um sistema de apoio a decisão para acolhimento e classificação de risco em obstetrícia”, apresentada à Universidade Estadual Paulista “Júlio de Mesquita Filho”, Faculdade de Medicina de Botucatu, Botucatu, SP, Brasil.

Rodolfo Cristiano Serafim Milena Jamas Temer Cristina Maria Garcia de Lima Parada Heloisa Helena Ciqueto Peres Clarita Terra Rodrigues Serafim Rodrigo Jensen Sobre os autores

Resumos

Objective:

to assess the technical quality of a decision support system for reception and risk classification in obstetrics.

Method:

a methodological study of assessment of the system. 12 nurses and 11 information technology (IT) professionals were invited to evaluate the Obstetrics Reception and Risk Classification System (Sistema de Acolhimento e Classificação de Risco em Obstetrícia, SACR-O). Based on the standards of the International Organization for Standardization, the minimum number of evaluators and the characteristics to be evaluated were established: functional suitability, reliability, usability, performance efficiency, compatibility, safety, maintainability, and portability. The characteristics assessed should be given a ≥70% positive assessment to be considered suitable.

Results:

the characteristics assessed by the nurses and the IT professionals, respectively, were considered adequate: Functional suitability (97% and 98%), Reliability (91% and 94%), Usability (89% and 93%), Performance efficiency (97% and 98%), Compatibility (93% and 100%), and System security (95% and 97%). Maintainability (87%) and Portability (97%) were also evaluated by IT professionals.

Conclusion:

the technical quality of the SACR-O system was considered excellent by nurses and IT professionals.

Descriptors:
Nursing Informatics; Health Information Systems; Technology Assessment, Biomedical; Emergency Care; Obstetric Nursing; User Embracement


Objetivo:

avaliar a qualidade técnica de um sistema de apoio à decisão para acolhimento e classificação de risco em obstetrícia.

Método:

estudo metodológico de avaliação de sistema. Foram convidados a avaliarem o Sistema de Acolhimento e Classificação de Risco em Obstetrícia (SACR-O) 12 enfermeiros e 11 profissionais de informática. A partir das normas da Organização Internacional de Normatização se estabeleceu o número mínimo de avaliadores e as características a serem avaliadas: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, compatibilidade, segurança, manutenibilidade e portabilidade. As características avaliadas deveriam ter avaliação positiva ≥70% para serem consideradas adequadas.

Resultados:

as características avaliadas por enfermeiros e profissionais de informática, respectivamente, foram consideradas adequadas, a saber: Adequação funcional (97% e 98%), Confiabilidade (91% e 94%), Usabilidade (89% e 93%), Eficiência de desempenho (97% e 98%), Compatibilidade (93% e 100%) e Segurança do sistema (95% e 97%). Por profissionais de informática foram também avaliadas as características de Manutenibilidade (87%) e Portabilidade (97%).

Conclusão:

a qualidade técnica do sistema SACR-O foi considerada como excelente por enfermeiros e profissionais de informática.

Descritores:
Informática em Enfermagem; Sistemas de Informação em Saúde; Avaliação da Tecnologia Biomédica; Atendimento de Emergência; Enfermagem Obstétrica; Acolhimento


Objetivo:

evaluar la calidad técnica de un sistema de soporte de decisiones para la recepción y clasificación de riesgos en obstetricia.

Método:

estudio metodológico de evaluación del sistema. Fueron invitados a evaluar el Sistema de Recepción y Clasificación de Riesgos en Obstetricia (SACR-O) 12 enfermeros y 11 profesionales de la informática. Con base en las normas de la Organización Internacional de Estandarización, se estableció el número mínimo de evaluadores y las características a evaluar: adecuación funcional, fiabilidad, usabilidad, eficiencia de desempeño, compatibilidad, seguridad, mantenibilidad y portabilidad. Las características evaluadas deberían tener una evaluación positiva ≥70% para considerarse adecuadas.

Resultados:

las características evaluadas por enfermeros y profesionales de la informática, respectivamente, se consideraron adecuadas, a saber: Adecuación funcional (97% y 98%), Fiabilidad (91% y 94%), Usabilidad (89% y 93%), Eficiencia de desempeño (97% y 98%), Compatibilidad (93% y 100%) y Seguridad del sistema (95% y 97%). Por los profesionales de informática también fueron evaluados las características de Mantenibilidad (87%) y Portabilidad (97%).

Conclusión:

la calidad técnica del sistema SACR-O fue considerada excelente por los enfermeros y los profesionales de la informática.

Descriptores:
Informática Aplicada a la Enfermería; Sistemas de Información en Salud; Evaluación de la Tecnología Biomédica; Atención de Emergência; Enfermería Obstétrica; Acogimiento


Introdução

Em 2011 o Ministério da Saúde (MS) lançou o Programa Rede Cegonha, que teve por objetivo proporcionar às mulheres e crianças melhor atenção e qualidade à saúde com destaque às ações de redução da mortalidade materna e infantil, alinhado à Política Nacional de Humanização da Atenção e Gestão do Sistema Único de Saúde. De forma complementar, em 2014, o MS estabeleceu o manual de Acolhimento e Classificação de Risco em Obstetrícia (A&CRO), atualizado em 2017, a todos os serviços de urgência e emergência obstétrica do país(11 Ministério da Saúde (BR). Portaria Nº 650, de 5 de outubro de 2011. Dispõe sobre os Planos de Ação regional e municipal da Rede Cegonha. [Internet]. Diário Oficial da União 5 out 2011. [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
http://bvsms.saude.gov.br/bvs/saudelegis...

2 Brasil. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional Humanização. HumanizaSUS: documento base para gestores e trabalhadores do SUS. 4a ed. Brasília: Ministério da Saúde; 2010 [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...

3 Maia VKV, Lima EFA, Leite FMC, Souza AI, Primo CC. Evaluation of process indicators of the prenatal and birth humanization program and stork network. Rev Fun Care Online. [Internet]. 2017 Oct-Dec [cited Mar 22, 2019];9(4):1055-60. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1 doi: http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
http://www.seer.unirio.br/index.php/cuid...
-44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

O manual de A&CRO visa oferecer orientações e padronização de condutas aos profissionais da saúde que atuam nos serviços de assistência ao parto, a fim de evitar problemas no atendimento que possam culminar em desfechos desfavoráveis, bem como viabilizar o acesso qualificado e o atendimento com resolutividade em tempo adequado para cada caso(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

A classificação de risco em obstetrícia é uma ferramenta de apoio à decisão para identificação imediata da gravidade da gestante, que garante atendimento rápido e seguro de acordo com o potencial de risco e a partir de evidências científicas(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...

5 Costa RLM, Silva QMF. Implementation of the Reception and Risk Classification Obstetric in a Hospital in Alagoas. Rev Port Saúde Sociedade. [Internet]. 2017 [cited Mar 22, 2019];2(2):461-71. Available from: http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
http://www.seer.ufal.br/index.php/nuspfa...
-66 Oliveira JLC, Gatti APBMS, Bellucci Junior JA, Góes HLF, Matsuda LM. User Embracement with risk classification: perceptions of the service users of an emergency care unit. Texto Contexto Enferm. [Internet]. 2017 [cited Feb 1, 2020];26(1):e0960014. Available from: http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301. doi: http://dx.doi.org/10.1590/0104-07072017000960014
http://www.scielo.br/scielo.php?script=s...
).

O protocolo de A&CRO permite classificar a gestante para o atendimento, conforme o grau de urgência e a partir de um processo de tomada de decisão clínica, no qual se determina o tempo máximo de espera recomendado para receber o atendimento médico. Há cinco níveis de prioridade e cada um corresponde a um tempo máximo de espera para o atendimento médico, a saber: vermelho (atendimento imediato), laranja (até 15 min), amarelo (até 30 min), verde (até 120 min) e azul (não prioritário ou encaminhamento conforme pactuação)(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

O protocolo de A&CRO é uma importante base de conhecimento para apoiar as decisões dos profissionais em obstetrícia, bem como gerar impactos positivos no cuidado e na redução de erros. Assim, é de grande importância que instrumentos como o protocolo de A&CRO façam parte da rotina das instituições de saúde e estejam disponíveis para uso em dispositivos eletrônicos, integrado ao prontuário eletrônico do paciente (PEP), como forma de registro para posterior consulta e reavaliação(77 Figueiroa MN, Menezes MLN, Monteiro EMLM, de Aquino JM, Mendes NOG, Silva PVT. User embracement and risk classification at obstetric emergency: evaluating operationalization in a maternity hospital school. Esc Anna Nery. [Internet]. 2017 [cited Feb 1, 2020];21(4):1-7. Available from: https://www.redalyc.org/articulo.oa?id=127752022041. doi: http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
https://www.redalyc.org/articulo.oa?id=1...
-88 Pegoraro LGO, Gvozd R, Haddad MCFL, Vannuchi MTO, Silva LGC, Rossaneis MA. Validation of instrument to assess software of patients' risk classification. Rev Bras Enferm. [Internet]. 2018 [cited Feb 1, 2020];71(3):975-82. Available from: http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
http://www.scielo.br/pdf/reben/v71n3/pt_...
).

Na era da informação, alternativas para o registro em saúde têm sido propostas com o intuito de encontrar estratégias para armazenar e qualificar o registro de dados e construir uma assistência à saúde mais segura e de qualidade(99 Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
http://www.scielo.br/pdf/rlae/v27/pt_010...
).

Foco do presente estudo, o Sistema de Acolhimento e Classificação de Risco em Obstetrícia (SACR-O) foi desenvolvido em um hospital universitário do interior do estado de São Paulo como sistema para apoio à decisão, construído com base no manual de A&CRO proposto pelo MS.

O sistema guia o enfermeiro com perguntas estruturadas e valores fixos em suas respostas, baseadas nos sinais e sintomas apresentados pela gestante. Ao término de seu preenchimento, o sistema indica a classificação de risco por cores, conforme proposto pelo MS(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

O SACR-O também oferece base de dados de simulação, permitindo treinamento em tempo real para estudantes de graduação, residentes e profissionais das maternidades para ensino ou educação continuada. O sistema é integrado ao PEP, o que favorece a continuidade do cuidado e a segurança da informação.

Considerando a avaliação dos sistemas de informação em saúde, estudo de revisão sistemática mostrou que os melhores métodos são aqueles que seguem os pressupostos da International Organization for Standardization (ISO) e International Electrotechnical Commision (IEC), das séries da Associação Brasileira de Normas Técnicas (ABNT) e da Norma Brasileira (NBR), também com as certificações de sistemas informatizados, que passam por rigorosos testes da Sociedade Brasileira de Informática em Saúde (SBIS) em conjunto com o Conselho Federal de Medicina (CFM)(1010 Cintho LMM, Machado RR, Moro CMC. Methods for Evaluation of Information Systems in Healthcare. J Health Inform. [Internet]. 2016 [cited Nov 8, 2018];8(2):41-8. Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259.
http://www.jhi-sbis.saude.ws/ojs-jhi/ind...
).

Frente a essa perspectiva, este estudo tem por objetivo avaliar a qualidade técnica de um sistema de apoio à decisão para acolhimento e classificação de risco em obstetrícia.

Método

Trata-se de um estudo metodológico de avaliação de sistema. Os estudos metodológicos caracterizam-se por desenvolverem, validarem e avaliarem ferramentas e métodos de pesquisa(1111 Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.).

A pesquisa foi conduzida na maternidade de um hospital público do interior do estado de São Paulo. Trata-se de um hospital geral de nível terciário, que possui um sistema de informação hospitalar (MV Sistemas®) que reúne as informações clínicas e assistenciais de todos os atendimentos.

O SACR-O foi desenvolvido a permitir que a classificação da gestante seja registrada no PEP, com o propósito de manter a segurança e o controle dos dados. Assim, é necessário que o profissional que realiza o atendimento efetue login com usuário e senha no sistema. Ao entrar no sistema este tem acesso às etapas de A&CRO e, para um novo atendimento, pode acessar áreas como: abertura do atendimento, atualização cadastral da gestante, atendimento de profissional especializado, administração de medicamentos, exames laboratoriais e de imagem; até a finalização do atendimento com a alta ou o encaminhamento ao centro obstétrico.

Para participarem da avaliação de qualidade técnica do SACR-O foram convidados profissionais de informática, com formação nas áreas de análise e desenvolvimento de sistemas, assim como enfermeiros e residentes em enfermagem obstétrica da instituição na qual foi conduzido o estudo. Aos enfermeiros e residentes, foi critério de inclusão ter realizado pelo menos uma vez o A&CRO em serviço.

Foram respeitadas as normas ISO/IEC 25040:2011(1212 International Organization for Standardization. ISO/IEC 25040 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO; 2011.), a qual indica o número mínimo de oito avaliadores, e a ISO/IEC 25010:2011(1313 International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.), que propõe a avaliação da qualidade técnica do software por oito características: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, manutenibilidade, portabilidade, segurança e compatibilidade. Cada característica é composta por subcaracterísticas, totalizando 31 subcaracterísticas. Diante das especificidades técnicas das características de manutenibilidade e portabilidade, estas foram avaliadas somente por profissionais de informática, como apontado na literatura(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

A qualidade em uso de um software, ou usabilidade, é composta por características e subcaracterísticas relacionadas ao resultado da interação quando um produto é usado em um contexto de uso específico. Esse modelo de sistema é aplicável ao sistema de interação humano-computador, incluindo sistemas de computador em uso e produtos de software em uso. O modelo de qualidade do produto, ou qualidade técnica, é composto por características e subcaracterísticas relacionadas às propriedades estáticas do software e às propriedades dinâmicas do sistema(1313 International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.).

O questionário utilizado neste estudo para avaliar a qualidade técnica do sistema foi construído com base em um instrumento proposto em estudo prévio(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

Os especialistas, profissionais de informática e enfermeiros, acessaram o sistema com orientações sobre o processo de avaliação e receberam manual com informações sobre a estrutura das telas e a especificação detalhada sobre cada item. Foi disponibilizado ambiente de simulação aos especialistas, com usuário de acesso e senha ao sistema e um caso clínico, construído pelos autores do estudo. A avaliação ocorreu individualmente, sem a interferência dos pesquisadores.

Os especialistas avaliaram cada característica e subcaracterística por meio de uma das seguintes opções: de acordo (Nível A); desacordo - Justifique (Nível D); e não se aplica (Nível NA).

O nível A, significa que o sistema atendeu ao requisito; O nível D, que não atendeu por isso necessita de justificativa para melhorias; e o nível NA, corresponde a não conseguiu avaliar ou não é aplicável.

Para a obtenção da somatória dos valores das características e subcaracterísticas os dados foram analisados conforme proposto na norma ISO/IEC 14598-6:2004, por meio da seguinte fórmula:

Vc = Vsc nsc Vcs = m n nd

Vc = o valor medido da característica

Vsc = o valor medido da subcaracterística

nsc = o número de subcaracterística

m = 1, se a resposta for positiva, senão é 0

nd = o número de questões descartadas

Assim, para obter os valores de suas características e seus percentuais, foi aplicada a seguinte fórmula:

Vc = Vsca a + d ± na na × 100

Vc = o valor medido da característica

Vsca = o valor da subcaracterística com respostas acordo

a = resposta de acordo

d = resposta desacordo

na = resposta não se aplica(1515 Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.)

Na avaliação dos resultados, foi utilizada escala adaptada com valores esperados para cada característica e subcaracterística; estes deveriam estar acima de 70% para serem considerados satisfatórios(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf). As categorias e subcategorias foram avaliadas com o corte para fraco (25%), regular (50%), bom (75%) e excelente (100%)(1515 Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.).

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Medicina de Botucatu da Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP) (CAAE: 83484518.5.0000.5411).

Resultados

Na apresentação dos resultados, optou-se por separar a avaliação dos profissionais de informática e dos enfermeiros, uma vez que a formação desses avaliadores pode levar a critérios diferentes na avaliação, segundo sua formação. A caracterização dos avaliadores é descrita na Tabela 1.

Tabela 1
Caracterização dos avaliadores, profissionais de informática (n=11) e enfermeiros (n=12). Botucatu, SP, Brasil, 2018

Em comparação, os enfermeiros apresentavam menor idade e tempo de trabalho. Independentemente da categoria profissional, a maioria dos participantes tinha título de especialista (Tabela 1).

A avaliação das características de qualidade técnica é descrita na Figura 1.

Figura 1
Avaliação das características de qualidade técnica do sistema por profissionais de informática e enfermeiros. Botucatu, SP, Brasil, 2018

Todas as categorias de qualidade técnica avaliadas foram consideradas adequadas, com avaliação superior a 70%.

Quanto à avaliação das subcaracterísticas, ao menos uma em cada característica obteve 100% de adequação. Apenas a subcaracterística acessibilidade, da característica usabilidade, obteve avaliação menor que 70% entre os profissionais de informática (Tabela 2).

Tabela 2
Avaliação das subcaracterísticas do sistema, por profissionais de informática (n=11) e enfermeiros (n=12). Botucatu, SP, Brasil, 2018

Discussão

O SACR-O além de organizar o fluxo de atendimento dos serviços de urgência e emergência, favorece que os profissionais respeitem o protocolo de A&CRO do MS(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
), a garantir ético e adequado atendimento às gestantes.

O SACR-O demonstrou índice de adequação satisfatório em todas as características, superior a 87%. As características adequação funcional e eficiência de desempenho obtiveram 97% de aprovação entre os enfermeiros e 98% entre os profissionais de informática. A adequação destas características corresponde à satisfação dos usuários, de forma a atingir os objetivos de uso do sistema com precisão e integridade. A eficiência de desempenho está atrelada ao tempo de resposta do sistema, considerado nesse estudo como satisfatório para ambas as categorias do SACR-O nestes quesitos(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1616 Alves J, Savaris A, Wangenheim CGV, Wangenheim AV. Software Quality Evaluation of the Laboratory Information System Used in the Santa Catarina State Integrated Telemedicine and Telehealth System. In: Proceedings of the Conference: 2016 IEEE 29th International Symposium on Computer-Based Medical Systems (CBMS); 2016 jun; Dublin, Belfast. [Internet] [cited Feb 2, 2020]; 76-81. Available from: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
https://ieeexplore.ieee.org/stamp/stamp....
).

A confiabilidade representa o quanto o sistema consegue oferecer o nível de desempenho ao ser exposto por determinado tempo e circunstâncias como, por exemplo, se consegue executar suas tarefas de forma confiável com escassez de recursos. Para os avaliadores, esta característica ficou acima de 90%, o que reflete confiança dos usuários no sistema. Destaca-se que a confiabilidade dos sistemas informatizados tem demonstrado maiores índices quando comparado a sistemas manuais(99 Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
http://www.scielo.br/pdf/rlae/v27/pt_010...
,1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

A característica de usuabilidade tem sido amplamente estudada no âmbito das avaliações dos sistemas de informação em saúde, por avaliar a precisão do sistema e a eficiência aos usuários. Nela são identificadas muitas vezes queixas como lentidão no tempo de resposta do sistema, excesso de informações na tela e alteração do fluxo de trabalho(1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
-1818 Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub.
https://www.sciencedirect.com/science/ar...
).

Quanto à subcaracterística acessibilidade, na avaliação por profissionais de informática, não foi alcançado o valor esperado, sendo considerada como regular. Entretanto, por enfermeiros foi considerada como excelente. A sugestão apontada pelos profissionais de informática à acessibilidade foi inserir um recurso de lupa, para usuários com dificuldade visual.

A avaliação abaixo de valores esperados reflete a necessidade de se reavaliar requisitos do sistema. Devido ao tempo para o desenvolvimento do estudo, não foi possível realizar a reavaliação desta subcaracterística após ajustes. Outros estudos(1818 Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub.
https://www.sciencedirect.com/science/ar...
) também descrevem resultados com fragilidade na avaliação de acessibilidade, relacionados à resolução e visibilidade da tela. Autores(1919 Farzandipour M, Riazi H, Jabali M. Proposing electronic health record usability requirements based on enriched ISO 9241 metric usability model. Acta Inform Med. [Internet]. 2018 [cited Feb 2, 2020];26(1):29-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf.
https://www.ncbi.nlm.nih.gov/pmc/article...
) recomendam que para atender pessoas com deficiências, sobretudo visual, os sistemas de informação em saúde devem apresentar telas visualmente claras, com informações organizadas e imagens de fácil visualização.

Ainda quanto à usabilidade, a subcaracterística proteção contra erro obteve adequação de 100% entre enfermeiros e profissionais de informática, o que demonstra que o SACR-O oferece segurança no registro da informação.

Na característica compatibilidade, que contempla as subcaracterísticas interoperabilidade e coexistência, os profissionais de informática avaliaram adequação de 100% em ambas as subcaracterísticas, sendo a única característica com o máximo valor de consenso; enfermeiros indicaram 90% de adequação para interoperabilidade e 100% para coexistência. Esta característica reflete a capacidade de trocar informações com outros sistemas como, por exemplo, a troca de informações com o PEP(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
). A interoperabilidade é uma preocupação aos sistemas de informação em saúde, pois a falta de integração entre os sistemas pode comprometer o atendimento ao paciente(1111 Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.,1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
).

A característica segurança obteve o critério de excelência em três de suas subcaracterísticas pelos avaliadores. Este quesito é hoje uma das principais características a ser considerada, uma vez que os sistemas de informação em saúde armazenam grande quantidade de informações dos pacientes e são essenciais para um atendimento contínuo. São cruciais métodos de autenticação por meio de login e senha, assim como, a necessidade de sistemas efetivos de backup, pela capacidade de armazenar informações e reutilizá-las em caso de perda ou parada do sistema principal(2020 Sílvia F, Tareco E. Sistemas de informação como indicadores de qualidade na saúde: Uma revisão de níveis de abordagem. RISTI. [Internet]. 2016 [Acesso 02 fev 2020];(19):34-45. Disponível em: http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
http://www.scielo.mec.pt/scielo.php?pid=...
-2121 Idri A, Bachiri M, Alemán JLF. A framework for evaluating the software product quality of pregnancy monitoring mobile personal health records. J Med Syst. [Internet]. 2016 [cited Nov 10, 2018];40(3): 1-17. Available from: https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
https://link.springer.com/article/10.100...
).

A característica de manutenibilidade, que tem por objetivo mostrar os esforços necessários para realizar modificações específicas, e a característica portabilidade, que demonstra a capacidade do sistema em ser transferido para outro ambiente operacional, apresentaram índices de adequação correspondente a dados de estudos anteriores, com adequação superior a 70%, considerado satisfatório nesse requisito(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,2222 Santos RS, Landim LASR, Almeida JLJ, Sato RSP. Mobile app for assessment of eating behavior: development, usability and acceptability. Nutr Bras. [Internet]. 2019 [cited Feb 4, 2020];18(2):102-12. Available from: http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
http://portalatlanticaeditora.com.br/ind...
).

Sistemas para classificação de risco em pacientes nos serviços de urgência e emergência hospitalares têm sido amplamente utilizados. O SACR-O, desenvolvido em consonância com o protocolo de A&CRO do MS, mostra-se relevante, pois fortalece políticas do MS, favorece a agilidade dos atendimentos e, consequentemente, a humanização da assistência. Destaca-se que a qualidade técnica adequada dos sistemas de informação em saúde é hoje considerada um fator da segurança do paciente(2323 Howe JL, Adams KT, Hettinger AZ, Ratwani RM. Electronic Health Record Usability Issues and Potential Contribution to Patient Harm. JAMA. [Internet]. 2018 [cited Feb 2, 2020];319(12):1276-8. Available from: https://jamanetwork.com/journals/jama/article-abstract/2676098
https://jamanetwork.com/journals/jama/ar...
).

Considera-se limitação do estudo a não adequação do sistema quanto à subcaracterística de acessibilidade a tempo de ser reavaliado pelos profissionais de informática.

Ressalta-se o limitado número de publicações na temática de avaliação de sistemas de informação em saúde. Estudo de revisão(2424 Costa C, Linch GFC. The implementation of electronic records related to the nursing process: integrative review. Rev Fun Care Online. [Internet]. 2020 Jan-Dec [cited Feb 2, 2020];12:12-9. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648
http://www.seer.unirio.br/index.php/cuid...
) demonstrou a necessidade de aprofundamento e divulgação de pesquisas, com destaque ao uso de sistemas de informações em enfermagem.

Destaca-se a importância deste estudo para apoiar a decisão de gestores e desenvolvedores na construção e aquisição de sistemas confiáveis e que melhorem a qualidade da assistência à saúde.

Conclusão

O uso de tecnologias de informação e comunicação para apoio à decisão apresenta potencial para aperfeiçoar e melhorar a assistência à saúde. Este estudo se propôs a avaliar a qualidade técnica do SACR-O e os resultados obtidos mostraram adequação superior a 87% em todas as características avaliadas, obtendo o critério excelente.

Na avaliação do sistema, foram utilizadas as métricas de qualidade de software indicadas pela ISO/IEC, com um conjunto de seis a oito características, composto por subcaracterísticas.

Os resultados alcançados a partir da avaliação indicam que o SACR-O se mostrou adequado em todas as características. Destaca-se que ao menos uma subcaracterística, de cada característica avaliada, alcançou 100% de adequação, a saber: Correção funcional da característica Adequação funcional; Disponibilidade da característica Confiabilidade; Proteção contra erro da característica Usabilidade; Recursos e Capacidade da característica Eficiência e desempenho; Coexistência da característica Compatibilidade; e Confidencialidade, Responsabilização e Autenticação da característica Segurança.

O SACR-O atende ao manual de A&CRO proposto pelo MS, assim mostra potencial e segurança nas informações do acolhimento e classificação de risco das gestantes. Com isso, pode apoiar enfermeiros na tomada de decisão e no fluxo de atendimento.

  • *
    Artigo extraído da dissertação de mestrado “Desenvolvimento e avaliação de um sistema de apoio a decisão para acolhimento e classificação de risco em obstetrícia”, apresentada à Universidade Estadual Paulista “Júlio de Mesquita Filho”, Faculdade de Medicina de Botucatu, Botucatu, SP, Brasil.

Referências bibliográficas

  • 1
    Ministério da Saúde (BR). Portaria Nº 650, de 5 de outubro de 2011. Dispõe sobre os Planos de Ação regional e municipal da Rede Cegonha. [Internet]. Diário Oficial da União 5 out 2011. [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
    » http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
  • 2
    Brasil. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional Humanização. HumanizaSUS: documento base para gestores e trabalhadores do SUS. 4a ed. Brasília: Ministério da Saúde; 2010 [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
    » http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
  • 3
    Maia VKV, Lima EFA, Leite FMC, Souza AI, Primo CC. Evaluation of process indicators of the prenatal and birth humanization program and stork network. Rev Fun Care Online. [Internet]. 2017 Oct-Dec [cited Mar 22, 2019];9(4):1055-60. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1 doi: http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
    » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1» http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
  • 4
    Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
    » http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
  • 5
    Costa RLM, Silva QMF. Implementation of the Reception and Risk Classification Obstetric in a Hospital in Alagoas. Rev Port Saúde Sociedade. [Internet]. 2017 [cited Mar 22, 2019];2(2):461-71. Available from: http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
    » http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
  • 6
    Oliveira JLC, Gatti APBMS, Bellucci Junior JA, Góes HLF, Matsuda LM. User Embracement with risk classification: perceptions of the service users of an emergency care unit. Texto Contexto Enferm. [Internet]. 2017 [cited Feb 1, 2020];26(1):e0960014. Available from: http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301 doi: http://dx.doi.org/10.1590/0104-07072017000960014
    » http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301» http://dx.doi.org/10.1590/0104-07072017000960014
  • 7
    Figueiroa MN, Menezes MLN, Monteiro EMLM, de Aquino JM, Mendes NOG, Silva PVT. User embracement and risk classification at obstetric emergency: evaluating operationalization in a maternity hospital school. Esc Anna Nery. [Internet]. 2017 [cited Feb 1, 2020];21(4):1-7. Available from: https://www.redalyc.org/articulo.oa?id=127752022041 doi: http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
    » https://www.redalyc.org/articulo.oa?id=127752022041» http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
  • 8
    Pegoraro LGO, Gvozd R, Haddad MCFL, Vannuchi MTO, Silva LGC, Rossaneis MA. Validation of instrument to assess software of patients' risk classification. Rev Bras Enferm. [Internet]. 2018 [cited Feb 1, 2020];71(3):975-82. Available from: http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
    » http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
  • 9
    Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
    » http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
  • 10
    Cintho LMM, Machado RR, Moro CMC. Methods for Evaluation of Information Systems in Healthcare. J Health Inform. [Internet]. 2016 [cited Nov 8, 2018];8(2):41-8. Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
    » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
  • 11
    Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.
  • 12
    International Organization for Standardization. ISO/IEC 25040 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO; 2011.
  • 13
    International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.
  • 14
    Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf
  • 15
    Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.
  • 16
    Alves J, Savaris A, Wangenheim CGV, Wangenheim AV. Software Quality Evaluation of the Laboratory Information System Used in the Santa Catarina State Integrated Telemedicine and Telehealth System. In: Proceedings of the Conference: 2016 IEEE 29th International Symposium on Computer-Based Medical Systems (CBMS); 2016 jun; Dublin, Belfast. [Internet] [cited Feb 2, 2020]; 76-81. Available from: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
    » https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
  • 17
    Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
  • 18
    Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
    » https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
  • 19
    Farzandipour M, Riazi H, Jabali M. Proposing electronic health record usability requirements based on enriched ISO 9241 metric usability model. Acta Inform Med. [Internet]. 2018 [cited Feb 2, 2020];26(1):29-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
  • 20
    Sílvia F, Tareco E. Sistemas de informação como indicadores de qualidade na saúde: Uma revisão de níveis de abordagem. RISTI. [Internet]. 2016 [Acesso 02 fev 2020];(19):34-45. Disponível em: http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
    » http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
  • 21
    Idri A, Bachiri M, Alemán JLF. A framework for evaluating the software product quality of pregnancy monitoring mobile personal health records. J Med Syst. [Internet]. 2016 [cited Nov 10, 2018];40(3): 1-17. Available from: https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
    » https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
  • 22
    Santos RS, Landim LASR, Almeida JLJ, Sato RSP. Mobile app for assessment of eating behavior: development, usability and acceptability. Nutr Bras. [Internet]. 2019 [cited Feb 4, 2020];18(2):102-12. Available from: http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
    » http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
  • 23
    Howe JL, Adams KT, Hettinger AZ, Ratwani RM. Electronic Health Record Usability Issues and Potential Contribution to Patient Harm. JAMA. [Internet]. 2018 [cited Feb 2, 2020];319(12):1276-8. Available from: https://jamanetwork.com/journals/jama/article-abstract/2676098
    » https://jamanetwork.com/journals/jama/article-abstract/2676098
  • 24
    Costa C, Linch GFC. The implementation of electronic records related to the nursing process: integrative review. Rev Fun Care Online. [Internet]. 2020 Jan-Dec [cited Feb 2, 2020];12:12-9. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648
    » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648

Datas de Publicação

  • Publicação nesta coleção
    15 Jul 2020
  • Data do Fascículo
    2020

Histórico

  • Recebido
    27 Mar 2019
  • Aceito
    13 Abr 2020
Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br