Validação de instrumento para avaliar software de classificação de risco de pacientes

RESUMO

Objetivo:

Validar o conteúdo de instrumento que avalia a qualidade de um software aplicado à classificação de risco de pacientes.

Método:

Estudo metodológico, realizado em três fases: adaptação do instrumento, validação de conteúdo por meio da técnica Delphi e pré-teste. Os resultados foram analisados por meio do Índice de Validade de Conteúdo, Índice de Validade de Conteúdo global e Índice de Concordância Interavaliadores.

Resultados:

A versão final do instrumento contempla oito características, 28 subcaracterísticas, sendo 37 questões gerais aos especialistas em informática e enfermeiro e sete questões específicas aos especialistas em informática, com inclusão de uma questão e exclusão de três questões do instrumento original. Obteve-se percentual de Validade de Conteúdo Global de 92% e Índice de Concordância Interavaliadores de 100% na segunda rodada Delphi.

Considerações finais:

O instrumento possui validade de conteúdo permitindo avaliar a qualidade técnica e desempenho funcional de software aplicado à classificação de risco de pacientes.

Descritores:
Classificação; Serviços Médicos de Emergências; Estudos de Validação; Validação de Programas de Computador; Qualidade da Assistência à Saúde

ABSTRACT

Objective:

Validate the content of an instrument that assesses the quality of a software applied to the risk classification of patients.

Method:

Methodological study, conducted in three stages: adaptation of the instrument, content validation through Delphi technique and pre-test. The results were analyzed through Content Validity Index, Overall Content Validity Index and Inter-rater Reliability.

Results:

The final version of the instrument comprises 8 characteristics and 28 sub-characteristics, being 37 general questions to computer experts and nurse and 7 specific questions to computer experts, including 1 question and excluding 3 questions of the original instrument. We obtained Overall Content Validity of 92% and Inter-rater Reliability of 100% in the second Delphi round.

Final considerations:

The instrument has content validity, allowing to assess the technical quality and functional performance of the software applied to the risk classification of patients.

Descriptors:
Classification; Emergency Medical Services; Validation Studies; Validation of Computer Programs; Healthcare Quality

RESUMEN

Objetivo:

Validar el contenido de instrumento que evalúa la cualidad de un programa (software) aplicado a la clasificación de riesgo de pacientes.

Método:

Estudio metodológico, realizado en tres etapas: la adaptación del instrumento, la validación de contenido por medio de la técnica Delphi y la prueba previa. Los resultados fueron analizados por medio del Índice de Validez de Contenido, Índice de Validez de Contenido Global e Índice de Concordancia Interevaluadores.

Resultados:

La versión final del instrumento contempla ocho características, 28 subcaracteristicas, siendo 37 cuestiones generales a los expertos en informática y enfermero y siete cuestiones específicas a los expertos en informática, con inclusión de una cuestión y exclusión de tres cuestiones del instrumento original. Se obtuvo porcentual de Validez de Contenido Global del 92% e Índice de Concordancia Interevaluadores del 100% en la segunda ronda Delphi.

Consideraciones finales:

El instrumento posee validez de contenido permitiendo evaluar la cualidad técnica y el desempeño funcional de programa (software) aplicado a la clasificación de riesgo de pacientes.

Descriptores:
Clasificación; Servicios Médicos de Urgencias; Estudios de Validación; Validación de Programas de Ordenador; Cualidad de la Asistencia a la Salud

INTRODUÇÃO

A qualidade das informações em saúde é uma preocupação mundial. Países como Estados Unidos, Canadá e Inglaterra promovem iniciativas para a segurança na concepção, aquisição e implantação de tecnologia de informação em saúde⁽¹⁾. Avanços no acesso à informação, aumento da precisão da documentação, implementação da prática baseada em evidências, redução de custos com retorno dos investimentos, bem como melhorias na qualidade dos cuidados e maior satisfação dos colaboradores são evidências das experiências internacionais no uso da informatização em saúde⁽²⁾.

No Brasil, a utilização de sistemas computacionais para gestão tem crescido de forma exponencial em diferentes áreas. No processo de trabalho da enfermagem, a informática se aprimora cada vez mais por meio do desenvolvimento e avaliação das ferramentas, processos e estruturas que auxiliam os enfermeiros na gestão do cuidado^(3-4).

Nos serviços de urgência e emergência hospitalares, a informatização vem sendo utilizada para a execução da Avaliação com Classificação de Risco de pacientes. A literatura internacional traz dois protocolos de Avaliação e Classificação de Risco em formato eletrônico, o Sistema de Triagem de Manchester e o Modelo de Triagem Andorrá⁽⁵⁾. No Brasil, o protocolo mais conhecido no formato eletrônico é o de Manchester, que tem inspirado a informatização do Protocolo Nacional de Avaliação e Classificação de Risco, implantado pelo Ministério da Saúde por meio da portaria 2048/2002⁽⁶⁾. Contudo, não foram encontradas evidências cientificas sobre a avaliação da qualidade técnica e desempenho funcional dos programas utilizados para essa informatização, seja do protocolo internacional, seja do nacional.

A avaliação de um software é fundamental para identificar as fragilidades e limitações do produto, analisar o seu desempenho e diagnosticar a necessidade de adaptações⁽⁷⁾. Essa avaliação é consolidada por normativas específicas, tais como a International Organization for Standardization (ISO), International Electrotechnical Commision (IEC) e Associação Brasileira de Normas Técnicas (ABNT), que propôs duas Normas Brasileiras (NBR), ISO/IEC 14598 e ISO/IEC 9126, que tratam da qualidade dos produtos de software^(8-9). Em 2011, atualizações dessas normas deram origem à normativa ISO/IEC 25010 - System and Software engineering - System and software quality models; e ISO/IEC 25040 - System and Software engineering - Evaluation process^(10-11). Tais normativas vem sendo utilizadas para a criação de software e sua avaliação em diferentes contextos da enfermagem brasileira^(3,7,12-14).

Nesse sentido, as pesquisadoras deste estudo identificaram na sua prática de trabalho a necessidade de avaliar a qualidade técnica e desempenho funcional de um software utilizado para executar a Avaliação e Classificação de Risco de pacientes em um Serviço Hospitalar de Emergência (SHE). Para tanto, o presente trabalho baseou-se em uma recente pesquisa que aplicou tal metodologia em um Sistema de Documentação Eletrônica dos Processos de Enfermagem (PROCenf-USP) por meio de um instrumento que contemplou a última resolução específica para esse tipo de avaliação⁽³⁾.

OBJETIVO

Validar o conteúdo de instrumento que avalia a qualidade de um software aplicado à classificação de risco de pacientes.

MÉTODO

Aspectos éticos

O estudo foi aprovado em 27 de abril de 2016 pelo Comitê de Ética em Pesquisa da Universidade Estadual de Londrina - UEL.

Desenho, local do estudo e período

Trata-se de um estudo metodológico, aplicado, de abordagem quantitativa, realizado no período de abril a outubro de 2016, consolidado em três fases, sendo elas: adaptação do instrumento, validação de conteúdo e pré-teste. O local do estudo foi um hospital público secundário de médio porte, localizado no estado do Paraná, Brasil.

Protocolo do estudo

Para validação deste instrumento, optou-se pela técnica Delphi, que consiste em um método sistematizado de julgamento de informações destinado ao alcance do consenso de opiniões sobre determinado assunto, de conhecimento de um comitê de experts, por meio de validações articuladas em rodadas, mantendo o anonimato⁽¹⁵⁾. A validação de conteúdo se concretiza questionando diferentes experts que analisam a representatividade dos itens componentes do objeto de análise⁽¹⁶⁾.

O instrumento escolhido em sua versão original tem como objetivo avaliar a qualidade de software do Sistema de Documentação Eletrônica do Processo de Enfermagem PROCEnf- USP®⁽³⁾, que contempla a última atualização da International Organization for Standardization (ISO) e da International Electrotechnical Commision (IEC), específica para a avaliação de software.

O instrumento original contém oito características e 31 subcaracterísticas direcionadas para especialistas em informática e enfermeiros, sendo elas: adequação funcional (integridade funcional, correção funcional e aptidão funcional); eficiência de desempenho (tempo, recursos e capacidade); compatibilidade (coexistência e interoperabilidade); usabilidade (reconhecimento de adequação, apreensibilidade, proteção contra erro, operabilidade, estética da interface do usuário e acessibilidade); confiabilidade (maturidade, tolerância a falhas, recuperabilidade e disponibilidade); segurança (confidencialidade, integridade, não repúdio, responsabilização e autenticação); manutenibilidade: (analisabilidade, modificabilidade, modularidade, reusabilidade, testabilidade); portabilidade (adaptabilidade, capacidade para ser instalado e capacidade para substituir). Essas duas últimas características foram avaliadas apenas pelos especialistas em informática^(10-11).

A autora deste instrumento concedeu autorização para a adaptação e validação do mesmo para avaliar softwares de Classificação de Risco de pacientes.

A primeira fase do estudo se constituiu na adaptação do instrumento original para o contexto da Avaliação com Classificação de Risco de pacientes. Na segunda etapa, procedeu-se à validação de conteúdo do instrumento adaptado, por meio da técnica Delphi. Foram necessárias duas rodadas Delphi, sendo que na primeira o comitê foi composto por seis experts ; destes, três especialistas em informática com experiência na criação de software e informatização na saúde e três enfermeiros, sendo dois doutores e um mestre, ambos com experiência na validação e adaptação de instrumentos. Para a segunda rodada, realizou-se o convite aos mesmos experts, porém apenas cinco responderam ao solicitado.

Após contato prévio aos experts via correio eletrônico, foi enviado em formato eletrônico o Termo de Consentimento Livre e Esclarecido, um protocolo de apresentação resumido do projeto de pesquisa, o instrumento adaptado e instruções para preenchimento e avaliação dos quesitos a serem analisados pelos mesmos. Foi estipulado um prazo de 15 dias para a devolução do material analisado.

Os experts avaliaram cada item do instrumento em +1 (adequado), -1 (adequado com alterações) ou 0 (inadequado). Ao final da avaliação, foi possível calcular um Índice de Validade de Conteúdo (IVC) e o Índice de Validade de Conteúdo global (IVCg), que medem a proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e seus itens, sendo considerados válidos os que obtiverem percentual mínimo de 80% de concordância entre os experts^(17-18).

O Índice de Fidedignidade ou Concordância Interavaliadores, que é destinado a avaliar a extensão em que os juízes são confiáveis nas avaliações dos itens frente ao contexto estudado, foi calculado para cada dimensão do instrumento, dividindo-se o número de itens que pontuaram acima de 80% de concordância entre os avaliadores pelo total de itens de cada dimensão^(17-18).

Após a etapa de validação do conteúdo, executou-se a terceira fase do estudo, com a realização do pré-teste do instrumento adaptado. A seleção dos sujeitos para essa etapa ocorreu por amostragem intencional, na instituição em estudo, sendo composta por um especialista em informática, três enfermeiros com experiência na Avaliação com Classificação de Risco de pacientes informatizada e três enfermeiros sem experiência nessa atividade. Nessa etapa, os participantes avaliaram por meio do questionário de Praticabilidade de Instrumento, foram questionados quanto a problemas por eles percebidos no que se refere à compreensão de cada item e detecção de termos de difícil entendimento⁽¹⁹⁾.

Análise dos resultados e estatística

Os dados foram tabulados no programa Microsoft Excel 2010 e analisados a partir da leitura reflexiva e estatística descritiva.

RESULTADOS

No processo de adaptação do instrumento, as pesquisadoras optaram por agrupar algumas questões que se completavam, visando melhor compreensão do conteúdo. As subcaracterísticas “Adaptabilidade” e “Capacidade para ser instalado” foram agrupadas em uma única questão. “Estética de Interface de Usuário”, “Tempo” e “Integridade” tiveram questões agrupadas cada qual dentro de sua própria subcaracterísticas.

O procedimento de validação de conteúdo consolidou a versão final do instrumento com oito características, 28 subcaracterísticas e 44 questões. As características Adequação funcional, Confiabilidade, Usabilidade, Eficiência de desempenho, Compatibilidade e Segurança constam em 37 questões e são destinadas aos especialistas em informática e enfermeiros. As características Manutenibilidade e Portabilidade estão contempladas em sete questões específicas aos especialistas em informática. Realizou-se a inclusão de uma questão e exclusão de três questões do instrumento original. A partir da primeira rodada Delphi, identificou-se a necessidade de reformulação de algumas questões do instrumento, justificando a realização da segunda rodada Delphi.

A Tabela 1 apresenta o Índice de Validade de Conteúdo (IVC) de cada característica e subcaracterística do instrumento, o Índice de Concordância Interavaliadores (IRA) e o Índice de Validade de Conteúdo global (IVCg), verificados na primeira e segunda rodadas Delphi.

Tabela 1
Percentual de concordância dos experts em relação ao Índice de Validade de Conteúdo (IVC) de cada característica e subcaracterística do instrumento, o Índice de Concordância Interavaliadores (IRA) e o Índice de Validade de Conteúdo global (IVCg), na primeira e segunda rodadas Delphi, Londrina, Paraná, Brasil, 2016

Características e subcaracterísticas	IVC (%)*		IRA (%)**		IVC global (%)***
	1ª rodada Delphi	2ª rodada Delphi	1ª rodada Delphi	2ª rodada Delphi	1ª rodada Delphi	2ª rodada Delphi
Adequação funcional	74	96	67	100	70	93
Integridade funcional	50	100
Correção funcional	89	87
Aptidão funcional	83	100
Confiabilidade	62	90	50	100
Maturidade	83	100
Tolerância a falhas	50	80
Recuperabilidade	83	100
Disponibilidade	33	80
Usabilidade	85	94	67	100
Reconhecimento de adequação	77	92
Apreensibilidade	83	100
Operabilidade	83	90
Acessibilidade	100	100
Proteção contra erro	100	100
Estética de interface de usuário	67	80
Eficiência de desempenho	79	97	67	100
Tempo	100	100
Recursos	50	80
Capacidade	87	100
Compatibilidade	63	95	0	100
Interoperabilidade	58	90
Coexistência	67	100
Segurança	53	92	40	100
Confidencialidade	67	80
Integridade	100	93
Não repúdio	100	100
Responsabilização	0	****
Autenticação	0	****
Manutenibilidade	63	88	20	100
Analisabilidade	67	100
Modificabilidade	50	80
Testabilidade	83	100
Modularidade	67	80
Reusabilidade	50	80
Portabilidade	83	95	100	100
Adaptabilidade e capacidade para ser instalado	83	90
Capacidade para substituir	83	100

• Nota:
• ^*
  Índice de Validade de Conteúdo aplicado às características e subcaracterísticas;
• ^**
  Índice de Concordância Interavaliadores;
• ^***
  Índice de Validade de Conteúdo global;
• ^****
  Questões excluídas na primeira rodada Delphi.

De acordo com a avaliação dos experts em relação à concordância e representatividade dos itens do instrumento, o IVC global na primeira rodada Delphi foi de 70%, atingindo 93% na segunda rodada.

As características Usabilidade e Portabilidade obtiveram os melhores percentuais, com IVC acima de 80% na primeira rodada Delphi. Segurança, Confiabilidade, Compatibilidade e Manutenibilidade apresentaram os menores percentuais de IVC (53%, 62%, 63% e 63%, respectivamente).

Em relação à fidedignidade, apenas a característica Portabilidade atingiu o índice satisfatório na primeira rodada Delphi. Todas as demais atingiram IRA de 100% na segunda rodada.

Das 30 subcaracterísticas que continham o instrumento na primeira rodada Delphi, 15 (50%) atingiram IVC acima de 80%, sendo cinco com 100% de conformidade. Disponibilidade, Responsabilização e Autenticação obtiveram os menores percentuais de IVC (0%, 0% e 33%, respectivamente). Na segunda rodada, as subcaracterísticas Responsabilização e Autenticação foram excluídas do instrumento por recomendação dos experts.

No Quadro 1, são apresentadas as sugestões do comitê de experts acerca dos itens considerados “adequados com alteração” e “inadequados”, obtidos na primeira e segunda rodada Delphi.

Quadro 1
Apresentação das sugestões do comitê de experts acerca dos itens considerados "adequados com alteração" e "inadequados", Londrina, Paraná, Brasil, 2016

Característica	Subcaracterística	Análise e sugestão
Adequação funcional	Integridade funcional Correção funcional Aptidão funcional	Reformular a redação, padronizar verbos de forma não indutora e substituir o termo "sistema" por "software".
	Aptidão funcional	Considerada inadequada por um expert
Confiabilidade	Tolerância a Falha	Questão 8: trocar o termo "sistema" por "o mesmo".
	Disponibilidade	Questão 10: completar a questão com o termo "sempre que necessário".
	Maturidade Tolerância a Falhas Recuperabilidade Disponibilidade	Consideradas inadequadas por um expert
Usabilidade	Reconhecimento de Adequação Apreensibilidade Operabilidade Estética de interface de usuário	Trazer a sigla AACR*, descrita no início de cada característica para lembrar o leitor o seu significado.
	Estética de interface de usuário	Substituir o termo "O design gráfico" por "O design do software". Acrescentar quais características do design devem ser avaliadas de forma mais detalhada.
	Reconhecimento de adequação	Inserir a questão-chave: "Houve capacitação para a utilização do software?"
	Apreensibilidade	Questão 18: descrever de forma detalhada quais dados o software facilita a saída. Considerada inadequada por um expert.
Eficiência de Desempenho	Recurso	Acrescentar quais tipos de recursos externos é necessário para a utilização do software. Correção de pontuação: retirar as aspas e os pontos e vírgulas, utilizar vírgulas para separar os recursos externos.
	Capacidade	Considerado inadequado por um expert.
Compatibilidade	Interoperabilidade	Questão 30: reformular a redação padronizando os verbos. Questão 31: escrever com quais bases de dados é possível trocar informações.
	Coexistência	Questão 32: trocar o termo "ambiente compartilhado" por "quando outras telas estão sendo processadas simultaneamente". Considerado inadequado por um expert.
Segurança	Confiabilidade	Acrescentar o termo "autenticação via usuário e da senha individualizados de forma confiável".
	Responsabilização Autenticação	Itens considerados inadequados pelos seis experts, resultando na exclusão dos mesmos.
Manutenibilidade	Analisabilidade Modificabilidade Testabilidade Modularidade Reusabilidade	Reformular a redação utilizando o termo "software", pois sua ausência gera problemas com a clareza e transmite ideias incompletas.
Portabilidade	Adaptabilidade e capacidade para ser instalado	Questão 43: trocar o termo "sistemas" por "ambientes operacionais".
	Capacidade para substituir	Questão 44: acrescentar na questão a possibilidade de atualização do software.

• Nota:
• ^*
  AACR - Avaliação com Acolhimento e Classificação de Risco.

Após concluída a etapa de validação de conteúdo do instrumento, o mesmo foi submetido a um pré-teste, realizado com sete participantes, sendo um especialista em informática, três enfermeiros com experiência na Avaliação com Classificação de Risco de pacientes informatizada e três sem experiência nessa atividade. Os resultados dessa etapa da pesquisa evidenciaram facilidade de compreensão dos itens do instrumento e pertinência na proposta de avaliação do software, não havendo sugestões de adequações nos itens do instrumento. Dois participantes sugeriram substituir os termos Discordo e Concordo pelas expressões Sim e Não, porém os pesquisadores avaliaram que essa alteração não seria pertinente. O tempo demandado pelos participantes para o preenchimento do instrumento foi de aproximadamente 18 minutos para cada.

DISCUSSÃO

A opção de adaptar e validar um instrumento para avaliar a informatização da Avaliação com Classificação de Risco nos Serviços Hospitalar de Emergência (SHE), por meio de uma ferramenta indicadora do nível de qualidade técnica e desempenho funcional, fundamentou-se no fato de que, até o momento, não se tem conhecimento da existência de um instrumento que possibilite quantificar as opiniões e impressões dos profissionais de saúde em relação à qualidade técnica e desempenho funcional dessa ferramenta informatizada.

O processo de adaptação do instrumento consolidou-se por meio de embasamento científico em torno da temática da avaliação da qualidade técnica e desempenho funcional de software, da Avaliação com Classificação de Risco de pacientes, informatização em saúde e referencial metodológico de validação de instrumentos^{(3,5-7,10-20)}.

Nessa etapa da pesquisa, optou-se por agrupar as questões das subcaracterísticas Adaptabilidade e Capacidade para ser instalado, apresentando-as em uma única questão. As subcaracterísticas Tempo e Integridade tiveram suas questões agrupadas, porém cada qual dentro de sua própria subcaracterísticas. Tais alterações não geraram questionamentos dos experts, tampouco problemas quanto à clareza e sua representatividade, atingindo percentual de IVC superior a 80% desde a primeira rodada Delphi.

Contudo, a subcaracterística Estética de Interface, na qual também foram agrupadas suas questões para melhor investigação, apresentou IVC de 67% na primeira rodada. Os experts avaliaram-na como “adequada com alterações” e sugeriram substituir o termo “O design gráfico” por “O design do software” e acrescentar quais características devem ser avaliadas. Tais sugestões foram acatadas atingindo IVC de 80% na segunda rodada.

Na etapa de adaptação do instrumento, por meio da análise dos resultados e leitura reflexiva das sugestões e comentários do comitê de experts, foi possível constatar problemas de clareza e representatividade no instrumento. Considerando o método empregado nesta pesquisa, que exigiu IRA de 100% e no mínimo 80% de IVC, os resultados obtidos na primeira rodada Delphi evidenciaram a necessidade de adequações do instrumento.

Na primeira rodada Delphi, 50% das subcaracterísticas que compõem o instrumento avaliado não atingiram o IVC mínimo recomendado pela literatura e adotado nesta pesquisa^(17-18). Foram realizadas adequações nas questões dos itens indicados pelos experts, por meio das reformulações de redação nas questões, como inversões de palavras ou substituição de termos por sinônimos, o que permitiu melhor compreensão dos itens⁽²¹⁾. Após tal etapa, procedeu-se à segunda rodada Delphi para garantir que as adequações realizadas obtivessem a clareza e concordância exigida.

Na primeira rodada Delphi, um expert sugeriu que fosse acrescentada na subcaracterística Reconhecimento de Adequação, da característica Usabilidade, uma questão relacionada à ocorrência de capacitação para a utilização do software. A sugestão dos experts foi acatada uma vez que se avaliou a sua pertinência dentro do contexto da utilização e avaliação da qualidade técnica e desempenho funcional do sistema; as demais questões da subcaracterística receberam sugestão de reformulações e padronização de redação, que foram acatadas e submetidas a uma segunda rodada de avaliação pelo comitê, obtendo percentual de conformidade IVC > 80%.

Nesse contexto, considera-se que a incorporação de novas tecnologias no processo de trabalho requer habilidades que devem ser adquiridas pelos profissionais de saúde, a fim de que se tenha êxito e eficiência na utilização dessas ferramentas. Nesse sentido, as capacitações são importantes estratégias, uma práxis para a produção de conhecimento e sucesso na utilização adequada das tecnologias, com impacto direto na qualidade do cuidado prestado^(22-24). O insucesso das capacitações ou a sua ausência podem influenciar na capacidade e no desejo dos profissionais de se engajar nas atividades de desenvolvimento, aplicabilidade e na transformação de práticas.

Ainda referente à análise de conteúdo do instrumento, as características Aptidão funcional, Manutenibilidade, Recuperabilidade, Apreensibilidade, Capacidade e Testabilidade atingiram percentual ≥ 80% na primeira rodada Delphi, porém foram respectivamente avaliadas como “inadequadas” por um expert e “adequadas” pelos demais; apesar de não haver sugestão de reformulação e de ter atingido percentual de IVC favorável, foram encaminhadas à segunda rodada e atingiram percentual de 100%.

No entanto, as subcaracterísticas Tolerância a falhas, Disponibilidade, Coexistência não atingiram percentual ≥ 80% na primeira rodada Delphi, foram respectivamente avaliadas como “inadequadas” por um expert e “adequadas com alteração” pelos demais. Foram realizadas reformulações nos itens indicados levando em conta a sua relevância e encaminhadas para a segunda rodada Delphi, atingindo percentual de IVC favorável, em sua maioria 100% de concordância; foram consideradas como de conteúdo válido, fidedigno e representativo conforme preconizado pelo referencial adotado neste estudo^(15-19).

Em contrapartida, as subcaracterísticas Responsabilização e Autenticação foram removidas do instrumento na primeira rodada Delphi, visto que ambas foram avaliadas como “inadequadas” pelos seis experts, sendo constatados problemas de redundância, passíveis a viés na ótica do comitê, justificadas como contempladas em outras subcaracterísticas do instrumento.

Ao final, os índices obtidos no processo de validação de conteúdo indicaram alta confiabilidade e fidedignidade do instrumento e permitiram avaliar a qualidade técnica e desempenho funcional de software aplicado à classificação de risco de pacientes informatizada em SHE, ferramenta que auxilia os profissionais no atendimento e que pode ser aplicada aos diversos processos de informatização em saúde.

Limitações do estudo

Como limitações deste estudo, destacam-se o número de experts em informática que contemplassem os critérios de inclusão estabelecidos, ou seja, com experiência na informatização em saúde, haja vista a escassez desses profissionais no quadro funcional da maioria dos serviços de saúde. A Informática em Saúde no Brasil é uma área em crescimento exponencial que tem atraído profissionais de diversos segmentos acadêmicos em busca de especializações que lhe confiram competência para atuação. Entretanto, encontramos no mercado restrição de oferta de cursos de especialização nessa área e, entre estes, ocorrem divergências em suas matrizes curriculares, fato que vem a corroborar as limitações deste estudo⁽²⁵⁾.

Contribuições para a área da Enfermagem e Saúde

O instrumento validado traz como contribuição para a área da saúde a aquisição de uma ferramenta que visa avaliar a eficiência dos softwares, qualificar, promover melhorias em seu desenvolvimento e construção pelas instituições de saúde, tendo em vista que esse instrumento pode ser continuamente aperfeiçoado e adaptado a outros processos de trabalho informatizado. Ressalta-se o desenvolvimento de habilidades técnico-científicas aos profissionais de saúde e em específico da enfermagem, com incentivos a uma atitude empreendedora, que ainda é encontrada de forma empírica em muitos hospitais brasileiros. Esses profissionais são auxiliados pelo crescimento exponencial das tecnologias, cuja finalidade é atender suas necessidades diárias em diferentes contextos de sua prática, facilitando o cotidiano de trabalho e qualificando o cuidado prestado.

CONCLUSÃO

O procedimento de validação de conteúdo consolidou a versão final do instrumento com oito características, 28 subcaracterísticas e 44 questões. As características Adequação funcional, Confiabilidade, Usabilidade, Eficiência de desempenho, Compatibilidade e Segurança estão contempladas em 37 questões e são destinadas aos especialistas em informática e enfermeiros. As características Manutenibilidade e Portabilidade estão presentes em sete questões específicas aos especialistas em informática.

O IVC global na primeira rodada Delphi foi de 70%, atingindo 93% na segunda rodada. Das 30 subcaracterísticas que continham o instrumento na primeira rodada, 15 (50%) atingiram IVC acima de 80%, sendo cinco com 100% de conformidade. Disponibilidade, Responsabilização e Autenticação obtiveram os menores percentuais de IVC (0%, 0% e 33%, respectivamente). Na segunda rodada, as subcaracterísticas Responsabilização e Autenticação foram excluídas do instrumento por recomendação dos experts.

Em relação à fidedignidade, apenas a característica Portabilidade atingiu o índice satisfatório na primeira rodada Delphi. Todas as demais atingiram IRA de 100% na segunda rodada.

Com duas rodadas Delphi, obtiveram-se percentuais satisfatórios de IVC global e IRA, inclusão de uma questão e exclusão de três questões apresentadas nas subcaracterísticas Responsabilização e Autenticação. Além disso, no pré-teste, o instrumento se apresentou adequado quanto à clareza e objetividade nos itens.

Em virtude dos elevados índices obtidos na validação de conteúdo do instrumento, é importante que os SHEs os quais utilizem a Avaliação com Classificação de Risco informatizada tenham esse instrumento como ferramenta para mensurar, com confiabilidade, a qualidade técnica de tais softwares, de maneira a obterem, em seus resultados, diagnósticos que potencializem essa ferramenta e ou até mesmo a construção de novos softwares. Considera-se ainda que esse instrumento pode ser continuamente aperfeiçoado e adaptado a outros processos de trabalho informatizado na saúde.

Para tanto, sugere-se a realização de pesquisas futuras ao derredor da temática, com expectativa de que o instrumento seja divulgado e utilizado pelas instituições de saúde, no sentido de qualificar, potencializar, promover melhorias no desenvolvimento e construção de softwares que facilitem o processo de trabalho em saúde, desenvolvimento de habilidades técnico-científicas e incentivo a essa prática empreendedora.

REFERENCES

• ¹
  Kushniruk AW, Bates DW, Bainbridge M, Househ MS, Borycki EM. National efforts to improve health information system safety in Canada, the United States of America and England. Int J Med Inform [Internet]. 2013 [cited 2015 Aug 10]; 82(5):149-60. Available from: https://www.ncbi.nlm.nih.gov/pubmed/23313431
  » https://www.ncbi.nlm.nih.gov/pubmed/23313431
• ²
  Cherry BJ, Ford EW, Peterson LT. Experiences with electronic health records: early adopters in long-term care facilities. Health Care Manag Rev [Internet]. 2011 [cited 2016 Sep 10]; 36(3):265-74. Available from: https://www.ncbi.nlm.nih.gov/pubmed/21646885
  » https://www.ncbi.nlm.nih.gov/pubmed/21646885
• ³
  Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev Latino-Am Enfermagem [Internet]. 2015 [cited 2015 Sep 10]; 23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf
  » http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf
• ⁴
  Gonçalves MFS, David G. Planejamento e realização de estudo de (re)utilização da informação clínica em contexto hospitalar com base na metodologia quadripolar. Prisma [Internet]. 2014 [cited 2015 Sep 15]; 26:67-95. Available from: http://revistas.ua.pt/index.php/prismacom/article/view/3102/pdf_40
  » http://revistas.ua.pt/index.php/prismacom/article/view/3102/pdf_40
• ⁵
  Jiménez GJ. Clasificación de pacientes en los servicios de urgencias y emergencias: hacia un modelo de triaje estructurado de urgencias y emergências. Emerg [Internet]. 2003 [cited 2015 Sep 13]; 15:165-74. Available from: http://www.triajeset.com/acerca/archivos/revision_triaje_estructurado.pdf5
  » http://www.triajeset.com/acerca/archivos/revision_triaje_estructurado.pdf5
• ⁶
  Conselho Regional de Enfermagem de Santa Catarina. PARECER Nº 009/CT/2015/PT Autarquia Federal criada pela Lei Nº 5.905/73. Acolhimento com Classificação de Risco [Internet]. 2015 [cited 2015 Sep 13]. Available from: http://www.corensc.gov.br/wp-content/uploads/2015/07/Parecer-009-2015-Acolhimento-com-Classifica%C3%A7ao-de-Risco-CT-Alta-e-M%C3%A9dia-Complexidade.pdf
  » http://www.corensc.gov.br/wp-content/uploads/2015/07/Parecer-009-2015-Acolhimento-com-Classifica%C3%A7ao-de-Risco-CT-Alta-e-M%C3%A9dia-Complexidade.pdf
• ⁷
  Sperandio DJ. A tecnologia computacional móvel na sistematização da assistência de enfermagem: avaliação de um software-protótipo [Tese] [Internet]. Ribeirão Preto: Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo; 2008. [cited 2015 Sep 13]. Available from: http://www.teses.usp.br/teses/disponiveis/22/22132/tde-11092008-165036/publico/DirceleneJussaraSperandio.pdf
  » http://www.teses.usp.br/teses/disponiveis/22/22132/tde-11092008-165036/publico/DirceleneJussaraSperandio.pdf
• ⁸
  Associação Brasileira de Normas Técnicas. NBR ISO/ IEC 14598-1:2001: Tecnologia de informação: avaliação de produto de software. Parte 1: visão geral. Rio de Janeiro; 2001. 165p.
• ⁹
  Associação Brasileira de Normas Técnicas. NBR ISO/ IEC 9126-1:2003. Engenharia de software: qualidade de produto. Parte 1: modelo de qualidade. Rio de Janeiro; 2003. 21p.
• ¹⁰
  ISO/IEC 25010 - System and Software engineering - System and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Switzerland; 2011. 34p.
• ¹¹
  ISO/IEC 25040 - System and Software engineering - System and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Switzerland; 2011. 34p.
• ¹²
  Pereira IM, Gaidzinski RR, Fugulin FMT, Peres HHC, Lima AFC, Castilho V, et al. Computerized nursing staffing: a software evaluation. Rev Esc Enferm USP [Internet]. 2011 [cited 2015 Sep 10];45(Esp):1600-5. Available from: http://www.scielo.br/pdf/reeusp/v45nspe/en_v45nspea10.pdf
  » http://www.scielo.br/pdf/reeusp/v45nspe/en_v45nspea10.pdf
• ¹³
  Rangel AL, Évora YDM, Oliveira MMB. O processo de avaliação do software de geração automática de escala de trabalho da enfermagem e da escala por ele gerada. J Health Inform [Internet]. 2012 [cited 2015 Sep 13]; 200(4). Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
  » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
• ¹⁴
  Jensen R, Lopes MHBM, Silveira PSP, Ortega NRS. The development and evaluation of software to verify diagnostic accuracy. Rev Esc Enferm USP [Internet]. 2012 [cited 2016 Jul 10]; 46(1):178-85. Available from: http://www.scielo.br/pdf/reeusp/v46n1/en_v46n1a25.pdf
  » http://www.scielo.br/pdf/reeusp/v46n1/en_v46n1a25.pdf
• ¹⁵
  Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da técnica Delphi em pesquisa na enfermagem. Rev Rene [Internet]. 2012 [cited 2016 Jul 10]; 13(1):242-51. Available from: http://www.revistarene.ufc.br/revista/index.php/revista/article/download/36/31
  » http://www.revistarene.ufc.br/revista/index.php/revista/article/download/36/31
• ¹⁶
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet [Internet]. 2011 [cited 2015 Sep 13]; 16(7):3061-3068. Available from: http://www.scielo.br/pdf/csc/v16n7/06.pdf
  » http://www.scielo.br/pdf/csc/v16n7/06.pdf
• ¹⁷
  Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res [Internet]. 2003 [cited 2015 Dec 10]; 27(2):94-111. Available from: http://swr.oxfordjournals.org/content/27/2/94.abstract
  » http://swr.oxfordjournals.org/content/27/2/94.abstract
• ¹⁸
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet [Internet]. 2011 [cited 2015 Sep 13]; 16(7):3061-8. Available from: http://www.scielo.br/pdf/csc/v16n7/06.pdf
  » http://www.scielo.br/pdf/csc/v16n7/06.pdf
• ¹⁹
  Coluci MZO, Alexandre NMC. Development of a questionnaire to evaluate the usability of assessment instruments. Rev Enferm UERJ [Internet]. 2009 [cited 2015 Dec 10]; 17(3):378-82. Available from: http://www.facenf.uerj.br/v17n3/v17n3a14.pdf
  » http://www.facenf.uerj.br/v17n3/v17n3a14.pdf
• ²⁰
  Bellucci Jr JA, Vituri DW, Versa GLGS, Furuya OS, Vidor RC, Matsuda LM. Acolhimento com classificação de risco em serviço hospitalar de emergência: avaliação do processo de atendimento. Rev Enferm UERJ [Internet]. 2015 [cited 2016 Apr 4]; 23(1)82-7. Available from: http://www.facenf.uerj.br/v23n1/v23n1a14.pdf
  » http://www.facenf.uerj.br/v23n1/v23n1a14.pdf
• ²¹
  Souza AC, Milani D, Alexandre NMC. Adaptação cultural de um instrumento para avaliar a satisfação no trabalho. Rev Bras Saúde Ocup [Internet]. 2015 [cited 2016 Apr 4]; 40(132):219-27. Available from: http://www.scielo.br/pdf/rbso/v40n132/0303-7657-rbso-40-132-219.pdf
  » http://www.scielo.br/pdf/rbso/v40n132/0303-7657-rbso-40-132-219.pdf
• ²²
  Miranda MCG, Almeida BA, Aragão E, Guimarães JM. Política nacional de ciência, tecnologia e inovação em saúde e a necessidade de educação permanente. Rev Baiana Saúde Pública [Internet]. 2012 [cited 2016 Apr 4]; 36(1):82-9. Available from: http://inseer.ibict.br/rbsp/index.php/rbsp/article/viewFile/238/210
  » http://inseer.ibict.br/rbsp/index.php/rbsp/article/viewFile/238/210
• ²³
  Perez Jr EF, Oliveira EB, Souza NVDO, Lisboa MTL, Silvino ZR. Segurança no desempenho e minimização de riscos em terapia intensiva: tecnologias duras. Rev Enferm UERJ [Internet]. 2014 [cited 2016 Apr 4]; 22(3):327-33. Available from: http://www.facenf.uerj.br/v22n3/v22n3a06.pdf
  » http://www.facenf.uerj.br/v22n3/v22n3a06.pdf
• ²⁴
  Oliveira AM, Danski MTR, Pedrolo E. Technological innovation for peripheral venipuncture: ultrasound training. Rev Bras Enferm [Internet]. 2016 [cited 2016 Jan 10]; 69(6):990-6. Available from: http://www.scielo.br/pdf/reben/v69n6/en_0034-7167-reben-69-06-1052.pdf
  » http://www.scielo.br/pdf/reben/v69n6/en_0034-7167-reben-69-06-1052.pdf
• ²⁵
  Rondon EC, De Novais MAP, Nappo SA. A importância da informática em saúde na educação superior nos cursos da área da saúde. Rev Eletrôn Gestão Saúde [Internet]. 2013 [cited 2016 Apr 4];Edição Especial (Março):1653-66. Available from: http://www.gestaoesaude.unb.br/index.php/gestaoesaude/article/view/361/pdf_1
  » http://www.gestaoesaude.unb.br/index.php/gestaoesaude/article/view/361/pdf_1

Datas de Publicação

• Publicação nesta coleção
  May-Jun 2018

Histórico

• Recebido
  28 Mar 2017
• Aceito
  21 Maio 2017