Evaluación del desempeño funcional y calidad técnica de un Sistema de Documentación Electrónica del Proceso de Enfermería¹

Resúmenes

Objetivo:

evaluar el desempeño funcional y la calidad técnica del Sistema de Documentación Electrónica del Proceso de Enfermería del Hospital Universitario de la Universidad de Sao Paulo.

Método:

estudio exploratorio descriptivo. Se utilizó el Modelo de Calidad de la norma 25010 y el Proceso de Evaluación definido en la norma 25040, ambas de la International Organization for Standardization/International Electrotechnical Commission (Organización Internacional para Estandarización/Comisión Electrotécnica Internacional). Las características de calidad evaluadas fueron: adecuación funcional, confiabilidad, usabilidad, eficiencia de desempeño, compatibilidad, seguridad, facilidad de mantenimiento y portabilidad. La muestra fue constituida por 37 evaluadores.

Resultados:

en la evaluación de los especialistas en informática, apenas la característica usabilidad obtuvo menos de 70% de respuestas positivas. Para los enfermeros docentes, todas las características de calidad obtuvieron arriba de 70% de respuestas positivas. Los enfermeros asistenciales de las clínicas médica y quirúrgica (con experiencia en el uso del sistema) y enfermeros asistenciales de otras unidades del hospital y de otras instituciones de salud (sin experiencia en el uso del sistema) obtuvieron más de 70% de respuestas positivas referentes a la adecuación funcional, usabilidad y seguridad. Entre tanto, la eficiencia de desempeño, la confiabilidad y la compatibilidad obtuvieron índices abajo del parámetro establecido.

Conclusión:

el software alcanzó más de 70% de respuestas positivas en la mayoría de las características de calidad evaluadas.

Informática Aplicada a la Enfermería; Programas Informáticos; Evaluación de la Tecnología Biomédica; Diagnóstico de Enfermería

Objective:

To evaluate the functional performance and the technical quality of the Electronic Documentation System of the Nursing Process of the Teaching Hospital of the University of São Paulo.

Method:

exploratory-descriptive study. The Quality Model of regulatory standard 25010 and the Evaluation Process defined under regulatory standard 25040, both of the International Organization for Standardization/International Electrotechnical Commission. The quality characteristics evaluated were: functional suitability, reliability, usability, performance efficiency, compatibility, security, maintainability and portability. The sample was made up of 37 evaluators.

Results:

in the evaluation of the specialists in information technology, only the characteristic of usability obtained a rate of positive responses of less than 70%. For the nurse lecturers, all the quality characteristics obtained a rate of positive responses of over 70%. The staff nurses of the medical and surgical clinics with experience in using the system) and staff nurses from other units of the hospital and from other health institutions (without experience in using the system) obtained rates of positive responses of more than 70% referent to the functional suitability, usability, and security. However, performance efficiency, reliability and compatibility all obtained rates below the parameter established.

Conclusion:

the software achieved rates of positive responses of over 70% for the majority of the quality characteristics evaluated.

Nursing Informatics; Software; Technology Assessment, Biomedical; Nursing Diagnosis

Objetivo:

avaliar o desempenho funcional e a qualidade técnica do Sistema de Documentação Eletrônica do Processo de Enfermagem do Hospital Universitário da Universidade de São Paulo.

Método:

estudo exploratório-descritivo. Utilizou-se o Modelo de Qualidade da norma 25010 e o Processo de Avaliação definido na norma 25040, ambas da International Organization for Standardization/International Electrotechnical Commission (Organização Internacional para Padronização/Comissão Eletrotécnica Internacional). As características de qualidade avaliadas foram: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, compatibilidade, segurança, manutenibilidade e portabilidade. A amostra foi constituída por 37 avaliadores.

Resultados:

na avaliação dos especialistas em informática, apenas a característica usabilidade obteve menos de 70% de respostas positivas. Para os enfermeiros docentes, todas as características de qualidade obtiveram acima de 70% de respostas positivas. Os enfermeiros assistenciais das clínicas médica e cirúrgica (com experiência no uso do sistema) e enfermeiros assistenciais de outras unidades do hospital e de outras instituições de saúde (sem experiência no uso do sistema) obtiveram mais de 70% de respostas positivas referentes à adequação funcional, usabilidade e segurança. Entretanto, eficiência de desempenho, confiabilidade e compatibilidade obtiveram índices abaixo do parâmetro estabelecido.

Conclusão:

o software atingiu mais de 70% de respostas positivas na maioria das características de qualidade avaliadas.

Informática em Enfermagem; Software; Avaliação da Tecnologia Biomédica; Diagnóstico de Enfermagem

Introducción

La utilización de sistemas computacionales y software ha crecido rápidamente en todos los sectores de actividades de la sociedad, alcanzando un número cada vez mayor de usuarios. El software es utilizado en las áreas de educación, entretenimiento, transporte, comunicación, sistema financiero, medio ambiente, industria, comercio, medicina y muchas otras.

La calidad de los sistemas de información de la salud es una preocupación en todo el mundo; así, una serie de iniciativas están siendo realizadas en países como Estados Unidos, Canadá e Inglaterra, para promover la seguridad en la concepción, adquisición e implantación de la tecnología de información en el área de la salud⁽¹⁾.

En Brasil, la implantación de herramientas computacionales integradas al Registro Electrónico de la Salud (RES) para documentar el Proceso de Enfermería (PE) es un proceso gradual y se encuentra en diferentes etapas de implementación.

En ese contexto, el Hospital Universitario (HU) de la Universidad de Sao Paulo (USP) en asociación con la Escuela de Enfermería de la USP (EEUSP) desarrolló el Sistema de Documentación Electrónica del Proceso de Enfermería de la Universidad de Sao Paulo (PROCEnf-USP^(r)), utilizando las clasificaciones de la NANDA-I (NANDA - International), NIC(Nursing Interventions Classification) y NOC (Nursing Outcomes Classification)⁽²⁾.

Se considera que el desarrollo de este software representa un avance para la enfermería por la utilización de sistemas de lenguaje estandarizados que servirán para demostrar la contribución de la enfermería para la salud de los individuos, permitiendo medir tanto la eficacia clínica, como el costo del cuidado de enfermería.

Sin embargo, asegurar la calidad de ese sistema es un importante desafío y meta, debido a la responsabilidad con los usuarios y pacientes. Se piensa que una nueva tecnología puede traer profundas transformaciones y que un sistema puede ser considerado bien sucedido cuando satisface las necesidades de los usuarios, es fácil de usar, no es propenso a sufrir fallas y modifica las cosas para mejor⁽³⁾.

El PROCEnf-USP^(r) fue evaluado durante la fase de implantación y los enfermeros juzgaron ítems como: confort visual, manoseo del sistema, documentación, informaciones y contenido. Los enfermeros evaluaron positivamente el sistema, principalmente, por el hecho de contribuir para el raciocinio clínico del enfermero y relacionar diagnósticos, resultados e intervenciones⁽⁴⁾.

En el escenario internacional, experiencias de administradores, gerentes de enfermería, enfermeros y otros usuarios con la implementación de RES, evidenciaron el alcance de los avances operacionales por medio del mayor acceso a la información, aumento de la precisión de la documentación, implementación de la práctica basada en evidencias, disminución de costos, así como de mejorías en la calidad de los cuidados y mayor satisfacción de los funcionarios. Se destaca, también, la evaluación positiva de los administradores en relación al retorno de las inversiones⁽⁵⁾.

Un estudio sobre la evaluación de las alteraciones en la calidad del procesamiento de información en enfermería, inmediatamente antes y un año después de la introducción de un sistema informatizado de enfermería, concluyó que hubo una mejoría significativa en la calidad de la documentación de enfermería, así como de soporte durante la anamnesis del paciente y la planificación de la asistencia. Los autores observaron falta de clareza en lo que se refiere al tiempo utilizado en la documentación electrónica de enfermería y el impacto en la asistencia al paciente⁽⁶⁾.

Uno de los abordajes para evaluación de la tecnología de la información es la utilización de normas de calidad elaboradas y revisadas por la ISO - International Organization for Standardization y IEC - International Electrotechnical Commission. Las series ABNT (Asociación Brasileña de Normas Técnicas) Norma Brasileña (NBR) ISO/IEC 9126⁽⁷⁾ y ISO/IEC 14598⁽⁸⁾ tratan de la calidad de los productos de software. En 2011 esas normas fueron reestructuradas y recibieron las denominaciones ISO/IEC 25010 - System and Software Engineering - (SQuaRE) - System and software Quality models ⁽⁹⁾ e ISO/IEC 25040 System and Software Engineering - (SQuaRE) - Evaluation Process ⁽¹⁰⁾.

En Brasil, esas normas fueron utilizadas para evaluar la calidad técnica y el desempeño funcional de un software prototipo para la documentación del PE, contribuyendo para identificar la calidad del sistema y elucidar las necesidades de introducir mejorías para potencializar el uso de la herramienta⁽³⁾.

Delante de lo expuesto, se considera fundamental realizar una evaluación del sistema PROCEnf-USP(r) después de su implantación, objetivando medir el desempeño del sistema y la satisfacción del usuario. Además de eso, identificar posibles fallas técnicas y limitaciones para que sean realizadas mejorías en el producto final.

Así, este estudio tuvo por objetivo evaluar el desempeño funcional y la calidad técnica del sistema PROCEnf-USP(r), utilizando el Modelo de Calidad de Producto de la norma ISO/IEC 25010⁽⁹⁾ y el Proceso de Evaluación de la norma ISO/IEC 25040⁽¹⁰⁾.

Método

La implantación del sistema PROCEnf-USP^(r) ocurrió en 2009, en las unidades de Clínica Médica y Clínica Quirúrgica del HU-USP. Esas dos clínicas fueron escogidos por ser unidades de internación de pacientes adultos con el PE fuertemente consolidado, pudiendo facilitar que los resultados de la implantación fuesen replicados en las demás unidades del hospital.

Las principales características del PROCEnf-USP^(r) se refieren a la posibilidad de acceder a dos ambientes: profesional y académico. El ambiente profesional es de uso exclusivo en el hospital para la documentación clínica real. El ambiente académico puede ser accedido tanto del hospital como de la EEUSP, este permite la creación de pacientes ficticios para favorecer el aprendizaje por medio de la simulación de situaciones de enseñanza con las mismas características de la documentación real. Otro destaque es que se caracteriza por ser un sistema de apoyo a la decisión que auxilia el raciocinio clínico del enfermero por tener la capacidad de generar sugestiones de diagnósticos, de resultados y de intervenciones de enfermería a partir de los datos de la evaluación⁽²⁾.

Se trata de un estudio exploratorio descriptivo. La muestra fue intencional y no probabilística, constituida por 37 (treinta y siete) evaluadores, siendo ocho (8) especialistas en informática, ocho (8) enfermeros docentes, trece (13) enfermeros asistenciales de las clínicas médica y clínica quirúrgica (con experiencia en el uso del PROCEnf-USP^(r)) y ocho (8) enfermeros asistenciales de otras unidades del HU-USP y de otras instituciones de salud (sin experiencia en el uso del referido sistema).

Los criterios de inclusión fueron: 1) Especialistas en informática a) tener por lo menos el título de especialista en informática; b) tener experiencia profesional en análisis de sistemas. 2) Enfermeros docentes: a) tener por lo menos el título de especialista en enfermería; b) ser docente en institución de enseñanza superior de enfermería; c) ministrar disciplinas o participar de grupos de estudio relacionados con el PE. 3) Enfermeros asistenciales de las clínicas médica y quirúrgica: a) ser enfermero actuando en el área asistencial; b) tener por lo menos el título de especialista en enfermería; c) utilizar el sistema PROCEnf-USP^(r) en la asistencia, d) tener experiencia con la utilización del PE. 4) Enfermeros asistenciales de otras unidades: a) ser enfermero asistencial de las unidades del HU-USP que no utilizan el sistema PROCEnf-USP^(r) en la asistencia o ser enfermero asistencial de otras instituciones de salud; b) tener por lo menos el título de especialista en enfermería; c) tener experiencia con la utilización del PE.

La primera etapa del Proceso de Evaluación fue la selección del Modelo de Calidad de Producto de la norma ISO/IEC 25010⁽⁹⁾ que especifica ocho características de calidad, las cuales son subdivididas en subcaracterísticas, que son las siguientes: adecuación funcional (integridad funcional, corrección funcional y aptitud funcional); eficiencia de desempeño (tiempo, recursos y capacidad); compatibilidad (coexistencia e interoperabilidad); usabilidad (reconocimiento de adecuación, facilidad de aprendizaje, protección contra error, facilidad de operación, estética de la interface del usuario y accesibilidad); confiabilidad (madurez, tolerancia a fallas, facilidad de recuperación y disponibilidad); seguridad (confidencialidad, integridad, no repudio, responsabilidad y autenticación); facilidad de manutención: (facilidad de análisis, facilidad de modificación, modularidad, reusabilidad, facilidad para realizar test); portabilidad (adaptabilidad, capacidad de ser instalado y capacidad de ser substituido). Esas dos últimas características fueron evaluadas apenas por los especialistas en informática.

Las características y subcaracterísticas de calidad fueron evaluadas por medio de preguntas claves, adaptadas del instrumento de evaluación utilizado por Sperandio⁽³⁾. Con la actualización de la norma, nuevas características fueron acrecentadas y otras recibieron nombres más precisos. Debido a esa alteración, fue necesario acrecentar nuevas preguntas a los instrumentos de evaluación. Para eso, se utilizó el Manual de Certificación SBIS/CFM, principalmente para las preguntas de la característica seguridad.

En la segunda etapa de la evaluación, fueron definidos los niveles de puntuación y los criterios para el juzgamiento. Los especialistas atribuyeron, a cada pregunta de los instrumentos de evaluación, las siguientes puntuaciones: A (Acuerdo); D (Desacuerdo), NA (No se Aplica). Puntuación A significa que el PROCEnf-USP(r) atiende el requisito; D no atiende el requisito y NA corresponde al atributo que no fue evaluado o fue considerado no aplicable al software. Los ítems evaluados en Desacuerdo fueron justificados por escrito por los evaluadores para identificar las necesidades de mejorías en el PROCEnf-USP^(r).

Para obtener los valores de las características de calidad, después de la aplicación de los instrumentos de evaluación, se adaptó la fórmula para el cálculo de las características y subcaracterísticas propuesta en la norma ABNT NBR ISO/IEC 14598-6 Anexo C (Informativo)⁽¹¹⁾: Vc = ∑ Vsc/nsc y Vsc = ∑ m/ (n-nd). En donde: Vc es el valor medido de la característica; Vsc es el valor medido de la subcaracterística; nsc es el número de subcaracterísticas; m es 1, si la respuesta es positiva, en caso contrario es 0; n es el número total de medidas; nd es el número de preguntas descartadas.

Con base en esta fórmula para el cálculo de las características, las respuestas No se Aplica fueron descartadas, ya que los especialistas no consiguieron evaluar, sea por falta de recursos, falta de informaciones, o hasta mismo por falta de conocimiento específico sobre el asunto abordado. Ese tipo de respuesta no puntúa y no puede perjudicar la evaluación del producto.

La tabulación de los datos y el cálculo de las características fueron realizados utilizando la herramienta Excel^(r). El criterio para juzgamiento de los resultados obtenidos se basó en la escala de evaluación para subcaracterísticas propuesta en la norma ABNT NBR ISO/IEC 14598-6 Anexo C (Informativo)⁽¹¹⁾, adaptada por Sperandio⁽³⁾, que indica los valores esperados para cada una de las características y subcaracterísticas. El valor esperado era que cada característica evaluada obtuviese más de 70% de respuestas positivas.

En la tercera etapa fue producido el plan de evaluación. Los evaluadores fueron convidados a participar de la investigación por medio de una Carta de Invitación, enviada por e-mail. Después de firmar el Término de Consentimiento Libre e Informado (TCLI), fueron enviadas las instrucciones para realizar la evaluación, el link para acceder al sistema PROCEnf-USP^(r) por la internet, la seña de evaluador para acceso exclusivo al ambiente académico del sistema, y la matrícula de un paciente ficticio. Con excepción de los enfermeros de las clínicas médica y quirúrgica, que ya utilizaban el sistema, fue enviado para los evaluadores un manual para utilización del sistema PROCEnf-USP^(r), creado por el grupo administrador. Cada evaluador recibió un caso clínico, de uso opcional, para hacer la evaluación del sistema.

La evaluación propiamente dicha fue realizada por los especialistas por medio de los Instrumentos de Evaluación que fueron enviados por la internet, utilizando la herramienta on-line del cuestionario SurveyMonkey (r). Las respuestas de los evaluadores fueron obtenidas automáticamente por medio de esta herramienta de recolección de datos. El período de recolección de datos fue de diciembre de 2011 a julio de 2012. Ese plazo fue necesario para obtener el número mínimo de ocho evaluadores para cada categoría, conforme recomendado por la norma ABNT NBR ISO/IEC 14598-6⁽¹¹⁾.

En la cuarta etapa, fueron obtenidas las medidas, realizada la comparación con los criterios y juzgado los resultados. En la quinta etapa, fueron analizados los resultados de la evaluación cuya conclusión fue la declaración de la calidad del sistema PROCEnf-USP^(r).

El proyecto fue aprobado en 2011 en los Comités de Ética en Investigación de la EEUSP (institución proponente) y del HU-USP (institución copartícipe), con los respectivos registros: CEP nº 1031/2011, y CEP nº 1132/11, SISNEP CAAE: 0037.0.196.196.11.

Resultados

Se observa en la Tabla 1 que, en la evaluación de los especialistas en informática, todas las características obtuvieron abajo de 70% de respuestas Acuerdo. La facilidad de manutención y la portabilidad obtuvieron arriba de 50% de respuestas No se Aplica. La usabilidad tuvo la mayor frecuencia de respuestas en Desacuerdo.

Tabla 1 -
Distribución de las frecuencias de las respuestas relativas a la evaluación de las características de calidad del PROCENF-USP(r) por los especialistas en informática (N=8), Sao Paulo, SP, Brasil, 2012

Características	Acuerdo			Desacuerdo			No sé Aplica			Total
	n	%		n	%		n	%		n	%
Adecuación Funcional	31	65		3	6		14	29		48	100
Confiabilidad	16	50		5	16		11	34		32	100
Usabilidad	58	56		35	34		11	10		104	100
Eficiencia de Desempeño	32	67		6	12		10	21		48	100
Compatibilidad	12	50		2	8		10	42		24	100
Seguridad	40	56		5	7		27	37		72	100
Facilidad de manutención	14	35		1	2		25	63		40	100
Portabilidad	11	46		1	4		12	50		24	100

Se observa en la Tabla 2 que, en la evaluación de los docentes, la mayoría de las características de calidad puntuó arriba de 70% de respuestas Acuerdo, excepto compatibilidad que obtuvo apenas 38%. Entre tanto, se verifica que este ítem obtuvo 50% de respuestas No se Aplica. Usabilidad obtuvo la mayor frecuencia de respuestas Desacuerdo.

Tabla 2 -
Distribución de las frecuencias de las respuestas relativas a la evaluación de las características de calidad del PROCENF-USP(r) por los enfermeros docentes (N=8), Sao Paulo, SP, Brasil, 2012

Características	Acuerdo			Desacuerdo			No sé Aplica			Total
	n	%		n	%		n	%		n	%
Adecuación Funcional	44	92		4	8		0	0		48	100
Confiabilidad	24	75		3	9		5	16		32	100
Usabilidad	83	80		16	15		5	5		104	100
Eficiencia de Desempeño	29	73		7	17		4	10		40	100
Compatibilidad	9	38		3	12		12	50		24	100
Seguridad	45	80		0	0		11	20		56	100

Se observa en la Tabla 3 que, en la evaluación de los enfermeros asistenciales de las Clínicas Médica y Quirúrgica, la mitad de las características de calidad puntuó arriba de 70% de respuestas Acuerdo. Eficiencia de desempeño, confiabilidad y compatibilidad no alcanzaron los 70% de respuestas Acuerdo. Hubo pocas respuestas No se Aplica.

Tabla 3 -
Distribución de las frecuencias de las respuestas relativas a la evaluación de las características de calidad del PROCENF-USP(r) por los enfermeros asistenciales de las Clínicas Médica y Quirúrgica (N=13), Sao Paulo, SP, Brasil, 2012

Características	Acuerdo			Desacuerdo			No sé Aplica			Total
	n	%		n	%		n	%		n	%
Adecuación Funcional	63	81		14	18		1	1		78	100
Confiabilidad	35	67		16	31		1	2		52	100
Usabilidad	139	82		25	15		5	3		169	100
Eficiencia de Desempeño	30	46		34	52		1	2		65	100
Compatibilidad	24	62		15	38		0	0		39	100
Seguridad	89	98		2	2		0	0		91	100

Conforme la Tabla 4, apenas dos características de calidad obtuvieron arriba de 70% de respuestas Acuerdo. Eficiencia de desempeño y usabilidad obtuvieron la mayor frecuencia de puntuación en Desacuerdo. Compatibilidad obtuvo 45% de respuestas No se Aplica.

Tabla 4 -
Distribución de las frecuencias de las respuestas relativas a la evaluación de las características de calidad del PROCENF-USP(r) por los enfermeros asistenciales de otras unidades (N=8), Sao Paulo, SP, Brasil, 2012

Características	Acuerdo		Desacuerdo		No se Aplica		Total
	f	%	f	%	f	%	f	%
Adecuación Funcional	36	75	5	10	7	15	48	100
Confiabilidad	14	44	9	28	9	28	32	100
Usabilidad	68	66	17	16	19	18	104	100
Eficiencia de Desempeño	17	43	20	50	3	7	40	100
Compatibilidad	9	38	4	17	11	45	24	100
Seguridad	48	86	0	0	8	14	56	100

En la Tabla 5, conforme descrito en la metodología, las respuestas No se Aplica fueron descartadas, ya que no eran aplicables al sistema o no pudieron ser evaluadas por los especialistas. Se observa que, en la evaluación de los especialistas en informática, apenas la característica usabilidad obtuvo menos de 70% de respuestas positivas. Para los enfermeros docentes todas las características de calidad obtuvieron arriba de 70% de respuestas positivas. Para los enfermeros asistenciales de las clínicas médica y quirúrgica y para los enfermeros asistenciales de otras unidades, adecuación funcional, usabilidad y seguridad obtuvieron más de 70% de respuestas positivas; entre tanto, eficiencia de desempeño, confiabilidad y compatibilidad obtuvieron índices abajo del parámetro establecido.

Tabla 5 -
Distribución de respuestas relativas a las características de calidad del PROCENF-USP(r) dadas por los especialistas en informática, enfermeros docentes, enfermeros de las clínicas médica y quirúrgica y enfermeros de otras unidades, Sao Paulo, SP, Brasil, 2012

Características	Especialista en informática			Enfermero Docente			Enfermero Cl. Médica y Quirúrgica			Enfermero Otras Unidades
	Acuerdo	Desacuerdo		Acuerdo	Desacuerdo		Acuerdo	Desacuerdo		Acuerdo	Desacuerdo
Adecuación Funcional	91%	9%		92%	8%		82%	18%		88%	12%
Confiabilidad	76%	24%		89%	11%		69%	31%		61%	39%
Usabilidad	62%	38%		84%	16%		85%	15%		80%	20%
Eficiencia de Desempeño	84%	16%		81%	19%		47%	53%		46%	54%
Compatibilidad	86%	14%		75%	25%		62%	38%		69%	31%
Seguridad	89%	11%		100%	0%		98%	2%		100%	0%
Facilidad de manutención	93%	7%		-	-		-	-		-	-
Portabilidad	92%	8%		-	-		-	-		-	-

Discusión

La evaluación del PROCEnf-USP^(r) fue realizada por profesionales de diferentes áreas del conocimiento y los resultados indicaron índices de calidad del sistema en cada atributo considerado. Se evidenció que, del punto de vista funcional, el PROCEnf-USP^(r) es una herramienta computacional que atiende a las necesidades de los usuarios, permite la aplicación del PE de forma correcta y facilita su ejecución. Ese nivel de calidad es alcanzado cuando las funcionalidades del sistema atienden a lo que fue solicitado en sus requisitos.

Se piensa que ese éxito fue resultado de la participación de: gerencia de enfermería, enfermeros asistenciales, administradores del hospital, y también docentes de la EEUSP, en el desarrollo del PROCEnf-USP^(r).

La revisión de la literatura sobre la utilización del RES en la enfermería demuestra que los enfermeros están insatisfechos con los sistemas, ya que no fueron proyectados para atender a las necesidades de la práctica clínica, evaluando como condición esencial la participación de esos profesionales directamente en el desarrollo, planificación y design del software para garantizar la complejidad y la esencialidad de la profesión⁽¹²⁾.

Para priorizar las mejorías en el PROCEnf-USP^(r), se analizó la frecuencia de los ítems en desacuerdo y se constató que estaban relacionados a las características usabilidad, eficiencia de desempeño y confiabilidad.

La percepción de los enfermeros sobre los puntos fuertes y limitaciones de los RES para documentar eventos clínicos apunta aspectos de usabilidad como puntos positivos y como sugestiones para mejorar el sistema la falta de relevancia de la documentación y las barreras en la comunicación⁽¹³⁾.

La evaluación de usabilidad de una herramienta computacional para la enseñanza de enfermería en terapia intensiva, realizada por alumnos de graduación, destacó puntos positivos en relación a la facilidad en el uso y en la visualización de las pantallas. Sin embargo, el ítem satisfacción con el desempeño en la simulación no obtuvo valor satisfactorio, sugiriendo mejorías en la usabilidad⁽¹⁴⁾.

Algunas investigaciones que utilizan métodos de evaluación heurísticos para el análisis de los sistemas de registro electrónico de enfermería, con lenguaje estandarizada, demostraron que esos sistemas presentan problemas de usabilidad con efectos negativos sobre la práctica de documentación del enfermero y el trabajo de enfermería⁽¹⁵⁾.

Además, en relación a la usabilidad, esos métodos específicos de evaluación de la efectividad, eficiencia y satisfacción han identificado problemas del software que pueden conducir a ineficiencias operacionales y a errores en la codificación de datos, lo que puede traer consecuencias serias para la salud⁽¹⁶⁾.

Los resultados de la característica eficiencia de desempeño demostraron que los usuarios del sistema desean un software más rápido en el tiempo de respuesta y procesamiento de los datos. El sistema debe permitir que los enfermeros realicen tareas cotidianas mediante un número mínimo de pasos. Precisan tener mecanismos de eficiencia, evitando trabajo desnecesario y facilitando el rescate de datos. Se evidenció también en las justificativas de las respuestas en Desacuerdo la necesidad de realizar inversiones en equipamientos, tales como computadores e impresoras.

En ese sentido, cabe considerar que el proceso de implantación y manutención de un sistema informatizado significan costos y requieren dirigir esfuerzos concentrados en que participan variables estructurales, procesuales y financieras. Además de eso, exige de las gerencias de los departamentos/servicios de enfermería una preocupación continua en cómo los recursos son distribuidos y verificar los costos para la institución con esos procesos.

La característica confiabilidad necesita de mejorías, ya que todavía presenta algunas deficiencias en la recuperación de datos afectados por fallas y trabamientos del sistema. La característica compatibilidad, especialmente en la subcaracterística interoperabilidad, obtuvo alto índice de Desacuerdo en la evaluación de los enfermeros de las Clínicas Médica y Quirúrgica. Eso evidenció la necesidad de introducir mejorías en el nivel de comunicabilidad del PROCEnf-USP^(r) con otros sistemas del hospital y en la capacidad de transferir datos e intercambio de comandos.

Considerando que el uso significativo de los registros electrónicos en el área de la salud se tornó omnipresente en el vocabulario de la tecnología de la información de la salud y que la información tiene que fluir - la interoperabilidad entre los sistemas es esencial. Ella torna la comunidad de la salud más integrada, permitiendo que los datos sean compartidos entre los diversos profesionales de la salud, los pacientes y la familia, y además permite que los proveedores de la salud puedan analizar e intercambiar datos entre las organizaciones⁽¹⁷⁾.

Las características facilidad de manutención y portabilidad alcanzaron el porcentaje necesario en las características evaluadas, entre tanto se observó un alto porcentaje de respuestas No se Aplica. Este resultado fue semejante a los obtenidos en el estudio realizado por Sperandio⁽³⁾ en esas dos características.

La compatibilidad también obtuvo muchas respuestas del tipo No se Aplica, excepto en la evaluación de los enfermeros de las clínicas Médica y Quirúrgica. Ese tipo de respuesta es poco deseable, ya que significa que los recursos disponibles fueron insuficientes para realizar la evaluación, siendo esta una limitación de este estudio.

Conclusión

El desarrollo de esta investigación posibilitó evaluar la calidad técnica y el desempeño funcional del software PROCEnf-USP^(r); los resultados obtenidos demostraron la calidad del sistema en cada atributo considerado. Se concluye que el sistema PROCEnf-USP(r) se destacó en cinco características de calidad: adecuación funcional, usabilidad, seguridad, facilidad de manutención y portabilidad.

El proceso de perfeccionar el sistema es continuo, con propuestas de: implantación en otras unidades asistenciales del hospital; integración con los datos administrativos de recursos humanos e indicadores de calidad; interoperabilidad con sistemas de materiales; sistema de pacientes y exámenes; y dimensionamiento informatizado de profesionales de enfermería, entre otros. Se cree que, en un futuro próximo, la documentación electrónica estandarizada permitirá el acceso remoto y simultáneo de datos entre los profesionales de la salud y las diferentes organizaciones. Ese hecho mejorará la asistencia prestada al paciente y auxiliará en el desarrollo de protocolos de atención e investigaciones.

En ese contexto, esa investigación contribuirá para el perfeccionamiento de los sistemas desarrollados para documentar el PE. Este estudio no se encierra con este informe de investigación, más bien abre camino para nuevas investigaciones con la participación de los enfermeros en el proceso de evaluación de software en el área de la enfermería.

References

• ¹
  Kushniruk AW, Bates DW, Bainbridge M, Househ MS, Borycki EM. National efforts to improve health information system safety in Canada, the United States of America and England. Int J Med Inform. 2013;82(5):149-60.
• ²
  Peres HHC, Cruz DALM, Lima AFC, Gaidzinski RR, Ortiz DCF, Trindade MM, et al. Desenvolvimento de Sistema Eletrônico de Documentação Clínica de Enfermagem estruturado em diagnósticos, resultados e intervenções. Rev Esc Enferm USP. [Internet]. 2009 dez. [acesso 28 jul 2010]; 43(n spec 2):1149-55. Disponível em: http://dx.doi.org/10.1590/S0080-62342009000600002
  » http://dx.doi.org/10.1590/S0080-62342009000600002
• ³
  Sperandio DJ. A tecnologia computacional móvel na sistematização da assistência de enfermagem: avaliação de um software-protótipo [Internet]. Ribeirão Preto: Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo; 2008 [acesso 28 set 2009]. 141p. Disponível em: http://www.teses.usp.br/teses/disponiveis/22/22132/tde-11092008-165036/publico/DirceleneJussaraSperandio.pdf
  » http://www.teses.usp.br/teses/disponiveis/22/22132/tde-11092008-165036/publico/DirceleneJussaraSperandio.pdf
• ⁴
  Peres HHC, Lima AFC, Cruz DALM, Gaidzinski RR, Oliveira NB, Ortiz DCF et al. Assessment of an electronic system for clinical nursing documentation. Acta Paul Enferm. [Internet]. 2012 [acesso 23 maio 2014]; 25(4):543-8. Disponível em: http://dx.doi.org/10.1590/S0103-21002012000400010
  » http://dx.doi.org/10.1590/S0103-21002012000400010
• ⁵
  Cherry BJ, Ford EW, Peterson LT. Experiences with electronic health records: Early adopters in long-term care facilities. Health Care Manage Rev. 2011;36(3):265-74.
• ⁶
  Ammenwerth E, Rauchegger F, Ehlers F, Hirsch B, Schaubmayr C. Effect of a nursing information system on the quality of information processing in nursing: an evoluation study using the HIS-monitor instrument. Int J Med Informatics. 2011;80(1):25-38.
• ⁷
  Associação Brasileira de Normas Técnicas. NBR ISO/IEC 9126-1:2003: engenharia de software: qualidade de produto. Parte 1: modelo de qualidade. Rio de Janeiro; 2003.
• ⁸
  Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-1:2001: tecnologia de informação: avalição de produto de software. Parte 1: visão geral. Rio de Janeiro; 2001.
• ⁹
  ISO/IEC 25010 - System and Software engineering - System and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Switzerland; 2011.
• ¹⁰
  ISO/IEC 25040 - System and Software engineering - System and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Switzerland; 2011.
• ¹¹
  Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro; 2004.
• ¹²
  Stevenson JE, Nilsson GC, Petersson GI, Johansson PE. Nurse´s experience of using electronic patient records in everyday practice in acute/inpatient ward settings: A literature review. Health Informatics J. 2010;16(1):63-72.
• ¹³
  Carrington JM, Effken JA. Strengths and Limitations of the Electronic Health Record for Documenting Clinical Events. Nurs Comput Inform. 2011; 29(6):360-7.
• ¹⁴
  Barbosa SFF, Marin HF. Web-based simulation: a toll for teaching critical care nursing. Rev. Latino-Am. Enfermagem. 2009;17(1):7-13.
• ¹⁵
  Viitanen J, Kuusisto A, Nykänen P. Usability of electronic nursing record systems: Definition and results from an evaluation study in Finland. Stud Health Technol Inform. 2011;164:333-8.
• ¹⁶
  Hall AS, Kushniruk AW, Borycki EM. Usability analysis of the tele-nursing call management software at HealthLink BC. Stud Health Technol Inform. 2011;164:208-12.
• ¹⁷
  Martin KS, Monsen KA, Bowels KH. The Omaha system and meaningful use: applications for practice, education, and research. Comput Inform Nurs. 2011;29(1):52-8.

• 1
  Artículo parte de la disertación de maestría "Evaluacion de la calidad del registro electronico del proceso de enfermera", presentada en la Escola de Enfermagem, Universidade de São Paulo, São Paulo, SP, Brasil. Apoyo financiero del Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), proceso nº 473420/2011-2

Fechas de Publicación

• Publicación en esta colección
  14 Abr 2015
• Fecha del número
  Feb-Apr 2015

Histórico

• Recibido
  11 Nov 2013
• Acepto
  04 Dic 2014