Sistema de recepción y clasificación de riesgos en obstetricia: evaluación de calidad técnica* * Artículo parte de la disertación de maestria “Desenvolvimento e avaliação de um sistema de apoio a decisão para acolhimento e classificação de risco em obstetrícia”, presentada en la Universidade Estadual Paulista “Júlio de Mesquita Filho”, Faculdade de Medicina de Botucatu, Botucatu, SP, Brasil.

Rodolfo Cristiano Serafim Milena Jamas Temer Cristina Maria Garcia de Lima Parada Heloisa Helena Ciqueto Peres Clarita Terra Rodrigues Serafim Rodrigo Jensen Acerca de los autores

Resúmenes

Objective:

to assess the technical quality of a decision support system for reception and risk classification in obstetrics.

Method:

a methodological study of assessment of the system. 12 nurses and 11 information technology (IT) professionals were invited to evaluate the Obstetrics Reception and Risk Classification System (Sistema de Acolhimento e Classificação de Risco em Obstetrícia, SACR-O). Based on the standards of the International Organization for Standardization, the minimum number of evaluators and the characteristics to be evaluated were established: functional suitability, reliability, usability, performance efficiency, compatibility, safety, maintainability, and portability. The characteristics assessed should be given a ≥70% positive assessment to be considered suitable.

Results:

the characteristics assessed by the nurses and the IT professionals, respectively, were considered adequate: Functional suitability (97% and 98%), Reliability (91% and 94%), Usability (89% and 93%), Performance efficiency (97% and 98%), Compatibility (93% and 100%), and System security (95% and 97%). Maintainability (87%) and Portability (97%) were also evaluated by IT professionals.

Conclusion:

the technical quality of the SACR-O system was considered excellent by nurses and IT professionals.

Descriptors:
Nursing Informatics; Health Information Systems; Technology Assessment, Biomedical; Emergency Care; Obstetric Nursing; User Embracement


Objetivo:

avaliar a qualidade técnica de um sistema de apoio à decisão para acolhimento e classificação de risco em obstetrícia.

Método:

estudo metodológico de avaliação de sistema. Foram convidados a avaliarem o Sistema de Acolhimento e Classificação de Risco em Obstetrícia (SACR-O) 12 enfermeiros e 11 profissionais de informática. A partir das normas da Organização Internacional de Normatização se estabeleceu o número mínimo de avaliadores e as características a serem avaliadas: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, compatibilidade, segurança, manutenibilidade e portabilidade. As características avaliadas deveriam ter avaliação positiva ≥70% para serem consideradas adequadas.

Resultados:

as características avaliadas por enfermeiros e profissionais de informática, respectivamente, foram consideradas adequadas, a saber: Adequação funcional (97% e 98%), Confiabilidade (91% e 94%), Usabilidade (89% e 93%), Eficiência de desempenho (97% e 98%), Compatibilidade (93% e 100%) e Segurança do sistema (95% e 97%). Por profissionais de informática foram também avaliadas as características de Manutenibilidade (87%) e Portabilidade (97%).

Conclusão:

a qualidade técnica do sistema SACR-O foi considerada como excelente por enfermeiros e profissionais de informática.

Descritores:
Informática em Enfermagem; Sistemas de Informação em Saúde; Avaliação da Tecnologia Biomédica; Atendimento de Emergência; Enfermagem Obstétrica; Acolhimento


Objetivo:

evaluar la calidad técnica de un sistema de soporte de decisiones para la recepción y clasificación de riesgos en obstetricia.

Método:

estudio metodológico de evaluación del sistema. Fueron invitados a evaluar el Sistema de Recepción y Clasificación de Riesgos en Obstetricia (SACR-O) 12 enfermeros y 11 profesionales de la informática. Con base en las normas de la Organización Internacional de Estandarización, se estableció el número mínimo de evaluadores y las características a evaluar: adecuación funcional, fiabilidad, usabilidad, eficiencia de desempeño, compatibilidad, seguridad, mantenibilidad y portabilidad. Las características evaluadas deberían tener una evaluación positiva ≥70% para considerarse adecuadas.

Resultados:

las características evaluadas por enfermeros y profesionales de la informática, respectivamente, se consideraron adecuadas, a saber: Adecuación funcional (97% y 98%), Fiabilidad (91% y 94%), Usabilidad (89% y 93%), Eficiencia de desempeño (97% y 98%), Compatibilidad (93% y 100%) y Seguridad del sistema (95% y 97%). Por los profesionales de informática también fueron evaluados las características de Mantenibilidad (87%) y Portabilidad (97%).

Conclusión:

la calidad técnica del sistema SACR-O fue considerada excelente por los enfermeros y los profesionales de la informática.

Descriptores:
Informática Aplicada a la Enfermería; Sistemas de Información en Salud; Evaluación de la Tecnología Biomédica; Atención de Emergência; Enfermería Obstétrica; Acogimiento


Introducción

En 2011, el Ministerio de Salud (MS) lanzó el Programa Rede Cegonha, que tenía como objetivo proporcionar a las mujeres y los niños una mejor atención y calidad para la salud, con énfasis en acciones para reducir la mortalidad materna e infantil, en línea con la Política Nacional para la Humanización de la Atención y Gestión del Sistema Público de Salud. De manera complementaria, en 2014, el Ministerio de Salud estableció el Manual de Recepción y Clasificación de Riesgos en Obstetricia (Acolhimento e Classificação de Risco em Obstetrícia, A&CRO), actualizado en 2017, para todos los servicios obstétricos de urgencia y emergencia en el país(11 Ministério da Saúde (BR). Portaria Nº 650, de 5 de outubro de 2011. Dispõe sobre os Planos de Ação regional e municipal da Rede Cegonha. [Internet]. Diário Oficial da União 5 out 2011. [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
http://bvsms.saude.gov.br/bvs/saudelegis...

2 Brasil. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional Humanização. HumanizaSUS: documento base para gestores e trabalhadores do SUS. 4a ed. Brasília: Ministério da Saúde; 2010 [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...

3 Maia VKV, Lima EFA, Leite FMC, Souza AI, Primo CC. Evaluation of process indicators of the prenatal and birth humanization program and stork network. Rev Fun Care Online. [Internet]. 2017 Oct-Dec [cited Mar 22, 2019];9(4):1055-60. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1 doi: http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
http://www.seer.unirio.br/index.php/cuid...
-44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

El manual de A&CRO tiene como objetivo ofrecer pautas y estandarización de conducta a los profesionales de la salud que trabajan en los servicios de atención del parto, a fin de evitar problemas en la atención que puedan culminar en resultados desfavorables, así como permitir el acceso calificado y el servicio con resolución en tiempo adecuado para cada caso(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

La clasificación de riesgos en obstetricia es una herramienta para respaldar la decisión para la identificación inmediata de la gravedad de la gestante, lo que garantiza una atención rápida y segura de acuerdo con el potencial de riesgo y en base a evidencia científica(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...

5 Costa RLM, Silva QMF. Implementation of the Reception and Risk Classification Obstetric in a Hospital in Alagoas. Rev Port Saúde Sociedade. [Internet]. 2017 [cited Mar 22, 2019];2(2):461-71. Available from: http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
http://www.seer.ufal.br/index.php/nuspfa...
-66 Oliveira JLC, Gatti APBMS, Bellucci Junior JA, Góes HLF, Matsuda LM. User Embracement with risk classification: perceptions of the service users of an emergency care unit. Texto Contexto Enferm. [Internet]. 2017 [cited Feb 1, 2020];26(1):e0960014. Available from: http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301. doi: http://dx.doi.org/10.1590/0104-07072017000960014
http://www.scielo.br/scielo.php?script=s...
).

El protocolo de A&CRO permite clasificar a la gestante para recibir atención, de acuerdo con el grado de urgencia y con base en un proceso de toma de decisiones clínicas, en el que se determina el tiempo de espera máximo recomendado para recibir atención médica. Hay cinco niveles de prioridad y cada uno corresponde a un tiempo de espera máximo para la atención médica, a saber: rojo (atención inmediata), naranja (hasta 15 min), amarillo (hasta 30 min), verde (hasta 120 min) y azul (no prioritario o encaminamiento según acuerdo)(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

El protocolo de A&CRO es una base de conocimiento importante para apoyar las decisiones de los profesionales en obstetricia, así como para generar impactos positivos en la atención y en la reducción de errores. Por lo tanto, es de gran importancia que instrumentos como el protocolo de A&CRO formen parte de la rutina de las instituciones de salud y estén disponibles para su uso en dispositivos electrónicos, integrados con el registro médico electrónico del paciente (prontuário eletrônico do paciente, PEP), como una forma de registro para consultas y reevaluaciones posteriores(77 Figueiroa MN, Menezes MLN, Monteiro EMLM, de Aquino JM, Mendes NOG, Silva PVT. User embracement and risk classification at obstetric emergency: evaluating operationalization in a maternity hospital school. Esc Anna Nery. [Internet]. 2017 [cited Feb 1, 2020];21(4):1-7. Available from: https://www.redalyc.org/articulo.oa?id=127752022041. doi: http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
https://www.redalyc.org/articulo.oa?id=1...
-88 Pegoraro LGO, Gvozd R, Haddad MCFL, Vannuchi MTO, Silva LGC, Rossaneis MA. Validation of instrument to assess software of patients' risk classification. Rev Bras Enferm. [Internet]. 2018 [cited Feb 1, 2020];71(3):975-82. Available from: http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
http://www.scielo.br/pdf/reben/v71n3/pt_...
).

En la era de la información, se han propuesto alternativas para el registro de la salud con el fin de encontrar estrategias para almacenar y calificar el registro de datos, para construir una atención médica más segura y de mayor calidad(99 Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
http://www.scielo.br/pdf/rlae/v27/pt_010...
).

El enfoque del presente estudio, el Sistema de Clasificación de Riesgos y Recepción en Obstetricia (SACR-O) fue desarrollado en un hospital universitario en el interior del estado de São Paulo como un sistema de apoyo a la decisión, construido en base al manual de A&CRO propuesto por el MS.

El sistema guía al enfermero con preguntas estructuradas y valores fijos en sus respuestas, basadas en las señales y los síntomas presentados por la gestante. Al final de su relleno, el sistema indica la clasificación de riesgo por color, según lo propuesto por el MS(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
).

El SACR-O también ofrece una base de datos de simulación, que permite la capacitación en tiempo real para estudiantes universitarios, residentes y profesionales de maternidad para la enseñanza o la educación continua. El sistema está integrado con el PEP, lo que favorece la continuidad de la atención y la seguridad de la información.

Considerando la evaluación de los sistemas de información de salud, un estudio de revisión sistemática mostró que los mejores métodos son aquellos que siguen los supuestos de la International Organization for Standardization (ISO) y de la International Electrotechnical Commision (IEC), de la serie de la Asociación Brasileña de Normas Técnicas (ABNT) y de la Norma Brasileña (NBR), también con certificaciones de sistemas informatizados, que se someten a pruebas rigurosas por la Sociedad Brasileña de Informática de la Salud (SBIS) en conjunto con el Consejo Federal de Medicina (CFM)(1010 Cintho LMM, Machado RR, Moro CMC. Methods for Evaluation of Information Systems in Healthcare. J Health Inform. [Internet]. 2016 [cited Nov 8, 2018];8(2):41-8. Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259.
http://www.jhi-sbis.saude.ws/ojs-jhi/ind...
).

En vista de esta perspectiva, este estudio tiene como objetivo evaluar la calidad técnica de un sistema de soporte de decisiones para el alojamiento y la clasificación de riesgos en obstetricia.

Método

Este es un estudio metodológico de evaluación del sistema. Los estudios metodológicos se caracterizan por desarrollar, validar y evaluar herramientas y métodos de investigación(1111 Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.).

La investigación se realizó en la sala de maternidad de un hospital público en el interior del estado de São Paulo. Se trata de un hospital general de nivel terciario, que posee un sistema de información hospitalaria (MV Sistemas®) que recopila información clínica y de asistencia de todos los servicios.

El SACR-O se desarrolló para permitir que la clasificación de la gestante se registre en la PEP, con el fin de mantener la seguridad y el control de los datos. Por lo tanto, es necesario que el profesional que realiza el servicio inicie sesión con usuario y contraseña en el sistema. Al ingresar al sistema, el mismo tiene acceso a las etapas de A&CRO y, para un nuevo servicio, puede acceder a áreas tales como: abrir el servicio, actualizar el registro de la gestante, servicio profesional especializado, administración de medicamentos, pruebas de laboratorio y de imagen; hasta el final del servicio con alta o encaminamiento al centro obstétrico.

Para participar en la evaluación de la calidad técnica del SACR-O, se invitó a profesionales de informática, capacitados en las áreas de análisis y desarrollo de sistemas, así como a enfermeros y residentes en enfermería obstétrica en la institución donde se realizó el estudio. Para los enfermeros y los residentes, fue un criterio de inclusión haber realizado el A&CRO en servicio al menos una vez.

Se respetaron las normas ISO/IEC 25040:2011(1212 International Organization for Standardization. ISO/IEC 25040 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO; 2011.), que indica el número mínimo de ocho evaluadores, e ISO/IEC 25010:2011(1313 International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.), que propone la evaluación de la calidad técnica del software por ocho características: adecuación funcional, fiabilidad, usabilidad, eficiencia de desempeño, mantenibilidad, portabilidad, seguridad y compatibilidad. Cada característica se compone de subcaracterísticas, con un total de 31 subcaracterísticas. En vista de las especificidades técnicas de las características de mantenibilidad y portabilidad, estas fueron evaluadas solo por profesionales de la informática, como se señala en la literatura(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

La calidad en el uso de un software, o usabilidad, se compone de características y subcaracterísticas relacionadas con el resultado de la interacción cuando un producto se usa en un contexto de uso específico. Este modelo de sistema es aplicable al sistema de interacción humano-computadora, incluidos los sistemas informáticos en uso y los productos de software en uso. El modelo de calidad del producto, o calidad técnica, se compone de características y subcaracterísticas relacionadas con las propiedades estáticas del software y las propiedades dinámicas del sistema(1313 International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.).

El cuestionario utilizado en este estudio para evaluar la calidad técnica del sistema se construyó con base en un instrumento propuesto en un estudio anterior(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

Los especialistas, profesionales de informática y enfermeros, accedieron al sistema con orientaciones sobre el proceso de evaluación y recibieron un manual con información sobre la estructura de las pantallas y la especificación detallada de cada elemento. Se puso a disposición de los especialistas un entorno de simulación, con acceso de usuario y contraseña para el sistema y un caso clínico, creado por los autores del estudio. La evaluación se realizó individualmente, sin la interferencia de los investigadores.

Los expertos evaluaron cada característica y subcaracterística utilizando una de las siguientes opciones: según (Nivel A); desacuerdo - Justificar (Nivel D); y no aplica (Nivel NA).

El nivel A significa que el sistema ha cumplido el requisito; El nivel D, que no satisfizo por eso necesita de justificación para mejorías; y el nivel de NA corresponde a no se pudo evaluarlo o no es aplicable.

Para obtener la suma de los valores de las características y subcaracterísticas, los datos se analizaron como se propone en ISO/IEC 14598-6: 2004, utilizando la siguiente fórmula:

Vc = Vsc nsc Vcs = m n nd

Vc = el valor medido de la característica

Vsc = el valor medido de la subcaracterística

nsc = el número de subcaracterísticas

m = 1, si la respuesta es positiva, de lo contrario es 0

na = el número de preguntas descartadas

Así, para obtener los valores de sus características y sus porcentajes, se aplicó la siguiente fórmula:

Vc = Vsca a + d ± na na × 100

Vc = el valor medido de la característica

Vsca = el valor de la subcaracterística con respuestas según

a = respuesta de acuerdo

d = respuesta de desacuerdo

na = la respuesta no se aplica(1515 Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.)

En la evaluación de los resultados, se utilizó una escala adaptada con los valores esperados para cada característica y subcaracterística; estos deben estar por encima del 70% para considerarse satisfactorios(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf). Las categorías y subcategorías se evaluaron con el corte para débil (25%), regular (50%), bueno (75%) y excelente (100%)(1515 Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.).

La investigación fue aprobada por el Comité de Ética en Investigación de la Facultad de Medicina de Botucatu de la Universidad Estatal Paulista “Júlio de Mesquita Filho” (UNESP) (CAAE: 83484518.5.0000.5411).

Resultados

En la presentación de los resultados, se decidió separar la evaluación de los profesionales de informática y los enfermeros, ya que la capacitación de estos evaluadores puede conducir a diferentes criterios en la evaluación, de acuerdo con su capacitación. La caracterización de los evaluadores se describe en la Tabla 1.

Tabla 1
Caracterización de los evaluadores, profesionales de la informática (n=11) y enfermeros (n=12). Botucatu, SP, Brasil, 2018

En comparación, los enfermeros presentaban menor edad y tenían menos tiempo de trabajo. Independientemente de la categoría profesional, la mayoría de los participantes tenían un título de especialista (Tabla 1).

La evaluación de las características técnicas de calidad se describe en la Figura 1.

Figura 1
Evaluación de las características de calidad técnicas del sistema por profesionales de informática y enfermeros. Botucatu, SP, Brasil, 2018

Todas las categorías de calidad técnica evaluadas se consideraron adecuadas, con una evaluación superior al 70%.

En cuanto a la evaluación de las subcaracterísticas, al menos una en cada característica obtuvo un 100% de adecuación. Solamente la subcaracterística accesibilidad, de la característica de usabilidad, obtuvo una evaluación inferior al 70% entre los profesionales de la informática (Tabla 2).

Tabla 2
Evaluación de las subcaracterísticas del sistema, por profesionales de informática (n=11) y enfermeros (n=12). Botucatu, SP, Brasil, 2018

Discusión

El SACR-O, además de organizar el flujo de atención para los servicios de urgencia y emergencia, favorece que los profesionales respeten el protocolo de A&CRO del MS(44 Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
), para garantizar una atención ética y adecuada para las gestante.

El SACR-O mostró un índice de adecuación satisfactorio en todas las características, más del 87%. Las características de adecuación funcional y eficiencia de desempeño obtuvieron el 97% de aprobación entre los enfermeros y el 98% entre los profesionales de informática. La adecuación de estas características corresponde a la satisfacción de los usuarios, con el fin de lograr los objetivos de uso del sistema con precisión e integridad. La eficiencia del desempeño está vinculada al tiempo de respuesta del sistema, considerado en este estudio como satisfactorio para ambas categorías del SACR-O en estos ítems1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1616 Alves J, Savaris A, Wangenheim CGV, Wangenheim AV. Software Quality Evaluation of the Laboratory Information System Used in the Santa Catarina State Integrated Telemedicine and Telehealth System. In: Proceedings of the Conference: 2016 IEEE 29th International Symposium on Computer-Based Medical Systems (CBMS); 2016 jun; Dublin, Belfast. [Internet] [cited Feb 2, 2020]; 76-81. Available from: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
https://ieeexplore.ieee.org/stamp/stamp....
.

La fiabilidad representa cuánto el sistema puede ofrecer el nivel de desempeño cuando se expone por determinado tiempo y circunstancias, por ejemplo, si puede realizar sus tareas de manera confiable con la escasez de recursos. Para los evaluadores, esta característica fue superior al 90%, lo que refleja la confianza de los usuarios en el sistema. Es de destacar que la fiabilidad de los sistemas computarizados ha mostrado tasas más altas en comparación con los sistemas manuales(99 Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
http://www.scielo.br/pdf/rlae/v27/pt_010...
,1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf).

La característica de usabilidad ha sido ampliamente estudiada en el contexto de las evaluaciones de los sistemas de información de salud, ya que evalúa la precisión y eficiencia del sistema para los usuarios. En ella, se identifican a menudo las quejas como lentitud en el tiempo de respuesta del sistema, información excesiva en la pantalla y cambios en el flujo de trabajo(1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
-1818 Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub.
https://www.sciencedirect.com/science/ar...
).

En cuanto a la subcaracterística accesibilidad, en la evaluación realizada por profesionales de informática, no se alcanzó el valor esperado, siendo considerado como regular. Sin embargo, los enfermeros lo consideraron excelente. La sugerencia de los profesionales de informática para accesibilidad fue insertar un recurso de lupa, para los usuarios con dificultad visual.

La evaluación por debajo de los valores esperados refleja la necesidad de reevaluar los requisitos del sistema. Debido al tiempo para el desarrollo del estudio, no fue posible reevaluar esta subcaracterística después de los ajustes. Otros estudios(1818 Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub.
https://www.sciencedirect.com/science/ar...
) también describen resultados con fragilidad en la evaluación de accesibilidad, relacionados con la resolución y visibilidad de la pantalla. Autores(1919 Farzandipour M, Riazi H, Jabali M. Proposing electronic health record usability requirements based on enriched ISO 9241 metric usability model. Acta Inform Med. [Internet]. 2018 [cited Feb 2, 2020];26(1):29-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf.
https://www.ncbi.nlm.nih.gov/pmc/article...
) recomiendan que para atender a las personas con discapacidad, especialmente las visuales, los sistemas de información de salud deben presentar pantallas visualmente claras, con información organizada e imágenes de fácil visualización.

Aun con respecto a la usabilidad, la subcaracterística protección contra el error logró una adecuación del 100% entre los enfermeros y los profesionales de informática, lo que demuestra que el SACR-O ofrece seguridad en el registro de la información.

En la característica de compatibilidad, que contempla las subcaracterísticas interoperabilidad y coexistencia, los profesionales de informática evaluaron el 100% de adecuación en ambas subcaracterísticas, siendo la única característica con el máximo valor de consenso; los enfermeros indicaron 90% de adecuación para interoperabilidad y 100% para coexistencia. Esta característica refleja la capacidad de intercambiar información con otros sistemas, como, por ejemplo, el intercambio de información con el PEP(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
). La interoperabilidad es una preocupación para los sistemas de información de salud, ya que la falta de integración entre sistemas puede comprometer la atención al paciente(1111 Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.,1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,1717 Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337.
https://www.ncbi.nlm.nih.gov/pmc/article...
).

La característica de seguridad obtuvo el criterio de excelencia en tres de sus subcaracterísticas por parte de los evaluadores. Esta cuestión es ahora una de las principales características a ser considerada, ya que los sistemas de información de salud almacenan una gran cantidad de información de los pacientes y son esenciales para la atención continua. Los métodos de autenticación a través del inicio de sesión y la contraseña son cruciales, así como la necesidad de sistemas de backup efectivos, debido a la capacidad de almacenar información y reutilizarla en caso de pérdida o interrupción del sistema principal(2020 Sílvia F, Tareco E. Sistemas de informação como indicadores de qualidade na saúde: Uma revisão de níveis de abordagem. RISTI. [Internet]. 2016 [Acesso 02 fev 2020];(19):34-45. Disponível em: http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
http://www.scielo.mec.pt/scielo.php?pid=...
-2121 Idri A, Bachiri M, Alemán JLF. A framework for evaluating the software product quality of pregnancy monitoring mobile personal health records. J Med Syst. [Internet]. 2016 [cited Nov 10, 2018];40(3): 1-17. Available from: https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
https://link.springer.com/article/10.100...
).

La característica de mantenibilidad, que tiene como objetivo mostrar los esfuerzos necesarios para realizar modificaciones específicas, y la característica de portabilidad, que demuestra la capacidad del sistema para ser transferido a otro entorno operativo, presentaron índices de adecuación correspondientes a los datos de estudios anteriores, con adecuación superior al 70%, considerado satisfactorio en este requisito(1414 Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf,2222 Santos RS, Landim LASR, Almeida JLJ, Sato RSP. Mobile app for assessment of eating behavior: development, usability and acceptability. Nutr Bras. [Internet]. 2019 [cited Feb 4, 2020];18(2):102-12. Available from: http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
http://portalatlanticaeditora.com.br/ind...
).

Se han utilizado ampliamente los sistemas para clasificar el riesgo en pacientes en urgencias hospitalarias y servicios de emergencia. El SACR-O, desarrollado en línea con el protocolo de A&CRO del MS, se muestra relevante porque fortalece las políticas del MS, favorece la agilidad de la atención y, en consecuencia, la humanización de la atención. Es de destacar que la calidad técnica adecuada de los sistemas de información de salud ahora se considera un factor en la seguridad del paciente(2323 Howe JL, Adams KT, Hettinger AZ, Ratwani RM. Electronic Health Record Usability Issues and Potential Contribution to Patient Harm. JAMA. [Internet]. 2018 [cited Feb 2, 2020];319(12):1276-8. Available from: https://jamanetwork.com/journals/jama/article-abstract/2676098
https://jamanetwork.com/journals/jama/ar...
).

Se considera como limitación del estudio la falta de adecuación del sistema con respecto a la subcaracterística de accesibilidad a tiempo para ser reevaluado por los profesionales de informática.

Cabe señalar el número limitado de publicaciones sobre el tema de la evaluación de los sistemas de información en salud. Un estudio de revisión(2424 Costa C, Linch GFC. The implementation of electronic records related to the nursing process: integrative review. Rev Fun Care Online. [Internet]. 2020 Jan-Dec [cited Feb 2, 2020];12:12-9. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648
http://www.seer.unirio.br/index.php/cuid...
) demostró la necesidad de profundizar y difundir investigaciones, con énfasis en el uso de sistemas de información en enfermería.

Se destaca la importancia de este estudio para apoyar la decisión de los gerentes y desarrolladores en la construcción y adquisición de sistemas fiables que mejoren la calidad de la atención médica.

Conclusión

El uso de tecnologías de información y comunicación para apoyar la toma de decisiones presenta potencial de perfeccionar y mejorar la atención médica. Este estudio se propuso a evaluar la calidad técnica del SACR-O y los resultados obtenidos mostraron una adecuación superior al 87% en todas las características evaluadas, obteniendo el criterio excelente.

Al evaluar el sistema, se utilizaron las métricas de calidad del software indicadas por ISO/IEC, con un conjunto de seis a ocho características, compuestas de subcaracterísticas.

Los resultados obtenidos de la evaluación indican que el SACR-O demostró ser adecuado en todas las características. Se destaca que al menos una subcaracterística, de cada característica evaluada, alcanzó el 100% de adecuación, a saber: Corrección funcional de la característica Adecuación funcional; Disponibilidad de la característica de Fiabilidad; Protección contra errores de Usabilidad; Recursos y Capacidad de la características y Eficiencia y desempeño; Coexistencia de la característica de Compatibilidad; y Fiabilidad, Responsabilidad y Autenticación de la característica Seguridad.

El SACR-O cumple con el manual de A&CRO propuesto por el MS, mostrando así potencial y seguridad en las informaciones de la recepción y clasificación de riesgo de las gestante. Con esto, puede ayudar a los enfermeros en la toma de decisiones y en el flujo de atención.

  • *
    Artículo parte de la disertación de maestria “Desenvolvimento e avaliação de um sistema de apoio a decisão para acolhimento e classificação de risco em obstetrícia”, presentada en la Universidade Estadual Paulista “Júlio de Mesquita Filho”, Faculdade de Medicina de Botucatu, Botucatu, SP, Brasil.

Referencias bibliográficas

  • 1
    Ministério da Saúde (BR). Portaria Nº 650, de 5 de outubro de 2011. Dispõe sobre os Planos de Ação regional e municipal da Rede Cegonha. [Internet]. Diário Oficial da União 5 out 2011. [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
    » http://bvsms.saude.gov.br/bvs/saudelegis/sas/2011/prt0650_05_10_2011.html
  • 2
    Brasil. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional Humanização. HumanizaSUS: documento base para gestores e trabalhadores do SUS. 4a ed. Brasília: Ministério da Saúde; 2010 [Acesso 02 fev 2020]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
    » http://bvsms.saude.gov.br/bvs/publicacoes/humanizasus_documento_gestores_trabalhadores_sus.pdf
  • 3
    Maia VKV, Lima EFA, Leite FMC, Souza AI, Primo CC. Evaluation of process indicators of the prenatal and birth humanization program and stork network. Rev Fun Care Online. [Internet]. 2017 Oct-Dec [cited Mar 22, 2019];9(4):1055-60. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1 doi: http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
    » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/5794/pdf_1» http://dx.doi.org/10.9789/2175-5361.2017.v9i4.1055-1060
  • 4
    Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas. Manual de acolhimento e classificação de risco em obstetrícia. Brasília: Ministério da Saúde; 2017 [Acesso 22 mar 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
    » http://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf
  • 5
    Costa RLM, Silva QMF. Implementation of the Reception and Risk Classification Obstetric in a Hospital in Alagoas. Rev Port Saúde Sociedade. [Internet]. 2017 [cited Mar 22, 2019];2(2):461-71. Available from: http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
    » http://www.seer.ufal.br/index.php/nuspfamed/article/view/2802/2715
  • 6
    Oliveira JLC, Gatti APBMS, Bellucci Junior JA, Góes HLF, Matsuda LM. User Embracement with risk classification: perceptions of the service users of an emergency care unit. Texto Contexto Enferm. [Internet]. 2017 [cited Feb 1, 2020];26(1):e0960014. Available from: http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301 doi: http://dx.doi.org/10.1590/0104-07072017000960014
    » http://www.scielo.br/scielo.php?script=sci_arttex t&pid=S0104-07072017000100301» http://dx.doi.org/10.1590/0104-07072017000960014
  • 7
    Figueiroa MN, Menezes MLN, Monteiro EMLM, de Aquino JM, Mendes NOG, Silva PVT. User embracement and risk classification at obstetric emergency: evaluating operationalization in a maternity hospital school. Esc Anna Nery. [Internet]. 2017 [cited Feb 1, 2020];21(4):1-7. Available from: https://www.redalyc.org/articulo.oa?id=127752022041 doi: http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
    » https://www.redalyc.org/articulo.oa?id=127752022041» http://dx.doi.org/10.1590/2177-9465-ean-2017-0087
  • 8
    Pegoraro LGO, Gvozd R, Haddad MCFL, Vannuchi MTO, Silva LGC, Rossaneis MA. Validation of instrument to assess software of patients' risk classification. Rev Bras Enferm. [Internet]. 2018 [cited Feb 1, 2020];71(3):975-82. Available from: http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
    » http://www.scielo.br/pdf/reben/v71n3/pt_0034-7167-reben-71-03-0975.pdf
  • 9
    Cicolo EA, Peres HHC. Electronic and manual registration of Manchester System: reliability, accuracy, and time evaluation. Rev. Latino-Am. Enfermagem. 2019 [cited Feb 1, 2020];27:e3241; Available from: http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
    » http://www.scielo.br/pdf/rlae/v27/pt_0104-1169-rlae-27-e3241.pdf
  • 10
    Cintho LMM, Machado RR, Moro CMC. Methods for Evaluation of Information Systems in Healthcare. J Health Inform. [Internet]. 2016 [cited Nov 8, 2018];8(2):41-8. Available from: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
    » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/346/259
  • 11
    Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7a ed. Porto Alegre: Artmed; 2011.
  • 12
    International Organization for Standardization. ISO/IEC 25040 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO; 2011.
  • 13
    International Organization for Standardization. ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO; 2011.
  • 14
    Oliveira NB, Peres HHC. Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process. Rev. Latino-Am. Enfermagem. [Internet] 2015 [cited 10 Nov, 2018];23(2):242-9. Available from: http://www.scielo.br/pdf/rlae/v23n2/0104-1169-rlae-3562-2548.pdf
  • 15
    Associação Brasileira de Normas Técnicas. NBR ISO/IEC 14598-6:2004: engenharia de software: avaliação de produto. Parte 6: documentação de módulos de avaliação. Rio de Janeiro: ABNT; 2004.
  • 16
    Alves J, Savaris A, Wangenheim CGV, Wangenheim AV. Software Quality Evaluation of the Laboratory Information System Used in the Santa Catarina State Integrated Telemedicine and Telehealth System. In: Proceedings of the Conference: 2016 IEEE 29th International Symposium on Computer-Based Medical Systems (CBMS); 2016 jun; Dublin, Belfast. [Internet] [cited Feb 2, 2020]; 76-81. Available from: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
    » https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7545961&tag=1
  • 17
    Topaz M, Ronquillo C, Peltonen LM, Pruinelli L, Sarmiento RF, Badger MK. et al. Nurse Informaticians Report Low Satisfaction and Multi-level Concerns with Electronic Health Records: Results from an International Survey. AMIA Annu Symp Proc. [Internet] 2017 [cited Feb 2, 2020];2016:2016-25. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5333337
  • 18
    Hudson D, Kushniruk A, Borycki E, Zuege DJ. Physician satisfaction with a critical care clinical information system using a multimethod evaluation of usability. Int J Med Inform. [Internet]. 2018 Apr [cited Feb 2, 2020];112:131-6. Available from: https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
    » https://www.sciencedirect.com/science/article/pii/S1386505618300108?via%3Dihub
  • 19
    Farzandipour M, Riazi H, Jabali M. Proposing electronic health record usability requirements based on enriched ISO 9241 metric usability model. Acta Inform Med. [Internet]. 2018 [cited Feb 2, 2020];26(1):29-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5869283/pdf/AIM-26-29.pdf
  • 20
    Sílvia F, Tareco E. Sistemas de informação como indicadores de qualidade na saúde: Uma revisão de níveis de abordagem. RISTI. [Internet]. 2016 [Acesso 02 fev 2020];(19):34-45. Disponível em: http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
    » http://www.scielo.mec.pt/scielo.php?pid=S1646-98952016000300004&script=sci_arttext&tlng=es
  • 21
    Idri A, Bachiri M, Alemán JLF. A framework for evaluating the software product quality of pregnancy monitoring mobile personal health records. J Med Syst. [Internet]. 2016 [cited Nov 10, 2018];40(3): 1-17. Available from: https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
    » https://link.springer.com/article/10.1007%2Fs10916-015-0415-z
  • 22
    Santos RS, Landim LASR, Almeida JLJ, Sato RSP. Mobile app for assessment of eating behavior: development, usability and acceptability. Nutr Bras. [Internet]. 2019 [cited Feb 4, 2020];18(2):102-12. Available from: http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
    » http://portalatlanticaeditora.com.br/index.php/nutricaobrasil/article/view/3526/5621
  • 23
    Howe JL, Adams KT, Hettinger AZ, Ratwani RM. Electronic Health Record Usability Issues and Potential Contribution to Patient Harm. JAMA. [Internet]. 2018 [cited Feb 2, 2020];319(12):1276-8. Available from: https://jamanetwork.com/journals/jama/article-abstract/2676098
    » https://jamanetwork.com/journals/jama/article-abstract/2676098
  • 24
    Costa C, Linch GFC. The implementation of electronic records related to the nursing process: integrative review. Rev Fun Care Online. [Internet]. 2020 Jan-Dec [cited Feb 2, 2020];12:12-9. Available from: http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648
    » http://www.seer.unirio.br/index.php/cuidadofundamental/article/view/6648

Fechas de Publicación

  • Publicación en esta colección
    15 Jul 2020
  • Fecha del número
    2020

Histórico

  • Recibido
    27 Mar 2019
  • Acepto
    13 Abr 2020
Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br