Acessibilidade / Reportar erro

Adaptação transcultural e validação da Hamilton Early Warning Score para o Brasil

RESUMO

Objetivo

Adaptar transculturalmente e validar, para a língua portuguesa, a Hamilton Early Warning Score para detectar a deterioração clínica em serviços de emergência.

Método

Estudo metodológico compreendendo as etapas de tradução, síntese, retrotradução, comitê de especialistas (n=13), pré-teste, envio e análise das propriedades de medidas em uma amostra composta por 188 pacientes. Comparou-se a Canadian Acute Scale Triage com a Hamilton Early Warning Score. Foram utilizados o Coeficiente Kappa Ponderado, Coeficiente de Correlação Intraclasse e de Pearson, Regressão Logística Binária e a Área Sob a Curva Receiver Operating Characteristic para a análise dos dados.

Resultados

A Hamilton Early Warning Score apresentou confiabilidade excelente, ou seja, α=0,924 (p<0,001). A validade de construto identificou correlação forte e negativa r=-0,75 e a preditiva apresentou um odds ratio de 1,63, IC 95% (1,358-1,918) (p<0,001).

Conclusão

A Hamilton Early Warning Score em português é válida e confiável para reconhecer pacientes em condição de deterioração clínica em serviços de emergência.

Palavras-chave
Estudo de validação; Alerta rápido; Deterioração clínica; Serviços médicos de emergência; Comparação transcultural; Segurança do paciente

ABSTRACT

Objective

Cross-culturally adapt and validate, for Portuguese, the Hamilton Early Warning Score to detect clinical deterioration in emergency services.

Method

Methodological study comprising the stages of translation, synthesis, back translation, expert committee (n=13), pre-test, submission, and analysis of the measurement properties in a sample of 188 patients. The Canadian Acute Scale Triage was compared with the Hamilton Early Warning Score. The Weighted Kappa Coefficient, Intraclass and Pearson Correlation Coefficient, Binary Logistic Regression and the Area Under the Receiver Operating Characteristic Curve were used for data analysis.

Results

The Hamilton Early Warning Score showed excellent reliability, α=0.924 (p<0.001). The construct validity identified a strong and negative correlation r=-0.75 and the predictive one presented an odds ratio of 1.63, 95% CI (1.358-1.918) (p<0.001).

Conclusion

The Hamilton Early Warning Score in Portuguese is valid and reliable to recognize patients in a condition of clinical deterioration in emergency services.

Keywords
Validation study; Early warning; Clinical deterioration; Emergency medical services; Cross-cultural comparison; Patient safety

RESUMEN

Objetivo

Adaptar y validar transculturalmente, para portugués, el Hamilton Early Warning Score para detectar el deterioro clínico en los servicios de emergencia.

Método

Estudio metodológico que comprende las etapas de traducción, síntesis, retrotraducción, comité de expertos (n=13), pretest, envío y análisis de las propiedades de medición en una muestra de 188 pacientes. Se comparó la Canadian Acute Scale Triage con la Hamilton Early Warning Score. Para el análisis de datos se utilizaron el Coeficiente Kappa Ponderado, el Coeficiente de Correlación Intraclase y de Pearson, la Regresión Logística Binaria y el Área Bajo la Curva Característica de Operación del Receptor.

Resultados

El Hamilton Early Warning Score mostró excelente confiabilidad, α=0,924 (p<0,001). La validez de constructo identificó una correlación fuerte y negativa r=-0,75 y la predictiva presentó un odds ratio de 1,63, IC 95% (1.358-1.918) (p<0,001).

Conclusión:

El Hamilton Early Warning Score en portugués es válido y confiable para reconocer pacientes en deterioro clínico en servicios de emergencia.

Palabras clave
Estudio de validación; Alerta temprana; Deterioro clínico; Servicios médicos de urgencia; Comparación transcultural; Seguridad del paciente

INTRODUÇÃO

Pacientes em estado grave ou potencialmente graves são, frequentemente, encaminhados para Serviços Médicos de Emergência (SMEs). Nesses serviços, em especial no pronto-socorro os pacientes admitidos se encontram vulneráveis ao agravamento do quadro clínico e podem apresentar um estado de deterioração clínica ou fisiológica caracterizado pela instabilidade da frequência cardíaca, frequência respiratória, pressão arterial, temperatura e nível de consciência11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
.

O quadro de deterioração clínica, por vezes, não é reconhecido pela equipe de saúde, principalmente, em pacientes que não estão monitorizados de forma contínua, progredindo para eventos adversos críticos, como Parada Cardiorrespiratória (PCR) e óbito22. Considine J, Street M, Hutchinson AM, Mohebbi M, Rawson H, Dunning T, et al. Vital sign abnormalities as predictors of clinical deterioration in subacute care patients: A prospective case-time-control study. Int J Nurs Stud. 2020;108:103612. doi: https://doi.org/10.1016/j.ijnurstu.2020.103612.
https://doi.org/10.1016/j.ijnurstu.2020....
. A PCR em ambiente hospitalar raramente ocorre de forma súbita, no qual a instabilidade dos sinais e sintomas podem ser identificados em até 24 horas antes deste agravo33. Srivilaithon W, Amnuaypattanapon K, Limjindaporn C, Imsuwan I, Daorattanachai K, Dasanadeba I, et al. Predictors of in-hospital cardiac arrest within 24 h after emergency department triage: a case-control study in urban Thailand. Emerg Med Australas. 2019;31:843-50. doi: https://doi.org/10.1111/1742-6723.13267.
https://doi.org/10.1111/1742-6723.13267....
.

A identificação precoce da instabilidade dos sinais e sintomas por meio da vigilância e monitorização adequada são apontadas como primeira conduta a se considerar para evitar a ocorrência de PCR44. Andersen LW, Holmberg MJ, Berg KM, Donnino MW, Granfeldt A. In-hospital cardiac arrest - a review. JAMA. 2019;321(12):1200-10. doi: https://doi.org/10.1001/jama.2019.1696.
https://doi.org/10.1001/jama.2019.1696....
-55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
. Em face dessa situação, recomenda-se a utilização dos Sistemas de Resposta Rápida (SRR) com o intuito de promover a segurança do paciente66. Spencer W, Smith J, Date P, Tonnerre E, Taylor DMC. Determination of the best early warning scores to predict clinical outcomes of patients in the emergency department. Emerg Med J. 2019;36:716-721. doi: https://doi.org/10.1136/emermed-2019-208622.
https://doi.org/10.1136/emermed-2019-208...
-88. Haegdorens F, Van Bogaert P, Roelant E, De Meester K, Misselyn M, Wouters K, et al. The introduction of a rapid response system in acute hospitals: a pragmatic stepped wedge cluster randomised controlled trial. Resuscitation. 2018;129:127-34. doi: https://doi.org/10.1016/j.resuscitation.2018.04.018.
https://doi.org/10.1016/j.resuscitation....
.

Os SRR são constituídos por dois parâmetros, a saber: o ramo aferente que corresponde aos instrumentos que irão identificar a deterioração clínica; e o ramo eferente que é constituído por profissionais do time de resposta rápida, acionados para conduzir intervenções que estabilizem o agravamento clínico do paciente55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
,88. Haegdorens F, Van Bogaert P, Roelant E, De Meester K, Misselyn M, Wouters K, et al. The introduction of a rapid response system in acute hospitals: a pragmatic stepped wedge cluster randomised controlled trial. Resuscitation. 2018;129:127-34. doi: https://doi.org/10.1016/j.resuscitation.2018.04.018.
https://doi.org/10.1016/j.resuscitation....
. No que concerne ao ramo aferente, no final do século 20, surgiram as escalas de alerta precoce que são instrumentos utilizados em ambiente hospitalar para identificar pacientes com risco de evoluir para deterioração clínica. Dessa forma, por meio do uso dessas escalas/instrumentos, ao indicar os primeiros indícios de instabilidade dos sinais vitais ou sintomas compatíveis com agravamento, a equipe de saúde é capaz de tomar condutas oportunas para estabilização do quadro clínico e, assim, contribuir para a segurança do paciente11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
,66. Spencer W, Smith J, Date P, Tonnerre E, Taylor DMC. Determination of the best early warning scores to predict clinical outcomes of patients in the emergency department. Emerg Med J. 2019;36:716-721. doi: https://doi.org/10.1136/emermed-2019-208622.
https://doi.org/10.1136/emermed-2019-208...
.

Estes instrumentos são referenciados na literatura como sistemas de alerta precoce ou sistemas de rastreamento e ativação, conhecidos pelos termos em inglês Early Warning Scores (EWS) e Trick and Track Systems (TTS) respectivamente55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
-66. Spencer W, Smith J, Date P, Tonnerre E, Taylor DMC. Determination of the best early warning scores to predict clinical outcomes of patients in the emergency department. Emerg Med J. 2019;36:716-721. doi: https://doi.org/10.1136/emermed-2019-208622.
https://doi.org/10.1136/emermed-2019-208...
,88. Haegdorens F, Van Bogaert P, Roelant E, De Meester K, Misselyn M, Wouters K, et al. The introduction of a rapid response system in acute hospitals: a pragmatic stepped wedge cluster randomised controlled trial. Resuscitation. 2018;129:127-34. doi: https://doi.org/10.1016/j.resuscitation.2018.04.018.
https://doi.org/10.1016/j.resuscitation....
.

Dentre os instrumentos de alerta precoce, a escala Hamilton Early Warning Score (HEWS), construída e validada em 2015 por uma equipe multiprofissional no Canadá, com a finalidade de predizer a deterioração clínica de pacientes admitidos no pronto-socorro, destaca-se por apresentar confiabilidade, acurácia, sensibilidade e especificidade na previsão de mortalidade intra-hospitalar. Além disso, sobressai pela sua aplicabilidade e fácil manejo, uma vez que compreende sinais vitais de fácil acesso que são aferidos durante o plantão pela equipe de enfermagem e pela sistematização das condutas que são indicadas de acordo com o escore final99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
-1111. Tam B, Xu M, Kwong M, Wardell C, Kwong A, Fox-Robichaud A. The admission Hamilton Early Warning Score (HEWS) predicts the risk of critical event during hospitalization. Can Journ Gen Int Med. 2016;11(4):24-7. doi: https://doi.org/10.22374/cjgim.v11i4.190.
https://doi.org/10.22374/cjgim.v11i4.190...
.

Desde então, a HEWS tem sido aplicada em pacientes graves e com sepse em unidades de terapia intensiva, serviços médicos de emergência e enfermarias na identificação precoce da deterioração clínica e da sepse, o que contribui diretamente para a segurança do paciente99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
-1111. Tam B, Xu M, Kwong M, Wardell C, Kwong A, Fox-Robichaud A. The admission Hamilton Early Warning Score (HEWS) predicts the risk of critical event during hospitalization. Can Journ Gen Int Med. 2016;11(4):24-7. doi: https://doi.org/10.22374/cjgim.v11i4.190.
https://doi.org/10.22374/cjgim.v11i4.190...
.

Essa escala compreende sete parâmetros fisiológicos, sendo que para cada um é conferida uma pontuação entre 0 e 3, em que 0 é a faixa de normalidade e 3 é o valor de maior anormalidade99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
. O escore total de risco varia de 0 a 21 pontos e é definido pela soma das pontuações de cada parâmetro fisiológico, no qual quanto mais alto o escore, maior o risco de deterioração clínica99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
. Os autores da HEWS definiram condutas de acordo com o escore: para um valor de 3 pontos, o técnico de enfermagem deve alertar o enfermeiro supervisor e aumentar a frequência de monitorização; para uma pontuação igual a 4, um residente médico do primeiro ano deve ser acionado para avaliar o paciente; um escore de 5 pontos foi descrito como o limiar para deterioração clínica e indica acionamento do residente do último ano ou do time de resposta rápida99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
,1111. Tam B, Xu M, Kwong M, Wardell C, Kwong A, Fox-Robichaud A. The admission Hamilton Early Warning Score (HEWS) predicts the risk of critical event during hospitalization. Can Journ Gen Int Med. 2016;11(4):24-7. doi: https://doi.org/10.22374/cjgim.v11i4.190.
https://doi.org/10.22374/cjgim.v11i4.190...
.

A HEWS é uma escala relevante para a prática clínica e pode ser utilizada com o intuito de aprimorar a gestão de recursos, a qualidade da assistência e, principalmente, a segurança do paciente, visto a sua potencialidade em prever a deterioração fisiológica dos pacientes e evitar desfechos indesejáveis e irreversíveis que causam danos à saúde99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
-1111. Tam B, Xu M, Kwong M, Wardell C, Kwong A, Fox-Robichaud A. The admission Hamilton Early Warning Score (HEWS) predicts the risk of critical event during hospitalization. Can Journ Gen Int Med. 2016;11(4):24-7. doi: https://doi.org/10.22374/cjgim.v11i4.190.
https://doi.org/10.22374/cjgim.v11i4.190...
.

Apesar da relevância de seu uso na prática clínica, uma revisão sistemática, com o intuito de avaliar a capacidade das EWS de prever a deterioração clínica em pacientes hospitalizados, detectou que não há uma produção cientifica que evidencie a adaptação e validação da HEWS no Brasil. Com o intuito de avaliar pacientes com risco de deterioração clínica admitidos em SME1212. Brekke IJ, Puntervoll LH, Pedersen PB, Kellett J, Brabrand M. The value of vital sign trends in predicting and monitoring clinical deterioration: a systematic review. PLoS One. 2019;14(1):e0210875. doi: https://doi.org/10.1371/journal.pone.0210875.
https://doi.org/10.1371/journal.pone.021...
, fato que levou ao desenvolvimento desta pesquisa, identificou-se a seguinte questão norteadora: “a versão brasileira da HEWS é válida e confiável para reconhecer pacientes em deterioração clínica?”. Em face do exposto, o objetivo deste estudo foi adaptar transculturalmente e validar para a língua portuguesa a Hamilton Early Warning Score para detectar a deterioração clínica em serviços de emergência.

MÉTODO

Trata-se de um estudo metodológico de adaptação transcultural e validação da HEWS para o português brasileiro em serviços de emergência.

Os dados foram coletados no período de agosto a dezembro de 2020, em um Pronto-Socorro Adulto (PSA) de um hospital público situado na cidade de Uberaba, Minas Gerais, Brasil. O hospital atende a 27 municípios que compõem a macrorregião do Triângulo Sul, sendo o único hospital público que oferece atendimento terciário de alta complexidade. Diante do último relatório que se teve acesso, o PSA do presente hospital possui 32 leitos, uma média de internação paciente/dia de 39,51, com média de permanência de 2,59 dias.

A população-alvo foi composta por pacientes adultos e idosos admitidos no PSA. Incluíram-se pacientes internados com idade igual ou maior que 18 anos. Foram excluídas as gestantes com características fisiológicas e de deterioração clínica peculiares, pacientes em uso de via aérea avançada e em uso de sedação, já que a escala HEWS não é aplicada a tal grupo de pacientes devido às particularidades dos métodos de mensuração do estado neurológico e oferta de oxigênio.

No que concerne à amostra, essa configurou-se como não probabilística e sequencial durante o período de coleta de dados pela impossibilidade de sortear a amostra. Para a composição do tamanho amostral, utilizou-se a ferramenta Power Analysis and Sample Size - versão 13, e considerou-se um Coeficiente de Correlação Intraclasse (CCI) entre os escores de adesão esperados de CCI=0,9 e entre os escores do estado neurológico, admitindo-se um valor mínimo de CCI=0,75 para um poder apriorístico de 90% e obtendo-se um tamanho amostral mínimo de 37 pacientes para confiabilidade interobservador. Para a validade de critério construto e validade de critério preditiva, considerou-se uma incidência de óbitos de 24,6%, uma precisão de 4,5% e um intervalo de confiança de 95% para uma população finita de 400 internações ao ano, chegando-se a uma amostra mínima de 188 indivíduos. Considerou-se, ainda, um nível de significância correspondente a p = 0,05.

O processo de adaptação transcultural ocorreu após autorização da autora principal do instrumento, Fox Robichaud, e foi embasado no percurso metodológico proposto por literatura internacional1313. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures [Internet]. Toronto: Institute for Work & Health; 2007 [cited 2021 Jun 11]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf .
https://dash.iwh.on.ca/sites/dash/files/...
e composto por seis etapas: (1) tradução inicial; (2) síntese das traduções; (3) retrotradução; (4) comitê de especialistas; (5) pré-teste; e (6) envio ao responsável original do instrumento. A participação dos pacientes ocorreu no pré-teste e no processo de validação por meio do teste das propriedades psicométricas conforme disposto na Figura 1.

Figura 1 -
Etapas da adaptação transcultural e validação. Uberaba, Minas Gerais, Brasil, 2020

Na etapa 1, realizou-se a tradução da escala por dois profissionais cegados quanto aos objetivos da escala, de forma independente e do idioma original para o português brasileiro. Ressalta-se que um dos profissionais não possuía experiência na área da saúde, era brasileiro fluente na língua inglesa, graduado em letras e com experiência em tradução; o outro, por sua vez, possuía experiência na área da saúde, era doutor em medicina, com conhecimento sobre o tema abordado, com vivência em país de língua inglesa e experiente em processos de adaptação cultural. Os dois profissionais geraram as versões T1 e T2.

Nesta sequência, na etapa 2 as versões T1 e T2 foram submetidas à síntese para conciliação de discrepâncias realizada pelas pesquisadoras deste estudo, resultando na versão T12. Na etapa 3, ocorreu o processo de retrotradução da síntese (versão T12) por meio de dois tradutores distintos da etapa 1, de forma independente, do português para o inglês e ambos os dois cegados quanto aos objetivos da escala. Evidencia-se que o primeiro tradutor é canadense com vivência no Brasil, graduado em Letras, fluente na língua inglesa e portuguesa e com experiência em tradução. Por sua vez, o segundo tinha o inglês como língua materna e era fluente em português, graduado na área da saúde e experiente em tradução. Foram geradas duas versões, a saber: RT1 e RT2.

Na etapa 4, ocorreu a avaliação pelo comitê de especialistas, para o qual foram encaminhadas a T1, T2, versão T12, RT1 e RT2 para apreciação do comitê via plataforma on-line para averiguar sua equivalência conceitual, semântica, idiomática e cultural. Adotou-se uma amostra de conveniência para compor o comitê de especialistas, o qual foi formado por 13 enfermeiros, médicos e profissionais de letras, mestre e/ou doutores e com expertise em urgência e emergência, localizados por meio da Plataforma Lattes e selecionados aqueles que obtiveram o valor mínimo de 5 pontos de acordo com o referencial pré-estabelecido1414. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Coletiva. 2011;16(7):3061-8. doi: https://doi.org/10.1590/S1413-81232011000800006.
https://doi.org/10.1590/S1413-8123201100...
-1515. Fehring RJ. The Fehring model. In: Carrol-Johnson RM, Paquete M. Classification of nursing diagnoses: proceeding of the tenth conference. Philadelphia: Lippincott Williams & Wilkins; 1994. p. 55-62..

Por meio de formulário eletrônico, foram avaliadas a clareza e precisão de cada domínio do instrumento por meio de uma escala tipo Likert, com pontuação entre 1 e 4, em que 1 = item não equivalente; 2 = item necessita de grande revisão para ser avaliada a equivalência; 3 = item equivalente, necessita de pequenas alterações; e 4 = item absolutamente equivalente. Os itens que receberem pontuação de 1 ou 2 devem ser revisados.

Para quantificar o grau de concordância entre os especialistas, utilizou-se o Índice de Validade de Conteúdo (IVC) que avalia a porcentagem em concordância com os aspectos do instrumento e seus itens por meio da somatória das respostas “3” e “4” em cada item da escala e dividida pelo número total de respostas/especialistas. Para este estudo, considerou-se um IVC maior que 0,80 ou 80%1616. Polit DF, Beck CT. The contente validity index: are you sure you know what’s being reported? critique and recommendations. Res Nurs Health. 2006;29(5):489-97. doi: https://doi.org/10.1002/nur.20147.
https://doi.org/10.1002/nur.20147...
. Nesta sequência, ainda, na etapa 4, os itens que obtiveram um IVC menor que 80% passaram por uma segunda rodada de avaliação qualitativa, com o intuito de conciliar as discrepâncias residuais por meio de uma reunião via plataforma on-line com três experts1414. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Coletiva. 2011;16(7):3061-8. doi: https://doi.org/10.1590/S1413-81232011000800006.
https://doi.org/10.1590/S1413-8123201100...
que fizeram parte do comitê de especialistas, produzindo a versão final a ser submetida ao pré-teste.

Na etapa 5, realizou-se o pré-teste, no qual a HEWS - versão brasileira foi aplicada por duas enfermeiras especialistas em urgência e emergência, visto que estas se encontravam em contato direto com os pacientes graves e estavam aptas a trabalhar com este público. Ressalta-se que o pré-teste foi aplicado em uma amostra de conveniência composta por 15 pacientes1717. Malhotra NK. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman; 2008. internados no Pronto-Socorro deste estudo. A aplicação do instrumento, em uma amostra mínima de indivíduos (10 a 40 pessoas) que contemple aspectos semelhantes ao público-alvo, é aconselhada para avaliar o entendimento do instrumento e tempo de aplicação, além da verificação da compreensão dos itens e termos1313. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures [Internet]. Toronto: Institute for Work & Health; 2007 [cited 2021 Jun 11]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf .
https://dash.iwh.on.ca/sites/dash/files/...
.

Por fim, na etapa 6, encaminhou-se via e-mail a escala para a autora desenvolvedora e responsável pela escala, no entanto, após três tentativas, não se obteve retorno e prosseguiu-se com o processo de investigação de suas propriedades de medidas. É valido ressaltar que o não cumprimento desta etapa foi indiferente na fidedignidade do processo de adaptação, visto que, as modificações preservaram os termos originais da escala. Diante do exposto, foram analisadas a confiabilidade interobservador, validade de construto e de critério preditiva da escala.

A priori, foi realizada a confiabilidade interobservador, investigada por duas enfermeiras previamente treinadas, especialistas em urgência e emergência, as quais aplicaram a escala HEWS - versão brasileira de maneira independente e sem interação, em momentos diferentes, no entanto, em um intervalo máximo de 10 minutos.

Na avaliação da validade de construto, por meio do teste de hipótese, a fim de medir o fenômeno gravidade clínica e risco de óbito, aplicou-se a HEWS - versão brasileira e a escala Canadian Triage Acuity Scale (CTAS)1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
) em 188 pacientes, a fim de compará-las devido às suas semelhanças, visto que ambas classificam o grau de gravidade e instabilidade do paciente; a primeira por meio de sinais vitais, a segunda por meio de sinais e sintomas e história da clínica pregressa para estabelecer prioridades de tratamento1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
.

A CTAS foi criada em 1997, com a finalidade de classificar os pacientes em níveis de gravidade, estabelecer prioridades de tratamento para organizar os serviços médicos de emergência e adequar o tempo de espera para atendimento médico de acordo com a condição clínica do paciente. Sua classificação é feita de acordo com cinco níveis de gravidade, sendo: nível 1 reanimação, que se refere a situações de risco de vida ou com sinais iminentes de risco de deterioração do quadro clínico; nível 2, emergência, condições que ameaçam potencialmente a vida ou requerem rápida intervenção; nível 3, urgência, condições que podem progredir para um problema sério; nível 4, semiurgência, na qual há potencial para complicações ou relacionadas à idade do paciente; e, finalmente, o nível 5, não urgência, que se refere a condições agudas não urgentes ou problemas crônicos sem sinais de deterioração1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
.

Foram coletados parâmetros fisiológicos, sinais e sintomas do paciente na admissão hospitalar para CTAS concomitantemente ao cálculo do escore da HEWS - versão brasileira. Em síntese, para a validade de critério preditiva foi investigado o desfecho PCR, óbito e encaminhamento para a Unidade de Terapia Intensiva (UTI) após o período de 24 horas do cálculo do escore HEWS - versão brasileira.

A análise da confiabilidade foi realizada com o auxílio do software estatístico MedCalc, considerando-se um Coeficiente Kappa Ponderado para as variáveis ordinais e um Coeficiente de Correlação Intraclasse (ICC) para o escore de risco total aceitável, ou seja, aquele que obtiver um valor maior que 0,751818. Fayers PM, Machin D. Quality of life: the assesment, analysis and interpretation. Chichester, England: John Wiley & Sons, 2007., com nível de significância de p=0,05.

A análise de dados da validade de construto avaliou a Correlação de Pearson para determinação do grau de relação entre os dois instrumentos. A análise de dados da Validade de Critério Preditiva compreendeu a regressão logística binária, sensibilidade e especificidade por tabulação cruzada para os pontos de corte da HEWS - versão brasileira 3, 6 e 9 e acurácia através da análise da Área Sob a Curva (ASC) Receiver Operating Characteristic (ROC) por meio do software estatístico Statistical Package for the Social Sciences (SPSS) versão 21.

Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Hospital de Clínicas da Universidade Federal do Triângulo Mineiro (HC-UFTM) sob o parecer número 3.903.656 e de acordo com os princípios éticos da resolução 466/2012.

RESULTADOS

No processo de tradução, síntese, retrotradução e avaliação por meio do comitê de especialistas os termos que geraram divergências e apresentaram IVC menor que 0,80 foram “room air” que variou entre ar do ambiente, ar do local e ar ambiente e “unresponsive” variando entre irresponsivo, inconsciente e sem resposta. Tais divergências foram discutidas em reunião consensual entre as pesquisadoras e três especialistas, em que se optou pelos termos ar ambiente e irresponsivo em razão do entendimento de que melhor se adaptam ao contexto brasileiro.

As versões geradas foram enviadas para validação de conteúdo pelo comitê de especialistas composto por 13 especialistas, a maioria, 9 (69,2 %) eram doutores, 10 (76,9%) atuavam na área de ensino e pesquisa e 11 (84,6%) possuíam experiência acima de dois anos na área de urgência e emergência.

A avaliação quantitativa obteve IVC considerável de 0,89 e houve indicação de esclarecimento do mnemônico exposto no rodapé AVDI (paciente alerta, responde ao estímulo verbal, responde ao estímulo de dor ou irresponsivo ao estímulo). Entretanto, três termos obtiveram IVC menor que 0,80; estes foram abordados em reunião de consenso com especialistas com 100% de concordância. Na sequência, o instrumento foi submetido ao pré-teste, o qual foi aplicado por duas enfermeiras a uma população de 15 pacientes. Cabe ressaltar que as pesquisadoras não apontaram dificuldades ou sugestões quanto aos termos da escala, o que resultou na versão final da HEWS - versão brasileira ou Escala de Alerta Precoce de Hamilton apresentada na tabela 1, a seguir.

Tabela 1-
Escala HEWS adaptada para o português do Brasil. Uberaba, Minas Gerais, Brasil, 2020

A versão adaptada foi submetida à análise das propriedades de medida por meio de aplicação da escala em 188 pacientes, destes, a maioria do sexo masculino (62,2%) e idosos com mediana de 61,5 anos. A maior parte, 140 pessoas (74,45%), tinha, pelo menos, uma comorbidade. Destes, 102 pacientes (54,25%) relataram doenças cardiovasculares e 32 (17,0%) doenças endócrinas. Em relação à caracterização clínica, vários diagnósticos de internação foram levantados, sendo os de maior recorrência os relacionados aos agravos cardiovasculares, ou seja, 63 (32,9%), seguidos de gastrointestinais 33 (17,6%) e causas externas ou violência 21 (11,2%).

A priori, dos 188 pacientes, 37 participaram da análise da confiabilidade interobservador aplicada por duas pesquisadoras. Depois de realizada a análise, os valores obtidos expressaram correlação excelente de 0,924 (0,858 - 0,9603) com nível de significância de p<0,001 para o escore total e força de concordância alta a muito alta de 0,83 a 1,0 (p<0,001) para os itens individuais da escala. Os domínios frequência cardíaca, pressão arterial sistólica e fornecimento de oxigênio obtiveram concordância total de 1,0. Os itens com menor valor foram frequência respiratória (0,831) e saturação de oxigênio (0,834).

Nesta sequência, a validade de construto contou com um total de 179 pacientes devido à perda de 9 pacientes. Cabe ressaltar que a perda de menos de 5% da amostra não afeta o poder estatístico do estudo, uma vez que a validade de construto exige uma amostra consideravelmente menor que a validade preditiva para a análise. Nas análises, observou-se uma correlação de r -0,75 entre a HEWS e a CTAS, obtendo-se um resultado estatisticamente significativo (p<0,001) e uma correlação forte e negativa entre os dois instrumentos.

Por fim, realizou-se a Validade de Critério Preditiva, a qual contou com uma amostra de 188 pacientes e uma incidência de 28 casos (14,9%) de eventos críticos (PCR, óbito e encaminhamento para UTI). Destes, 10 (5,3%) foram a óbito, 2 (1,1%) apresentaram PCR com retorno da circulação espontânea e 16 (8,8%) foram encaminhados à UTI. Para toda a análise estatística, a seguir, foram considerados como desfecho os eventos críticos supracitados de forma combinada.

Na Regressão Logística Binária, obteve-se o valor de Odds Ratio (OR) 1,63; IC 95%, (1,358-1,918); p <0,001, mostrando que as chances de ocorrência dos eventos adversos investigados aumentam em 60% para cada ponto adicional no escore da escala HEWS.

No que concerne à classificação de risco de deterioração clínica identificado nesta população por meio da aplicação da HEWS, a maioria 97 (51,6%) foi avaliada como baixo risco (0 a 2 pontos), seguida de 50 (26,6%) risco intermediário (3 a 5 pontos), 23 (12,2%) risco alto (6 a 8 pontos) e 18 (9,6%) risco muito alto (acima de 9 pontos).

Os resultados alcançados para sensibilidade e especificidade de acordo com o ponto de corte da classificação de risco da HEWS mostraram que um valor ideal para corte está situado entre um escore de 3 a 6 conforme ilustra a tabela 2.

Tabela 2 -
Distribuição dos indicadores de sensibilidade e especificidade do instrumento HEWS - versão brasileira por meio de tabulação cruzada para diferentes pontos de cortes. Uberaba, Mimas Gerais, Brasil, 2020

A análise da acurácia por meio da área sob a curva ROC obteve valores considerados altos (ASC > 0,8) indicando que a precisão do instrumento é satisfatória conforme apresentado na tabela 3.

Tabela 3 -
Distribuição da acurácia geral da HEWS - versão brasileira em relação aos desfechos investigados. Uberaba, Minas Gerais, Brasil, 2020

DISCUSSÃO

Ao se pensar acerca da dinâmica envolvida na assistência ao paciente crítico, depara-se com a necessidade de instrumentos e escalas que identifiquem risco de deterioração clínica e auxiliem a gestão dos recursos disponíveis de acordo com o grau de instabilidade do paciente, com o intuito de prevenir a ocorrência de eventos adversos e proporcionar a segurança do paciente11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
-44. Andersen LW, Holmberg MJ, Berg KM, Donnino MW, Granfeldt A. In-hospital cardiac arrest - a review. JAMA. 2019;321(12):1200-10. doi: https://doi.org/10.1001/jama.2019.1696.
https://doi.org/10.1001/jama.2019.1696....
.

Recomenda-se que ferramentas e estratégias de trabalho sejam utilizadas com embasamento em evidências científicas para fundamentar a assistência e gerenciamento em saúde1919. Oliveira F, Kuznier TP, Souza CC, Chianca TCM. Theoretical and methodological aspects for the cultural adaptation and validation of instruments in nursing. Texto Contexto Enferm. 2018;27(2):e4900016. doi: http://doi.org/10.1590/0104-070720180004900016.
http://doi.org/10.1590/0104-070720180004...
. No entanto, na prática brasileira, ainda pode ser observado o uso de instrumentos clínicos, em particular, as Early Warning Scores (EWS), traduzidas de forma literal e sem validação prévia para a população-alvo na qual será aplicada11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
,2020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
.

Neste sentido, deu-se o processo de adaptação transcultural e validação da escala canadense HEWS para o contexto da urgência e emergência no que se refere aos SME. Autores defendem que, com base nesse processo, o instrumento pode ser aplicado ao grupo proposto, conferindo menor grau de vieses culturais para o contexto brasileiro, o que permite comparar as características dos indivíduos, a fim de proporcionar uma maior equidade no processo de aplicação da escala11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
,1313. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures [Internet]. Toronto: Institute for Work & Health; 2007 [cited 2021 Jun 11]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf .
https://dash.iwh.on.ca/sites/dash/files/...
.

Em face do exposto, o presente estudo confere ineditismo e relevância por disponibilizar uma escala de alerta precoce nacional para auxiliar o reconhecimento de pacientes em deterioração clínica, o gerenciamento de risco e determinação de condutas, tais como monitorização contínua, complexidade do leito, intervalo adequado para observações de enfermagem e necessidade de revisão médica, aprimorando os cuidados prestados, com vistas à gestão de recursos, à qualidade da assistência e à segurança do paciente.

Ressalta-se que poucos artigos estão relacionados ao processo de adaptação transcultural de EWS. Além da HEWS, a única escala de alerta precoce que foi submetida a um processo metodológico de adaptação para o Brasil foi a National Early Warning Score 2 (NEWS 2) para uso em adultos1919. Oliveira F, Kuznier TP, Souza CC, Chianca TCM. Theoretical and methodological aspects for the cultural adaptation and validation of instruments in nursing. Texto Contexto Enferm. 2018;27(2):e4900016. doi: http://doi.org/10.1590/0104-070720180004900016.
http://doi.org/10.1590/0104-070720180004...
e a Brighton Paediatric Early Warning Score (BPEWS) para uso pediátrico2121. Miranda JOF, Camargo CL, Sobrinho CLN, Portela DS, Monaghan A, Freitas KS, et al. Translation and adaptation of a pediatric early warning score. Rev Bras Enferm. 2016;69(5):833-41. doi: http://doi.org/10.1590/0034-7167-2015-0096.
http://doi.org/10.1590/0034-7167-2015-00...
. Ao comparar os resultados da validação de conteúdo das escalas HEWS - versão brasileira e NEWS 2, ambas as escalas obtiveram bom índice de validade, maior que 0,8, o que demonstra que estas escalas são claras e precisas2020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
.

Para a HEWS - versão brasileira, os termos que necessitaram de adaptação foram condizentes com os que foram adaptados na versão brasileira da NEWS 2, tais como: a descrição do mnemônico AVDI (alerta, voz, dor e irresponsividade) e a expressão “ar ambiente”2020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
.

A aferição do estado neurológico por meio do AVDI não é comum na rotina de enfermagem no Brasil, entretanto, para não interferir na versão original, optou-se por não o substituir, mas descrever os itens por extenso de forma a ficar mais claro para quem irá utilizar a escala, assim como no processo de adaptação da NEWS 22020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
.

Em relação ao teste-piloto, estudo que adaptou a BPEWS para uso pediátrico corrobora esta pesquisa ao deixar de evidenciar possíveis ajustes da escala após o teste-piloto; tal fato indica a eficiência e a fidedignidade do processo de validação em conteúdo pelo comitê de especialistas2121. Miranda JOF, Camargo CL, Sobrinho CLN, Portela DS, Monaghan A, Freitas KS, et al. Translation and adaptation of a pediatric early warning score. Rev Bras Enferm. 2016;69(5):833-41. doi: http://doi.org/10.1590/0034-7167-2015-0096.
http://doi.org/10.1590/0034-7167-2015-00...
.

Ainda, no que se refere ao teste-piloto, a pesquisa na qual foi adaptada a NEWS 2, assim como o presente estudo, evidenciou resultados satisfatórios que demonstram que essas escalas são de fácil aplicação, acesso e manuseio, além de seus itens serem acessíveis, ou seja, de fácil entendimento, o que colabora para o trabalho da equipe assistencial, em especial, a equipe de enfermagem como também amplia o escopo acadêmico para pesquisas que se proponham adaptar e validar a presente escala em outros contextos2020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
.

Quanto à confiabilidade interobservador, a escala obteve concordância “alta” a “muito alta” (0,831 e 1,0) para itens individuais e reprodutibilidade excelente do escore final. O resultado corrobora estudo canadense, no qual a HEWS obteve uma confiabilidade interobservador consideravelmente satisfatória com Kappa de 0,891010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
.

No que concerne aos parâmetros vitais, os itens que apresentaram maior inconsistência foram frequência respiratória (0,831) e saturação de oxigênio (0,834). Para a NEWS 2, o item com menor concordância foi referente à “oferta de oxigênio”2020. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424.
https://doi.org/10.1590/1983-1447.2020.2...
. Estes resultados corroboram relatos que identificaram negligência na aferição e registro da frequência respiratória pela equipe de assistência, o que ocasiona possíveis implicações à saúde e causa interferências diretas à segurança do paciente2222. Al-Kalaldeh M, Suleiman K, Abu-Shahroor L, Al-Mawajdah H. The impact of introducing the Modified Early Warning Score ‘MEWS’ on emergency nurses’ perceived role and self-efficacy: a quasi-experimental study. Int Emerg Nurs. 2019;45:25-30. doi: https://doi.org/10.1016/j.ienj.2019.03.005.
https://doi.org/10.1016/j.ienj.2019.03.0...
.

Outro fator a ser considerado é que a saturação de oxigênio, bem como a frequência respiratória são apontadas entre os principais indicadores de deterioração clínica por serem os primeiros dados a apresentar instabilidade22. Considine J, Street M, Hutchinson AM, Mohebbi M, Rawson H, Dunning T, et al. Vital sign abnormalities as predictors of clinical deterioration in subacute care patients: A prospective case-time-control study. Int J Nurs Stud. 2020;108:103612. doi: https://doi.org/10.1016/j.ijnurstu.2020.103612.
https://doi.org/10.1016/j.ijnurstu.2020....
. Tais informações mostram a necessidade de reflexão sobre a relevância e a correta aferição e registro de tais dados vitais55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
.

Referente à avaliação da validade de construto, a presente pesquisa identificou uma correlação forte e negativa (r=-0,75) entre HEWS - versão brasileira e CTAS. A aplicação de EWS na triagem combinada com uso recorrente na internação é indicada por vários autores uma vez que a classificação de risco, por si só, não é suficiente para distinguir pacientes estáveis e instáveis durante o período de observação33. Srivilaithon W, Amnuaypattanapon K, Limjindaporn C, Imsuwan I, Daorattanachai K, Dasanadeba I, et al. Predictors of in-hospital cardiac arrest within 24 h after emergency department triage: a case-control study in urban Thailand. Emerg Med Australas. 2019;31:843-50. doi: https://doi.org/10.1111/1742-6723.13267.
https://doi.org/10.1111/1742-6723.13267....
,1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
.

Esta investigação identificou OR 1,63, IC95% (1,358-1,918), p<0,001 na análise da regressão logística binária para predição de deterioração clínica. Isso indica que as chances de ocorrência dos eventos adversos investigados aumentam em 60% para cada ponto adicional no escore da escala HEWS - versão brasileira.

Tais achados condizem com outro estudo que aplicou uma EWS em um departamento de emergência e apontou que 40% dos casos de PCR apresentaram aumento de um ponto na classificação de risco, uma hora antes do evento crítico77. Green C, Chaudhri S, Premchand M, Peet C, Sadiq A, Strain S, et al. Clinical appropriateness of the use of early warning scores in medical wards. Clin Med. 2020;20(Suppl 2):s82-s83. doi: https://doi.org/10.7861/clinmed.20-2-s82.
https://doi.org/10.7861/clinmed.20-2-s82...
. Evidências mostram que 60 a 80% dos pacientes que evoluem com deterioração clínica apresentam alterações nos sinais vitais pelo menos quatro horas antes de episódios como PCR44. Andersen LW, Holmberg MJ, Berg KM, Donnino MW, Granfeldt A. In-hospital cardiac arrest - a review. JAMA. 2019;321(12):1200-10. doi: https://doi.org/10.1001/jama.2019.1696.
https://doi.org/10.1001/jama.2019.1696....
.

Referente ao score final da escala, há sempre uma troca entre sensibilidade e especificidade de acordo com o valor obtido, e procura-se um ponto de corte ideal com boa acurácia para o resultado investigado55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
.Um dos estudos de validação da HEWS, no Canadá, avaliou os pontos de corte que marcam o limite para mudança na classificação de risco 3, 6 e 9, obtendo sensibilidade de 54%, 19% e 9% e especificidade de 63%, 89%, 98% respectivamente1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
.

Este estudo seguiu o mesmo padrão da literatura, pois enquanto o ponto de corte subiu, a sensibilidade diminuiu e a especificidade aumentou. Para os escores 3, 6 e 9 obtiveram-se valores mais significativos que os estudos citados de 96,4%, 71,4% e 46,4% para sensibilidade e 60%, 86,9% e 96,9% para especificidade respectivamente.

Para uma EWS, a especificidade demonstra os pacientes que não foram considerados em risco de deterioração clínica. A sensibilidade, por sua vez, indica o número de pacientes instáveis que foram identificados de forma correta pelo instrumento. Referente aos valores encontrados neste estudo, quanto menor o escore HEWS (três pontos), maior a sensibilidade (96,4%) e maior o percentual de falsos positivos (40%). Por outro lado, quanto maior o escore (nove pontos), maior a especificidade (96,9%) e maior o número de falsos negativos (53%).

Neste sentido, uma das consequências de se estabelecer o ponto de corte para uma EWS é a carga de trabalho desnecessária que pode gerar (falso positivos) e o número de pacientes em deterioração, que pode deixar de ser identificado (falsos negativos). Autores defendem que quanto mais específico o EWS menos acionamentos podem ser disparados; ante essa questão, as pontuações mais específicas seriam as mais úteis55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
,99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
.

Embora tenham sidos apresentados valores de sensibilidade e especificidade, não foi determinado um ponto de corte para uso nessa população por entender que esta é uma determinação a ser feita pela equipe de trabalho de acordo com o perfil dos pacientes atendidos e dos recursos da instituição, o que corrobora observação feita em estudo com a Modified Early Warning Scores (MEWS), realizada em Ribeirão Preto, São Paulo11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
.

Investigações conduzidas com a HEWS retratam esta variação do escore ideal. O escore 5 da HEWS foi considerado o melhor ponto de corte e teve uma sensibilidade de 75,9% e especificidade de 67,6% em um estudo retrospectivo canadense99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
. Por outro lado, em pesquisa realizada na China, o valor ideal para o ponto corte da HEWS foi 8 com uma sensibilidade de 80% e especificidade de 89,69%1919. Oliveira F, Kuznier TP, Souza CC, Chianca TCM. Theoretical and methodological aspects for the cultural adaptation and validation of instruments in nursing. Texto Contexto Enferm. 2018;27(2):e4900016. doi: http://doi.org/10.1590/0104-070720180004900016.
http://doi.org/10.1590/0104-070720180004...
, o que proporciona segurança ao paciente ao ofertar uma escala sensível e específica na detecção da deterioração clínica.

No que concerne à acurácia por meio da área sob a curva ROC, este estudo obteve uma boa acurácia de 0,89 (0,831 - 0,953, IC 95%; p<0,001), quase alcançando valor excelente de 0,9, o que corrobora um estudo, realizado na Espanha, ao detectar uma boa acurácia de 0,89 (0,81 - 0,96, IC 95%; p<0,001)2323. Martín-Rodríguez F, Castro-Villamor MÁ, Del Pozo Vegas C, Martín-Conty JL, Mayo-Iscar A, Delgado Benito JF, et al. Analysis of the early warning score to detect critical or high-risk patients in the prehospital setting. Intern Emer Med. 2019;14(4):581-9. doi: http://doi.org/10.1007/s11739-019-02026-2.
http://doi.org/10.1007/s11739-019-02026-...
. Ainda, pesquisa recente, conduzida na China, com a HEWS obteve valor semelhante de 0,821 (IC: 95%: 0,748-0,895)2424. Hu H, Yao N, Qiu Y. Predictive value of 5 Early Warning Scores for critical COVID-19 patients. Disaster Med Public Health Prep. 2022;16(1):232-9. doi: https://doi.org/10.1017/dmp.2020.324.
https://doi.org/10.1017/dmp.2020.324...
. No Canadá, uma investigação demonstrou boa capacidade discriminativa para prever a ocorrência de um evento crítico entre pacientes sépticos com valor de 0,82 (IC: 95% 0,75-0,90)1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
. Em outra pesquisa, realizada no Canadá, a área sob a curva ROC foi de 0,76 (IC: 95% 0,75-0,77), para HEWS na população geral e entre os pacientes com suspeita de infecção foi de 0,79 (IC: 95% 0,76-0,81)99. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3.
https://doi.org/10.1186/s13054-019-2355-...
.

Um novo aspecto a ser considerado é a pandemia da coronavírus 2019 (COVID-19) causada pela síndrome respiratória aguda grave coronavírus 2 (SARSCoV- 2), que aumentou substancialmente o número de internações que requerem cuidados críticos e, consequentemente, a falta de disponibilidade de leitos em UTIs.

Assim, o reconhecimento precoce de pacientes que requerem admissão na UTI é uma etapa crítica no tratamento de pacientes com COVID-19, que pode ser sinalizada pela aplicação de EWS2525. Swiss Society of Intensive Care Medicine. Recommendations for the admission of patients with COVID-19 to intensive care and intermediate care units (ICUs and IMCUs). Swiss Med Wkly. 2020;150:w20227. doi: https://doi.org/10.4414/smw.2020.20227.
https://doi.org/10.4414/smw.2020.20227...
. Estudo comparativo com cinco EWS sinalizou a HEWS como uma das escalas de melhor valor preditivo neste grupo de pacientes2424. Hu H, Yao N, Qiu Y. Predictive value of 5 Early Warning Scores for critical COVID-19 patients. Disaster Med Public Health Prep. 2022;16(1):232-9. doi: https://doi.org/10.1017/dmp.2020.324.
https://doi.org/10.1017/dmp.2020.324...
.

Estudos realizados no Brasil, com o intuito de investigar as potencialidades da HEWS e da MEWS, evidenciaram resultados significativos ao detectarem melhorias na segurança do paciente em decorrência do reconhecimento precoce da deterioração fisiológica e da diminuição dos desfechos clínicos desfavoráveis, muitas vezes, caracterizados pelo óbito11. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
https://doi.org/10.1590/0034-7167-2017-0...
,2424. Hu H, Yao N, Qiu Y. Predictive value of 5 Early Warning Scores for critical COVID-19 patients. Disaster Med Public Health Prep. 2022;16(1):232-9. doi: https://doi.org/10.1017/dmp.2020.324.
https://doi.org/10.1017/dmp.2020.324...
,2626. Nascimento JSG, Macedo GO, Borges GB. Predictive power of the early warning scale for clinical deterioration of critically ill patients. Rev Enferm UFSM. 2020;10(e5):1-14. doi: https://doi.org/10.5902/2179769238300.
https://doi.org/10.5902/2179769238300...
.

A HEWS se mostra uma escala diferenciada por incluir uma variação na pontuação de acordo com o volume de oxigênio ofertado, apontando o paciente que se encontra em maior instabilidade do quadro respiratório2424. Hu H, Yao N, Qiu Y. Predictive value of 5 Early Warning Scores for critical COVID-19 patients. Disaster Med Public Health Prep. 2022;16(1):232-9. doi: https://doi.org/10.1017/dmp.2020.324.
https://doi.org/10.1017/dmp.2020.324...
. Outro diferencial foi considerar a presença de confusão mental ou delirium, já que pacientes com doença aguda podem manifestar alteração no estado mental em decorrência de hipóxia, hipotensão, sepse ou distúrbios metabólicos1010. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21.
https://doi.org/10.1017/cem.2017.21...
,2727. Mohammed MA, Faisal M, Richardson D, Scally A, Howes R, Beatson K, et al. The inclusion of delirium in version 2 of the National Early Warning Score will substantially increase the alerts for escalating levels of care: findings from a retrospective database study of emergency medical admissions in two hospitals. Clin Med. 2019;19(2):104-8. doi:https://doi.org/10.7861%2Fclinmedicine.19-2-104.
https://doi.org/10.7861%2Fclinmedicine.1...
.

É válido ressaltar que a complexidade das comorbidades e uso de fármacos interferem na resposta fisiológica do paciente, assim, essa interferência pode implicar a confiabilidade da HEWS - versão brasileira. Em face do exposto, a equipe de enfermagem precisa associar seus conhecimento e experiências a essas ferramentas a fim de identificar os valores que refletem normalidade, ou não, de acordo com a individualidade do paciente55. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705.
https://doi.org/10.12968/bjon.2018.27.12...
,2727. Mohammed MA, Faisal M, Richardson D, Scally A, Howes R, Beatson K, et al. The inclusion of delirium in version 2 of the National Early Warning Score will substantially increase the alerts for escalating levels of care: findings from a retrospective database study of emergency medical admissions in two hospitals. Clin Med. 2019;19(2):104-8. doi:https://doi.org/10.7861%2Fclinmedicine.19-2-104.
https://doi.org/10.7861%2Fclinmedicine.1...
.

CONCLUSÃO

A HEWS foi adaptada para o português brasileiro, validada e demonstrou ser um instrumento confiável para identificar a deterioração clínica em pacientes internados em Serviços de Emergência, especificamente, pronto-socorro.

A priori, destaca-se como limitação do presente estudo a coleta de dados ter sido realizada em apenas um SME, o que dificulta a generalização dos achados. Além disso, embora a investigação tenha correlacionado a ocorrência de eventos críticos com um maior escore de risco identificado pela escala HEWS - versão brasileira, por ser um estudo metodológico de validação, não foi avaliada a sua aplicação dentro do fluxograma sistematizado de condutas pela equipe assistencial a fim de investigar seu impacto na redução de eventos críticos.

Este estudo contribui para a saúde e enfermagem por apresentar um potencial de translação do conhecimento obtido para a prática clínica, na medida em que fornece uma escala adaptada transculturalmente e validada, capaz de identificar a deterioração clínica dos pacientes e subsidiar as melhores práticas nesta perspectiva por contribuir para o processo de trabalho sistematizado, o qual consiste em atividades que possibilitem ao enfermeiro detectar, solucionar e/ou encaminhar as demandas do paciente, minimizando os riscos decorrentes da assistência prestada e, principalmente, contribuindo para a segurança do paciente.

Recomenda-se que sejam realizados estudos metodologicamente bem delineados, com o intuito de aplicar a escala HEWS a outros setores e populações em ambiente intra-hospitalar, bem como dimensionar a influência dos parâmetros utilizados e a interferência do perfil de pacientes de acordo com o uso de fármacos, a idade e as comorbidades apresentadas. Sugere-se, ainda, a realização de estudos de aplicação da escala e seu fluxograma de condutas na prática assistencial para avaliar seu desempenho na redução de PCR e óbito.

REFERENCES

  • 1. Montenegro SMSL, Miranda CH. Evaluation of the performance of the modified early warning score in a Brazilian public hospital. Rev Bras Enferm. 2019;72(6):1428-34. doi: https://doi.org/10.1590/0034-7167-2017-0537.
    » https://doi.org/10.1590/0034-7167-2017-0537.
  • 2. Considine J, Street M, Hutchinson AM, Mohebbi M, Rawson H, Dunning T, et al. Vital sign abnormalities as predictors of clinical deterioration in subacute care patients: A prospective case-time-control study. Int J Nurs Stud. 2020;108:103612. doi: https://doi.org/10.1016/j.ijnurstu.2020.103612.
    » https://doi.org/10.1016/j.ijnurstu.2020.103612.
  • 3. Srivilaithon W, Amnuaypattanapon K, Limjindaporn C, Imsuwan I, Daorattanachai K, Dasanadeba I, et al. Predictors of in-hospital cardiac arrest within 24 h after emergency department triage: a case-control study in urban Thailand. Emerg Med Australas. 2019;31:843-50. doi: https://doi.org/10.1111/1742-6723.13267.
    » https://doi.org/10.1111/1742-6723.13267.
  • 4. Andersen LW, Holmberg MJ, Berg KM, Donnino MW, Granfeldt A. In-hospital cardiac arrest - a review. JAMA. 2019;321(12):1200-10. doi: https://doi.org/10.1001/jama.2019.1696.
    » https://doi.org/10.1001/jama.2019.1696.
  • 5. Grant S, Crimmons S. Limitations of track and trigger systems and the National Early Warning Score. part 2: sensitivity versus specificity. Br J Nurs. 2018;27(12):705-10. doi: https://doi.org/10.12968/bjon.2018.27.12.705
    » https://doi.org/10.12968/bjon.2018.27.12.705
  • 6. Spencer W, Smith J, Date P, Tonnerre E, Taylor DMC. Determination of the best early warning scores to predict clinical outcomes of patients in the emergency department. Emerg Med J. 2019;36:716-721. doi: https://doi.org/10.1136/emermed-2019-208622
    » https://doi.org/10.1136/emermed-2019-208622
  • 7. Green C, Chaudhri S, Premchand M, Peet C, Sadiq A, Strain S, et al. Clinical appropriateness of the use of early warning scores in medical wards. Clin Med. 2020;20(Suppl 2):s82-s83. doi: https://doi.org/10.7861/clinmed.20-2-s82
    » https://doi.org/10.7861/clinmed.20-2-s82
  • 8. Haegdorens F, Van Bogaert P, Roelant E, De Meester K, Misselyn M, Wouters K, et al. The introduction of a rapid response system in acute hospitals: a pragmatic stepped wedge cluster randomised controlled trial. Resuscitation. 2018;129:127-34. doi: https://doi.org/10.1016/j.resuscitation.2018.04.018
    » https://doi.org/10.1016/j.resuscitation.2018.04.018
  • 9. Fernando SM, Fox-Robichaud AE, Rochwerg B, Cardinal P, Seely AJE, Perry JJ, et al. Prognostic accuracy of the Hamilton Early Warning Score (HEWS) and the National Early Warning Score 2 (NEWS2) among hospitalized patients assessed by a rapid response team. Crit Care. 2019;23:60. doi: https://doi.org/10.1186/s13054-019-2355-3
    » https://doi.org/10.1186/s13054-019-2355-3
  • 10. Skitch S, Tam B, Xu M, McInnis L, Vu A, Fox-Robichaud A. Examining the utility of the Hamilton Early Warning Scores (HEWS) at triage: Retrospective pilot study in a Canadian emergency department. CJEM. 2018;20(2):266-74. doi: https://doi.org/10.1017/cem.2017.21
    » https://doi.org/10.1017/cem.2017.21
  • 11. Tam B, Xu M, Kwong M, Wardell C, Kwong A, Fox-Robichaud A. The admission Hamilton Early Warning Score (HEWS) predicts the risk of critical event during hospitalization. Can Journ Gen Int Med. 2016;11(4):24-7. doi: https://doi.org/10.22374/cjgim.v11i4.190
    » https://doi.org/10.22374/cjgim.v11i4.190
  • 12. Brekke IJ, Puntervoll LH, Pedersen PB, Kellett J, Brabrand M. The value of vital sign trends in predicting and monitoring clinical deterioration: a systematic review. PLoS One. 2019;14(1):e0210875. doi: https://doi.org/10.1371/journal.pone.0210875
    » https://doi.org/10.1371/journal.pone.0210875
  • 13. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures [Internet]. Toronto: Institute for Work & Health; 2007 [cited 2021 Jun 11]. Available from: https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
    » https://dash.iwh.on.ca/sites/dash/files/downloads/cross_cultural_adaptation_2007.pdf
  • 14. Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Coletiva. 2011;16(7):3061-8. doi: https://doi.org/10.1590/S1413-81232011000800006
    » https://doi.org/10.1590/S1413-81232011000800006
  • 15. Fehring RJ. The Fehring model. In: Carrol-Johnson RM, Paquete M. Classification of nursing diagnoses: proceeding of the tenth conference. Philadelphia: Lippincott Williams & Wilkins; 1994. p. 55-62.
  • 16. Polit DF, Beck CT. The contente validity index: are you sure you know what’s being reported? critique and recommendations. Res Nurs Health. 2006;29(5):489-97. doi: https://doi.org/10.1002/nur.20147
    » https://doi.org/10.1002/nur.20147
  • 17. Malhotra NK. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman; 2008.
  • 18. Fayers PM, Machin D. Quality of life: the assesment, analysis and interpretation. Chichester, England: John Wiley & Sons, 2007.
  • 19. Oliveira F, Kuznier TP, Souza CC, Chianca TCM. Theoretical and methodological aspects for the cultural adaptation and validation of instruments in nursing. Texto Contexto Enferm. 2018;27(2):e4900016. doi: http://doi.org/10.1590/0104-070720180004900016
    » http://doi.org/10.1590/0104-070720180004900016
  • 20. Oliveira, APA; Urbanetto, JS; Caregnato, RTA. National Early Warning Score 2: ranscultural adaptation to Brazilian Portuguese. Rev Gaúcha Enferm. 2020;41:e20190424. doi: https://doi.org/10.1590/1983-1447.2020.20190424
    » https://doi.org/10.1590/1983-1447.2020.20190424
  • 21. Miranda JOF, Camargo CL, Sobrinho CLN, Portela DS, Monaghan A, Freitas KS, et al. Translation and adaptation of a pediatric early warning score. Rev Bras Enferm. 2016;69(5):833-41. doi: http://doi.org/10.1590/0034-7167-2015-0096
    » http://doi.org/10.1590/0034-7167-2015-0096
  • 22. Al-Kalaldeh M, Suleiman K, Abu-Shahroor L, Al-Mawajdah H. The impact of introducing the Modified Early Warning Score ‘MEWS’ on emergency nurses’ perceived role and self-efficacy: a quasi-experimental study. Int Emerg Nurs. 2019;45:25-30. doi: https://doi.org/10.1016/j.ienj.2019.03.005
    » https://doi.org/10.1016/j.ienj.2019.03.005
  • 23. Martín-Rodríguez F, Castro-Villamor MÁ, Del Pozo Vegas C, Martín-Conty JL, Mayo-Iscar A, Delgado Benito JF, et al. Analysis of the early warning score to detect critical or high-risk patients in the prehospital setting. Intern Emer Med. 2019;14(4):581-9. doi: http://doi.org/10.1007/s11739-019-02026-2
    » http://doi.org/10.1007/s11739-019-02026-2
  • 24. Hu H, Yao N, Qiu Y. Predictive value of 5 Early Warning Scores for critical COVID-19 patients. Disaster Med Public Health Prep. 2022;16(1):232-9. doi: https://doi.org/10.1017/dmp.2020.324
    » https://doi.org/10.1017/dmp.2020.324
  • 25. Swiss Society of Intensive Care Medicine. Recommendations for the admission of patients with COVID-19 to intensive care and intermediate care units (ICUs and IMCUs). Swiss Med Wkly. 2020;150:w20227. doi: https://doi.org/10.4414/smw.2020.20227
    » https://doi.org/10.4414/smw.2020.20227
  • 26. Nascimento JSG, Macedo GO, Borges GB. Predictive power of the early warning scale for clinical deterioration of critically ill patients. Rev Enferm UFSM. 2020;10(e5):1-14. doi: https://doi.org/10.5902/2179769238300
    » https://doi.org/10.5902/2179769238300
  • 27. Mohammed MA, Faisal M, Richardson D, Scally A, Howes R, Beatson K, et al. The inclusion of delirium in version 2 of the National Early Warning Score will substantially increase the alerts for escalating levels of care: findings from a retrospective database study of emergency medical admissions in two hospitals. Clin Med. 2019;19(2):104-8. doi:https://doi.org/10.7861%2Fclinmedicine.19-2-104
    » https://doi.org/10.7861%2Fclinmedicine.19-2-104
  • Fomento/Agradecimento

    Coordenação de Aperfeiçoamento Pessoal de Nível Superior (CAPES)

Editado por

Editor associado

João Lucas Campos de Oliveira

Editor-chefe

Maria da Graça Oliveira Crossetti

Datas de Publicação

  • Publicação nesta coleção
    14 Nov 2022
  • Data do Fascículo
    2022

Histórico

  • Recebido
    02 Fev 2022
  • Aceito
    16 Maio 2022
Universidade Federal do Rio Grande do Sul. Escola de Enfermagem Rua São Manoel, 963 -Campus da Saúde , 90.620-110 - Porto Alegre - RS - Brasil, Fone: (55 51) 3308-5242 / Fax: (55 51) 3308-5436 - Porto Alegre - RS - Brazil
E-mail: revista@enf.ufrgs.br