Desempenho do Escore Pediátrico de Alerta (EPA) de deterioração clínica

Desempeño del Sistema de Alerta Precoz Infantil (SAPI) de deterioración clínica

Resumo

Objetivo

Avaliar a acurácia, utilidade, reprodutibilidade e aplicabilidade do Escore Pediátrico de Alerta (EPA) na identificação da deterioração clínica em crianças e adolescentes hospitalizados.

Métodos

Estudo de teste diagnóstico, prospectivo, realizado entre outubro/2018 a outubro/2019, para medir a acurácia diagnóstica do EPA em uma amostra de 240 crianças, e sua reprodutibilidade e aplicabilidade em uma amostra de 60 crianças. Os dados foram processados e analisados no MedCalc e VassarStats.net.

Resultados

No ponto de corte ≥ 3, o escore apresentou sensibilidade de 73,6%, especificidade de 95,7%, valor preditivo positivo de 83%, valor preditivo negativo de 92,7, área sob a curva ROC de 93,6%, prevalência estimada pelo teste de 19,6%, razão de probabilidade positiva 17,1, probabilidade pós-teste positivo de 77,8%, kappa simples de 0,946.

Conclusão

O estudo fornece evidências sobre a elevada acurácia, utilidade e reprodutibilidade do EPA na identificação da deterioração clínica em um cenário hospitalar pediátrico brasileiro, e considerou o instrumento aplicável no contexto da pesquisa.

Deterioração clínica; Escore de alerta precoce; Criança hospitalizada; Enfermagem pediátrica; Estudo de validação

Resumen

Objetivo

Evaluar la precisión, utilidad, reproducibilidad y aplicabilidad del Sistema de Alerta Precoz Infantil (SAPI) en la identificación del deterioro clínico en niños y adolescentes hospitalizados.

Métodos

Estudio de prueba diagnóstica, prospectiva, realizada entre octubre de 2018 y octubre de 2019, para medir la precisión diagnóstica del SAPI en una muestra de 240 niños y su reproducibilidad y aplicabilidad en una muestra de 60 niños. Los datos fueron procesados y analizados en MedCalc y VassarStats.net.

Resultados

En el punto de corte ≥ 3, el puntaje presentó una sensibilidad del 73,6 %, especificidad del 95,7 %, valor predictivo positivo del 83 %, valor predictivo negativo de 92,7, área bajo la curva ROC del 93,6 %, prevalencia estimada por la prueba del 19,6 %, razón de probabilidad positiva 17,1, probabilidad posprueba positiva del 77,8 %, kappa simple de 0,946.

Conclusión

El estudio presenta evidencias sobre la elevada precisión, utilidad y reproducibilidad del SAPI en la identificación del deterioro clínico en un escenario hospitalario pediátrico brasileño, por lo que el instrumento se consideró aplicable en el contexto de la investigación.

Deterioro clínico; Puntuación de alerta temprana; Niño hospitalizado; Enfermería pediátrica; Estudio de validación

Abstract

Objective

To assess the Pediatric Alert Score (EPA) accuracy, usefulness, reproducibility and applicability in identifying clinical deterioration in hospitalized children and adolescents.

Methods

This is a prospective diagnostic test study, carried out between October/2018 and October/2019, to measure EPA diagnostic accuracy in a sample of 240 children, and its reproducibility and applicability in a sample of 60 children. Data were processed and analyzed on MedCalc and VassarStats.net.

Results

At cut-off point ≥ 3, the score had a sensitivity of 73.6%, specificity of 95.7%, positive predictive value of 83%, negative predictive value of 92.7, area under the ROC curve of 93.6%, estimated prevalence of 19.6%, positive probability ratio of 17.1, positive post-test probability of 77.8%, simple Kappa of 0.946.

Conclusion

The study provides evidence on EPA high accuracy, usefulness and reproducibility in identifying clinical deterioration in a Brazilian pediatric hospital setting, and considered the instrument applicable in the context of the research.

Clinical deterioration; Early warning score; Child hospitalized; Pediatric nursing; Validation study

Introdução

O reconhecimento precoce da piora clínica na criança hospitalizada é primordial para o gerenciamento adequado e oportuno da deterioração.(¹) Nesta perspectiva, os Pediatric Early Warning Score (PEWS) são instrumentos desenvolvidos para sistematizar a avaliação clínica e auxiliar a equipe de saúde na identificação precoce de crianças em deterioração, subsidiando a tomada de decisão e a implementação de cuidados direcionados à redução da probabilidade de desfechos desfavoráveis.(²)

Os PEWS são ferramentas de simples aplicação, baseadas em parâmetros clínicos e sinais vitais de fácil mensuração, sem auxílio de equipamentos complexos e caros, e atualmente são considerados ramos aferentes dos sistemas de resposta rápida à deterioração clínica pediátrica.(³,⁴)

O primeiro PEWS, publicado em 2005, foi o Brighton Paediatric Early Warning Score (BPEWS). Trata-se de um sistema de pontuação composto por três componentes de avaliação: neurológico, cardiovascular e respiratório, além do uso de nebulização e presença de vômitos persistentes no pós-operatório. A pontuação pode variar entre 0 e 13 pontos, e a partir de 3 pontos, quanto maior a pontuação maior o risco de deterioração. (¹,⁵,⁶)

No Brasil, o BPEWS passou pelo processo de tradução, adaptação e validação para o contexto brasileiro (BPEWS-Br), e apresentou resultados animadores, tornando-se o primeiro escore pediátrico de alerta precoce validado em um cenário brasileiro com a finalidade de auxiliar na detecção precoce de piora clínica em crianças no espaço hospitalar.(¹)

Após validação do BPEWS-Br, seus autores, a partir de uma ampla discussão, levantaram a necessidade de ajustes no instrumento, a fim de incluir novos indicadores de avaliação da deterioração clínica pediátrica descritos na literatura e atender melhor ao contexto de estudo. Apesar do BPEWS-Br ter apresentado desempenho satisfatório, ele não continha indicadores considerados importantes preditores de piora clínica na criança, a exemplo de determinados critérios que podem auxiliar no rastreio de pacientes com suspeita de sepse. O propósito era dispor de uma ferramenta válida e mais adequada à realidade do serviço, da equipe, dos pacientes e do contexto da saúde pública brasileira.(¹)

Um novo instrumento, denominado de Escore Pediátrico de Alerta (EPA), foi desenvolvido a partir do BPEWS-Br. Inicialmente foi validado sob a óptica do conteúdo, apresentando um Índice de Validade de Conteúdo Geral de 0,97, considerado de fácil linguagem, boa estrutura e apresentação, além de contemplar indicadores pertinentes, de relevância clínica e aplicáveis ao local de estudo.(⁷) Entretanto, seu desempenho no reconhecimento da deterioração clínica precisa ser mesurado a fim de produzir evidências para fortalecer e sustentar sua utilização no cenário nacional.

Estima-se que, desde a criação e validação do primeiro PEWS, mais de 30 escores estejam em uso, cada um com diferentes parâmetros avaliados, formatos, bem como grau de validação.(⁸) Evidências sobre validade e utilidade clínica dos sistemas de alerta pediátricos ainda são limitadas, dado o extenso número de escores em utilização. Sendo assim, pesquisas para obtenção de resultados robustos, válidos e clinicamente significativos para avaliar os PEWS em diferentes cenários são necessárias. Compreender e definir as propriedades que levam ao alto desempenho pode apoiar uma abordagem mais baseada em evidências para o desenvolvimento de PEWS futuros.(⁹) Diante da variabilidade desses instrumentos, a decisão sobre a adoção de um PEWS, precisa ser acompanhada de evidências sobre sua validação nos contextos de cuidado.

O objetivo desse estudo é avaliar a acurácia, utilidade, reprodutibilidade e aplicabilidade do Escore Pediátrico de Alerta na identificação da deterioração clínica em crianças e adolescentes hospitalizados.

Métodos

Trata-se de um estudo quantitativo, prospectivo, de teste diagnóstico, para verificar o desempenho do EPA na identificação da deterioração clínica em crianças e adolescentes em um contexto hospitalar. A condução do estudo foi baseada nas recomendações do Standards for Reporting of Diagnostic Accuracy Studies (STARD).(¹⁰)

O local da pesquisa foi um hospital materno-infantil de grande porte, referência para atendimento de crianças e adolescentes menores de 16 anos, com 240 leitos, localizado no município de Feira de Santana, segunda maior cidade do estado da Bahia, Brasil.

A população de referência do estudo consiste em crianças e adolescentes de 1 mês a 15 anos, internados nas unidades clínico-cirúrgicas e de emergência do hospital. Foram excluídos da amostra: recém-nascidos, pacientes com idade ≥ 16 anos que permanecem em acompanhamento no hospital devido ao diagnóstico; pacientes com alta médica prescrita em prontuário; pacientes com diagnóstico de cardiopatia descrito no prontuário; em tratamento oncológico; em isolamento e em uso de ventilação mecânica invasiva. Optou-se por excluir recém-nascidos, pacientes cardiopatas e com doenças oncológicas por já existir na literatura propostas validadas de escores para esta população.(¹¹-¹³) Pacientes oncológicos também foram excluídos por estarem em tratamento quimioterápico e com manipulação mais restrita pela baixa imunidade. Pacientes com indicação de isolamento foram excluídos pelo risco de infecção cruzada durante a coleta de dados.

Foi calculada uma amostra de 240 pacientes para verificação da acurácia diagnóstica e utilidade do EPA. O cálculo amostral foi feito por meio da fórmula: N=1,96²[0,17(1-0,17)/(0,05²), somando mais 10% ao valor, considerando as perdas. A proporção de deterioração clínica adotada para o cálculo amostral foi 17%, encontrada em estudo anterior.(¹) O espectro do Intervalo de Confiança (IC) foi de 0,10. A semiamplitude do IC como erro aceitável foi 0,05. O valor de Z foi 1,96.(¹⁴) Para verificação da reprodutibilidade entre os observadores e aplicabilidade do EPA foram avaliadas, por amostragem de conveniência, 60 crianças e adolescentes.

Foram utilizados três instrumentos de medida e coleta de dados: o padrão de referência ou padrão ouro, o EPA e o instrumento para coleta dos dados sociodemográficos e clínicos para caracterização da amostra. O padrão de referência para a determinação da deterioração das crianças e adolescentes participantes do estudo foi o conjunto de critérios clínicos que compõem a Avaliação Clínica Primária da Criança Gravemente Doente recomendados pela American Heart Association (AHA) e pela American Academy of Pediatrics.(¹⁵)

Dentre os critérios da AHA, para avaliação neurológica foi utilizada a Escala de Resposta Pediátrica AVDN (Alerta, Voz, Dor, Não responde), a fim de otimizar o tempo da avaliação. Optou-se pela exclusão da pressão arterial, visto que a hipotensão em crianças se caracteriza como um sinal tardio de descompensação cardiovascular.(⁵) Além disso, a falta de uma rotina consistente para mensuração da pressão arterial em crianças nas enfermarias poderia ser um fator dificultador para a coleta de dados.

A partir de uma ampla discussão entre os pesquisadores sobre o padrão de referência adotado,(¹⁵) definiu-se que o paciente com 3 ou mais indicadores alterados no padrão de referência seria classificado “com sinais de deterioração”.

O EPA (Figura 1) é composto por critérios clínicos de avaliação neurológica, respiratória (frequência respiratória, padrão respiratório, suporte de oxigênio) e cardiovascular (cor da pele, tempo de enchimento capilar, frequência cardíaca, temperatura e diurese), cuja pontuação pode variar de 0 a 11 pontos.(⁷)

Figura 1
Escore Pediátrico de Alerta – EPA (frente e verso)

As avaliações dos critérios clínicos para aplicação do padrão de referência e do EPA foram padronizadas a partir de um manual operacional, a fim de calibrar os observadores e minimizar o viés de aferição. Além disso, foi aplicado um teste piloto em 20 pacientes para sanar possíveis dúvidas no momento da aplicação, bem como adequar a coleta de dados à dinâmica da unidade de internação, ao trabalho da equipe multiprofissional e, principalmente, às crianças e seus acompanhantes.

A coleta dos dados ocorreu no período de Outubro/2018 a Outubro/2019. As 240 crianças e adolescentes que participaram da verificação da acurácia diagnóstica e utilidade do EPA foram selecionadas mediante sorteio a partir da lista de pacientes internados nas unidades. As aplicações do EPA e do padrão de referência foram realizadas, de forma cega, por uma enfermeira com experiência em pediatria e por uma médica pediatra, respectivamente, respeitando um intervalo de 5 a 10 minutos entre as aferições. Os sinais de deterioração clínica identificados nos pacientes foram comunicados formalmente à equipe de plantão e as condutas pertinentes foram realizadas.

A coleta dos dados para verificação da reprodutibilidade foi realizada em 60 crianças e adolescentes por duas enfermeiras com experiência em pediatria que aplicaram o EPA com intervalo de 5 minutos entre as aferições, de forma independente e cega. Além disso, as enfermeiras cronometraram o tempo de avaliação do paciente e aplicação do escore para avaliar sua aplicabilidade no contexto de estudo.

Os dados obtidos foram digitados em dois bancos construídos no programa Excel versão 16.27 para confrontar as informações e identificar possíveis erros de digitação. Feito isto, foram processados eletronicamente no MedCalc® Statistical Software version 20.007 a fim de estimar os indicadores de acurácia do EPA.

Para as variáveis qualitativas foram calculadas as frequências simples, absolutas e relativas. Para as variáveis quantitativas contínuas foram calculadas as médias, medianas e medidas de dispersão (desvio padrão e intervalo interquartil).

Os indicadores adotados para medir a acurácia e utilidade do EPA foram: Sensibilidade, Especificidade, Valor Preditivo Positivo (VPP) e Valor Preditivo Negativo (VPN), Receiver Operating Characteristic Curve (ROC curve), Razão de Probabilidade Positiva (RPP), Razão de Probabilidade Negativa (RPN), Probabilidade Pós-teste Positivo (PPT+) e Probabilidade Pós-teste Negativo (PPT-). Além desses, foram calculadas a Prevalência determinada pelo padrão de referência e a Prevalência estimada pelo teste.

Para medir a reprodutibilidade foram calculados os coeficientes de concordância Kappa Simples e Kappa Ponderado através do programa VassarStats.net. Para o cálculo do Kappa Simples, a classificação das crianças foi dicotomizada em “com sinais de deterioração” e “sem sinais de deterioração”, sendo considerado o ponto de corte ≥ 3 para a presença da deterioração clínica. Já para o Kappa Ponderado foi mantida a hierarquia natural (relativa à gravidade do evento) entre as categorias do escore, que variaram de 0 a 8 pontos na amostra estudada.

Para avaliação dos resultados do índice Kappa foram adotados os seguintes critérios de referência para interpretação do grau de concordância: < 0,00 (pobre), 0,00–0,20 (leve), 0,21–0,40 (razoável), 0,41–0,60 (moderada), 0,61–0,80 (substancial), 0,81–1,00 (quase perfeita).(¹⁶)

A aplicabilidade do EPA foi mensurada pela média de tempo, em minutos, dispendida para aplicação do escore pelas enfermeiras.

O estudo foi aprovado por Comitê de Ética em Pesquisa (CAAE: 79484117.2.0000.0053) e atendeu todos os preceitos éticos para pesquisas que envolvem seres humanos.

Resultados

A amostra composta por 240 crianças e adolescentes variou quanto a idade entre 1 mês e 15 anos, sendo a mediana de 4 anos (intervalo interquartil: 7 anos). Em sua maioria, as crianças possuíam diagnóstico clínico como causa do internamento (93,0%), com prevalência das infecções e problemas relacionados ao aparelho respiratório. Mais da metade da amostra não tinha comorbidades (68,0%) e história de internamento anterior (59,0%).

A tabela 1 descreve os indicadores de acurácia e utilidade do EPA para os pontos de corte encontrados. Os escores ≥ 2 e ≥ 3 foram considerados os melhores pontos de corte. O EPA ≥ 2 apresentou sensibilidade de 86,8%, especificidade de 87,7% e VPP de 66,7%. Para o EPA ≥ 3, a sensibilidade e especificidade foram de 73,6% e 95,7%, respectivamente, e VPP de 83%.

Tabela 1
Indicadores de acurácia e utilidade do EPA

EPA	S	IC 95%	E	IC 95%	VPP	IC 95%	VPN	IC 95%	RPP	IC 95%	RPN	IC 95%	PPT+	PPT-	PET
0	100	93,3 - 100	0,0	0,0 - 2,0	22,1	22,1 - 22,1	-	-	1	1,0 - 1,0	-	-	21,8	-	100
≥ 1	98,1	89,9 - 100	57,7	50,3 - 64,9	39,7	35,7 - 43,9	99,1	93,9 - 99,9	2,3	2,0 - 2,8	0,03	0,0 - 0,2	39,1	0,8	54,6
≥ 2	86,8	74,7 - 94,5	87,7	82,1 - 92,0	66,7	57,4 - 74,8	95,9	92,1 - 97,9	7,06	4,7 - 10,5	0,15	0,0 - 0,3	66,3	4	28,7
≥ 3	73,6	59,7 - 84,7	95,7	91,7 - 98,1	83,0	70,8 - 90,7	92,7	89,1 - 95,3	17,2	8,6 - 34,5	0,28	0,2 - 0,4	82,7	6	19,6
≥ 4	49,1	35,1 - 63,2	98,9	96,2 - 99,9	92,9	76,1 - 98,1	87,3	84,0 - 89,9	45,9	11,2 - 187	0,51	0,4 - 0,7	92,7	12,4	11,7
≥ 5	26,4	15,3 - 40,3	99,5	97,1 – 100	93,3	65,3 - 99,0	82,7	80,2 - 84,9	49,4	6,6 -367,1	0,74	0,6 - 0,9	93,2	17,1	6,2
≥ 6	17,0	8,1 - 29,8	100	98,0 – 100	100	98,0 - 100	81	79,0 - 82,8	-	-	0,83	0,7 - 0,9	-	18,8	3,7
≥ 7	13,2	6,54 - 24,8	100	98,0 – 100	100	98,0 - 100	-	-	-	-	0,87	0,8 - 0,9	-	19,5	2,9

• S: Sensibilidade; E: Especificidade; IC: Intervalo de Confiança; VPP: Valor Preditivo Positivo; VPP: Valor Preditivo Negativo; RPP: Razão de Probabilidade Positiva; RPN: Razão de Probabilidade Negativa; PET: Prevalência Estimada pelo Teste; PPT+: Probabilidade Pós-Teste Positivo; PPT-: Probabilidade Pós-Teste Negativo

A Prevalência estimada de pacientes com deterioração clínica disparada pelo EPA ≥ 3 foi de 19,6%, se aproximando mais da Prevalência determinada pelo padrão de referência (22,1%) quando comparada a Prevalência estimada pelo EPA ≥ 2 (28,7%).

No que se refere a utilidade do EPA, foram utilizadas as razões de probabilidade para calcular as Probabilidades Pós-teste Positivo (PPT+) e Pós-teste Negativo (PPT-). A PPT+ de deterioração clínica aumentou a probabilidade pré-teste (prevalência estimada pelo padrão de referência) de 22,1% para 59% na presença de um escore ≥ 2 e para 82,7% na presença de um escore ≥ 3. Já a PPT- reduziu a probabilidade pré-teste de 22,1% para 3%, se EPA < 2, e para 6%, se EPA < 3.

Desse modo, na amostra avaliada pelo estudo, o escore ≥ 3 pode ser adotado como melhor ponto de corte, entendendo que este valor agregou melhor acurácia e utilidade ao teste.

O desempenho geral do instrumento em discriminar a presença e ausência de deterioração clínica foi avaliado a partir da área sob a curva ROC entre o EPA e o padrão de referência (Figura 2). O valor encontrado foi de 0,936 (IC 95%: 0,89 - 0,96), indicando que, em 93,6% dos casos, o EPA será capaz de discriminar corretamente as crianças em deterioração clínica, e em apenas 6,4% o instrumento fornecerá falsos resultados. A partir da curva ROC é possível afirmar também que o melhor ponto de corte do EPA foi 3, visto que está mais próximo do canto superior esquerdo do gráfico. O ponto 3 forneceu 4,3% de resultados falso positivos, já o ponto 2 forneceu 12,3%.

Figura 2
Curva ROC* entre EPA e o padrão de referência

Para avaliar a reprodutibilidade de aplicação do EPA entre os enfermeiros foram calculados o coeficiente Kappa simples, a partir da dicotomização do escore no ponto 3 [0,946 (IC: 0,842 - 1,00)], e o coeficiente Kappa ponderado [0,834 (IC: 0,731 - 0,9162)], mantendo os pontos de corte do EPA mensurados na amostra. Para verificar a aplicabilidade do EPA no cenário de estudo, foi mensurado o tempo médio dispendido para avaliação do paciente e aplicação do instrumento pelas duas enfermeiras, sendo 4,2 minutos (DP: ±1,0) e 4,7 minutos (DP: ±1,8), respectivamente, com tempo mínimo de dois e máximo de onze minutos. As crianças com EPA ≥ 3 demandaram um maior tempo médio para avaliação por uma das enfermeiras (5,0 minutos) quando comparadas às crianças com EPA ≤ 2 (4,6 minutos), porém, para a segunda enfermeira não houve diferença nesse sentido (4,2 minutos). Assim, pode ser que o tempo para aplicação do EPA seja influenciado pelo grau de deterioração clínica do paciente. Ainda sobre a aplicabilidade do EPA, as enfermeiras participantes do estudo sinalizaram que o uso de critérios clínicos práticos e que não exigem equipamentos mais sofisticados são características positivas para aplicação do escore no contexto. Porém, elas trouxeram como limitação a necessidade de suporte da equipe médica para sua efetiva implantação.

Discussão

Um princípio básico para adoção de um escore de alerta é a sua capacidade em identificar de forma acurada e confiável os sinais de piora clínica de um paciente. Estudos para verificação de desempenho dos PEWS, geralmente utilizaram como indicadores de validade as medidas de sensibilidade, especificidade, valores preditivos e/ou área sob a curva ROC.¹,⁶,¹⁷ Nesse estudo, para a validação do EPA, além desses indicadores, utilizou-se as razões de probabilidade e as probabilidades pós-teste positivo e negativo.

O melhor ponto de corte do EPA encontrado nesse estudo, considerado capaz de alertar uma possível deterioração clínica foi o escore 3, ponderando o equilíbrio entre a sensibilidade, especificidade e uma excelente área sob a curva ROC (AUC).(²⁵-²⁷) A AUC encontrada no EPA (93,6%) foi similar à do BPEWS-Br (91,9%) e superior a encontrada em outros estudos, cujos valores variaram de 69% a 89%.(¹,⁶,¹⁷-¹⁹,²¹-²⁴)

Não há um padrão de aceitabilidade entre sensibilidade e especificidade, mas sugere-se que ambas apresentem equilíbrio entre os valores mais altos possíveis.(²⁵-²⁷) A sensibilidade e a especificidade do EPA ≥ 3 foram de 73,6% e 95,7%. Estudos que validaram BPEWS em outros cenários, adotando diferentes pontos de corte que variaram de 1 a 4, encontraram resultados semelhantes para a sensibilidade e especificidade, respectivamente: 79,8% e 65,2% para o ponto de corte ≥ 1; 58% e 75%, 72% e 88%, 68,4% e 81,6% para o ponto de corte ≥ 2; 62% e 89% para o ponto de corte ≥ 2,5; 90,2% e 74,4%, 32% e 93% e 73,9% e 95,5% para o ponto de corte ≥ 3; e 14,8% e 97,7% para o ponto de corte ≥ 4.(¹,⁶,¹⁷-¹⁹,²¹-²⁴)

Para estimar a predição da deterioração clínica pediátrica foram calculados os valores preditivos positivo (VPP) e negativo (VPN), a fim de medir a probabilidade de piora ou não do paciente diante da positividade ou negatividade do escore.(²⁶) Considerando o ponto de corte ≥ 3, o EPA apresentou VPP de 83%, superior ao encontrado em alguns estudos que validaram versões adaptadas do BPEWS: 36% e 15% no ponto de corte ≥ 2, 77,3% e 5,8% no ponto de corte ≥ 3 e 58% no ponto de corte ≥ 4.(¹,⁶,¹⁷,²³,²⁴) O VPN do EPA ≤ 3 foi de 92,7% e quatro estudos encontraram valores próximos ou superiores para os PEWS avaliados: 94,7% e 99,8% no ponto de corte ≥ 3; 96% e 98% no ponto de corte ≥ 2.(¹,⁶,¹⁷,²³)

A fim de avaliar a utilidade do EPA, calculou-se a Razão de Probabilidade (RP), cujos valores no ponto de corte ≥ 3 foi de 17,2 (RPP) e 0,28 (RPN). Bons testes diagnósticos devem apresentar uma RPP > 10, indicando que seu resultado positivo contribui significativamente para o diagnóstico em questão, mostrando-se um instrumento util. Para os valores de RPN, quanto mais próximo de zero, menor a probabilidade de doença diante do teste negativo.(²⁷)

Dentre os estudos que validaram o BPEWS, foram identificados quatro, os quais trabalharam com a RP. Para a RPP, apenas o BPEWS-Br apresentou um valor similar ao do EPA, de 16,6, e os demais estudos apresentaram valores < 10, com variação dos pontos de corte entre ≥1 e ≥ 3: 6,2, 2,3 e 4,72. Para a RPN, a maioria dos estudos encontraram valores próximos ao encontrado no EPA: 0,27, 0,32, 0,3 e um estudo encontrou valor superior de 0,73.(¹,¹⁷,²¹,²²)

A partir da RP pode-se encontrar a Probabilidade Pós-teste (PPT). Esse indicador também endossa a utilidade de um teste diagnóstico, pois informa o quanto o resultado do teste aumentará (PPT+) ou diminuirá (PPT-) a prevalência da doença (probabilidade pré-teste) naquele cenário.(²⁷) Considerando a probabilidade pré-teste de deterioração clínica de 22,1% encontrada pelo padrão de referência, a PPT+ do EPA foi de 82,7% e PPT- foi de 6% no ponto de corte ≥ 3. Esses valores são similares aos encontrados no único estudo que avaliou a utilidade do BPEWS em um contexto brasileiro, encontrando a PPT+ de 80% e a PPT- de 6% para o mesmo ponto de corte.(¹)

A Prevalência Estimada (PE) de deterioração clínica pelo EPA também foi calculada nesse estudo, refletindo a razão entre o número de pessoas com deterioração clínica segundo o EPA e a população sob risco. A Prevalência de deterioração determinada pelo padrão de referência foi de 22,1%, já a PE pelo EPA ≥ 3 foi de 19,6%. No estudo de validação do BPEWS-Br, considerando o escore ≥ 3, a PE pelo EPA foi de 16,2% e a determinada pelo padrão de referência foi de 17%.(¹) O estudo que validou a primeira versão modificada do BPEWS adotou como padrão de referência a transferência para UTI e encontrou uma PE de 24,2% para o escore ≥ 3.(⁶)

A reprodutibilidade do EPA foi mensurada pelo Coeficiente kappa. O EPA apresentou um kappa simples de 0,946 e um kappa ponderado de 0,824. Portanto, o instrumento apresentou um grau de concordância quase perfeito, tanto para o kappa simples quanto para o kappa ponderado.(¹⁶)

Alguns estudos verificaram a reprodutibilidade do BPEWS no processo de validação. Dois deles encontraram valores de kappa simples considerados substanciais: 0,75 e 0,74; e outros dois encontraram valores quase perfeitos: 0,85 e 0,91.(¹⁷,²²,²⁸,²⁹) Apenas um estudo que validou o BPEWS calculou também o kappa ponderado, encontrando um valor de 0,80.(²⁹) Outro estudo que buscou avaliar a confiabilidade inter examinadores entre enfermeiros que utilizam sistemas PEWS na região central da Dinamarca, identificou que estes atribuíram a mesma pontuação agregada para dois modelos de PEWS em 76% dos casos. Os coeficientes de correlação intraclasse para a pontuação agregada nos dois modelos PEWS foram 0,98 e 0,95.(³⁰)

Um PEWS deve ser objetivo, de fácil e rápida aplicação a fim de não gerar sobrecarga de trabalho ou trabalho extra para a equipe.(⁵,²⁹) Nesse estudo, a aplicabilidade do EPA foi relacionada ao tempo dispensado para sua aplicação, sendo que o tempo médio total dispensado para aplicação (4,2 e 4,8 minutos) foi um pouco superior ao encontrado para o BPEWS-Br (4,1 e 3,5 minutos).(²⁹) Isso, provavelmente, pode estar associado ao fato de o EPA agregar mais indicadores clínicos que o BPEWS.

O tempo cronometrado para aplicação do BPEWS original foi descrito como 30 segundos. Esse tempo foi reduzido à medida que o avaliador se familiarizava com o instrumento.(⁵) Para aplicação do EPA no estudo, mesmo que o paciente estivesse monitorizado, foi realizada a contagem das frequências cardíaca e respiratória, além da aferição da temperatura axilar durante um minuto, conforme manual de instrução do equipamento. Sendo assim, acredita-se que, quando incorporado na rotina de avaliação da enfermeira e houver familiaridade com o escore, o tempo despendido para sua aplicação poderá ser reduzido gradativamente.

Uma característica do EPA, assim como do BPEWS, que pode facilitar e agilizar sua aplicação é a não inclusão da pressão arterial (PA) como critério clínico, visto que a sua mensuração em crianças exige tempo, equipamentos apropriados, padronização do tamanho dos manguitos e uma rotina consistente para aferição. Esses fatores poderiam dificultar a implementação do EPA em muitas realidades brasileiras.

No que se refere às limitações do EPA, nesta pesquisa, o escore não foi validado para uso em recém-nascidos, crianças cardiopatas e com doenças oncológicas, não sendo recomendado sua aplicação para estas populações, o que gera uma lacuna para a possibilidade de novos estudos nesta perspectiva. Para essas populações existem escores validados em cenários internacionais que precisam ser testados em hospitais brasileiros, a exemplo do The Neonatal Trigger Score para neonatos, do Cardiac Children’s Hospital Early Warning Score para pacientes cardiopatas e do The Children’s Hospital Early Warning Score para pacientes com doenças oncológicas.(¹¹-¹³)

O suporte da equipe médica foi apontado pelas enfermeiras como limitação para a efetiva implantação do EPA. A utilidade dos PEWS é relatada no que se refere a identificação de crianças doentes em deterioração clínica, a intervenção oportuna da equipe multidisciplinar, a comunicação efetiva e a confiança no cuidado de crianças. Porém, seu uso ainda é limitado devido à variação das pontuações e configurações.(³¹) Esse cenário suscita a necessidade de uma padronização de acordo a cada contexto.

Autores sugerem como prioridades de pesquisas sobre o PEWS estudos que busquem: determinar suas características preditivas em diferentes cenários clínicos, populações e estruturas organizacionais; avaliar o efeito sobre a mortalidade e morbidade; investigar barreiras e fatores facilitadores para sua implementação; considerar o desenvolvimento de um PEWS nacional para padronizar na prática; além de compreender o papel de fatores humanos na sua implementação e explorar o papel da tecnologia na identificação e escalonamento de crianças em risco de deterioração.(¹⁰) Desse modo, ainda há muitas lacunas a serem preenchidas no que se refere ao conhecimento científico e produção de evidências sobre os PEWS, além de desafios a serem superados, principalmente no contexto nacional.

Em relação ao uso desses escores pelos serviços brasileiros, estudo transversal, retrospectivo, avaliou a adesão dos enfermeiros ao preenchimento do PEWS em um Serviço de Emergência a partir da análise de 1.219 prontuários e encontrou 75,2% de adesão, o que aponta para a necessidade de ações para educação profissional, com a finalidade de melhorar os indicadores relacionados à aplicação do PEWS e garantia de assistência segura.(³²) Autores afirmam que é possível implementar um PEWS em ambientes com recursos limitados. No entanto, este é um processo que consome tempo e energia, e requer uma equipe ativa e envolvida para o sucesso da implementação.(³³)

Escores pediátricos de alerta têm sido destacados pelo seu desempenho no reconhecimento precoce da piora clínica, já que fornecem evidências quantificáveis da deterioração. Porém, é importante destacar que os PEWS não irão identificar todas as crianças em risco de piora clínica, seja pela velocidade ou pelo mecanismo envolvido na deterioração, sendo essencial o treinamento da equipe para reconhecer padrões comuns de deterioração e não confiar no PEWS como único mecanismo de rastreio. No entanto, eles podem ser um complemento valioso para a tomada de decisão clínica, particularmente para a equipe com menor experiência, visto que são frequentemente acompanhadas por um algoritmo de escalonamento que indica a ação a ser tomada diante de cada pontuação.(¹⁰)

Diante do exposto, os PEWS podem não apenas melhorar o poder de reconhecimento precoce da instabilidade clínica, mas também aumentar a consciência situacional da equipe e padronizar a comunicação, de modo que toda equipe, com diferentes níveis de formação, entenda a gravidade da situação. Quando adequadamente validados, e aliados a algoritmos de cuidado, podem desencadear ações oportunas e auxiliar na gestão da deterioração clínica.

Conclusão

O presente estudo fornece evidências sobre a elevada acurácia, utilidade e reprodutibilidade do EPA na identificação da deterioração clínica em um cenário hospitalar pediátrico brasileiro, e considerou o instrumento aplicável no contexto da pesquisa. Buscou seguir todo o rigor metodológico de um estudo de teste diagnóstico, porém limita-se por ser uma pesquisa unicêntrica e não validada, até o momento, para uso em recém-nascidos, crianças cardiopatas e com doenças oncológicas. A partir das evidências apresentadas, o EPA foi considerado um instrumento válido, útil, confiável e aplicável no reconhecimento precoce da deterioração clínica em crianças e adolescentes, podendo conferir à enfermeira maior autonomia, e, se vinculado a um algoritmo de cuidados, nortear ações de apoio e melhora na tomada de decisão em momentos críticos junto à equipe multidisciplinar. Destaca-se que, a melhoria do cuidado a pacientes em deterioração clínica transcende a aplicação de um escore de alerta. É preciso pensar em um sistema multifacetado, disparado a partir do reconhecimento precoce e que contemple a implementação de cuidados apropriados, pessoal treinado, recursos adequados e auditorias para melhorar o tratamento e aumentar a segurança do paciente. O próximo desafio é a padronização de um único Escore Pediátrico de Alerta no cenário nacional, estabelecendo uma linguagem comum entre os profissionais para reconhecer e responder prontamente à deterioração em crianças e adolescentes. Além disso, são necessários estudos sobre impacto da implantação destes instrumentos nos cenários de cuidado.

Agradecimentos

Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e ao Ministério da Saúde (MS), chamada MCTIC/CNPq nº 28/2018 – Financiamento do Projeto “Reconhecimento da deterioração clínica pediátrica no contexto hospitalar da saúde da criança no município de Feira de Santana – Bahia - Brasil” da Universidade Estadual de Feira de Santana (UEFS), Processo nº 405101/2018-0. À Universidade Estadual de Feira de Santana. Ao Hospital Estadual da Criança e toda sua equipe.

Referências

• ¹
  Miranda JO, Camargo CL, Nascimento CL, Portela DS, Monaghan A. Accuracy of a pediatric early warning score in the recognition of clinical deterioration. Rev Lat Am Enfermagem. 2017;25:e2912.
• ²
  Lambert V, Matthews A, MacDonell R, Fitzsimons J. Paediatric early warning systems for detecting and responding to clinical deterioration in children: a systematic review. BMJ Open. 2017;7(3):e014497. Review.
• ³
  Jensen CS, Aagaard H, Olesen HV, Kirkegaard H. A multicentre, randomised intervention study of the Paediatric Early Warning Score: study protocol for a randomised controlled trial. Trials. 2017;18(1):267.
• ⁴
  Gawronski O, Parshuram C, Cecchetti C, Tiozzo E, Degli Atti ML, Dall’Oglio I, et al. Qualitative study exploring factors influencing escalation of care of deteriorating children in a children’s hospital. BMJ Paediatr Open. 2018;2(1):1–8.
• ⁵
  Monaghan A. Detecting and managing deterioration in children. Paediatr Nurs. 2005;17(1):32-5. Review.
• ⁶
  Tucker KM, Brewer TL, Baker RB, Demeritt B, Vossmeyer MT. Prospective evaluation of a pediatric inpatient early warning scoring system. J Spec Pediatr Nurs. 2009;14(2):79-85.
• ⁷
  Oliveira TL, Miranda JO, Sobrinho CL, Mendoza RF, Monaghan AP, Alencar AA. Desenvolvimento e validação de conteúdo do escore pediátrico de alerta. Rev Soc Bras Enferm Ped. 2021;21(2):91-101.
• ⁸
  Roland D, Oliver A, Edwards ED, Mason BW, Powell CV. Use of paediatric early warning systems in Great Britain: has there been a change of practice in the last 7 years? Arch Dis Child. 2014;99(1):26-9.
• ⁹
  Chapman SM, Maconochie IK. Early warning scores in paediatrics: an overview. Arch Dis Child. 2019;104(4):395-9. Review.
• ¹⁰
  Cohen JF, Korevaar DA, Altman DG, Bruns DE, Gatsonis CA, Hooft L, et al. STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration. BMJ Open. 2016;6(11):e012799.
• ¹¹
  Simeone S, Platone N, Serra N, Assanta N, Guillari A, Rea T, et al. Cardiac Children’s Hospital Early Warning Score: Italian Validation. J Pediatr Nurs. 2020;51:e21-6.
• ¹²
  Mortensen N, Augustsson JH, Ulriksen J, Hinna UT, Schmölzer GM, Solevåg AL. Early warning- and track and trigger systems for newborn infants: a review. J Child Health Care. 2017;21(1):112-20. Review.
• ¹³
  Agulnik A, Forbes PW, Stenquist N, Rodriguez-Galindo C, Kleinman M. Validation of a Pediatric Early Warning Score in Hospitalized Pediatric Oncology and Hematopoietic Stem Cell Transplant Patients. Pediatr Crit Care Med. 2016;17(4):e146-53.
• ¹⁴
  Andrade AL, Zicker F. Métodos de investigação epidemiológica em doenças transmissíveis. Brasília (DF): Organizaçäo Pan-Americana da Saúde;Fundaçäo Nacional da Saúde; 1997. 182 p.
• ¹⁵
  American Heart Association. Suporte avançado de vida em pediatria manual do profissional. Suporte avançado de vida em pediatria manual do profissional. EUA: Ourora; 2017.
• ¹⁶
  Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
• ¹⁷
  Gold DL, Mihalov LK, Cohen DM. Evaluating the pediatric early warning score (PEWS) system for admitted patients in the pediatric emergency department. Acad Emerg Med. 2014;21(11):1249–56.
• ¹⁸
  Zhai H, Brady P, Li Q, Lingren T, Ni Y, Wheeler DS, et al. Developing and evaluating a machine learning based algorithm to predict the need of pediatric intensive care unit transfer for newly hospitalized children. Resuscitation. 2014;85(8):1065–71.
• ¹⁹
  Skaletzky SM, Raszynski A, Totapally BR. Validation of a modified pediatric early warning system score: a retrospective case-control study. Clin Pediatr (Phila). 2012;51(5):431–5.
• ²⁰
  Akre M, Finkelstein M, Erickson M, Liu M, Vanderbilt L, Billman G. Sensitivity of the pediatric early warning score to identify patient deterioration. Pediatrics. 2010;125(4):e763-9.
• ²¹
  Seiger N, Maconochie I, Oostenbrink R, Moll HA. Validity of different pediatric early warning scores in the emergency department. Pediatrics. 2013;132(4):841–50.
• ²²
  Lillitos PJ, Hadley G, Maconochie I. Can paediatric early warning scores (PEWS) be used to guide the need for hospital admission and predict significant illness in children presenting to the emergency department? An assessment of PEWS diagnostic accuracy using sensitivity and specificity. Emerg Med J. 2016;33(5):329-37,
• ²³
  Lampin ME, Duhamel A, Behal H, Recher M, Leclerc F, Leteurtre S. Use of paediatric early warning scores in intermediate care units. Arch Dis Child. 2020;105(2):173-9.
• ²⁴
  Bradman K, Borland M, Pascoe E. Predicting patient disposition in a paediatric emergency department. J Paediatr Child Health. 2014;50(10):E39–44.
• ²⁵
  Ferreira JC, Patino CM. Understanding diagnostic tests. Part 1. J Bras Pneumol 2017;43(5):330.
• ²⁶
  Patino CM, Ferreira JC. Understanding diagnostic tests. Part 2. J Bras Pneumol. 2017;43(6):408.
• ²⁷
  Ferreira JC, Patino CM. Understanding diagnostic tests. Part 3. J Bras Pneumol. 2018;44(1):4.
• ²⁸
  Bell D, Mac A, Ochoa Y, Gordon M, Gregurich MA, Taylor T. The Texas Children’s Hospital Pediatric Advanced Warning Score as a predictor of clinical deterioration in hospitalized infants and children: a modification of the PEWS tool. J Pediatr Nurs. 2013;28(6):e2-9.
• ²⁹
  Miranda JO, Camargo CL, Nascimento Sobrinho CL, Oliveira TL, Matos AC, Portela DS. Reproducibility and Applicability of a Pediatric Score of Clinical Deterioration Warning. Rev Min Enferm. 2019;23:1-6.
• ³⁰
  Jensen CS, Aagaard H, Olesen HV, Kirkegaard H. Inter-rater reliability of two paediatric early warning score tools. Eur J Emerg Med. 2019;26(1):34-40.
• ³¹
  Duraisamy R, Balasubramanian B, Palanisamy S. Utility of pediatric early warning scoring system in predicting clinical deterioration in children: a review. J Basic Clin Applied Health Science. 2019;2(3):115–8.
• ³²
  Ribeiro SP, Vieira LB, Strada JK, Freitas CA, Almeida VM, Wegner W. Aplication of transference note and paediatric early warning score in the Pediatric Emergency Department of Hospital de Clínicas de Porto Alegre. Sci Med. 2021;31(1):e39407.
• ³³
  van der Fluit KS, Boom MC, Brandão MB, Lopes GD, Barreto PG, Leite DC, et al. How to implement a PEWS in a resource-limited setting: a quantitative analysis of the bedside-PEWS implementation in a hospital in northeast Brazil. Trop Med Int Health. 2021;26(10):1240-7.

Editado por

Editor Associado (Avaliação pelos pares): Kelly Pereira Coca (https://orcid.org/0000-0002-3604-852X) Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil

Datas de Publicação

• Publicação nesta coleção
  08 Maio 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  16 Maio 2022
• Aceito
  27 Set 2022