Acessibilidade / Reportar erro

VALIDADE E CONFIABILIDADE DE UM NOVO SISTEMA DE CLASSIFICAÇÃO DE RISCO PARA EMERGÊNCIAS PEDIÁTRICAS: CLARIPED

RESUMO

Objetivo:

Avaliar a validade e a confiabilidade de um sistema de classificação de risco para emergências pediátricas (CLARIPED) desenvolvido no Brasil.

Métodos:

Fase de validade: estudo observacional prospectivo em crianças de 0 a 15anos atendidas consecutivamente no serviço de emergência pediátrica (SEP) de um hospital terciário entre 2 e 18de julho de 2013. Avaliou-se a associação dos níveis de urgência com desfechos clínicos (utilização de recursos, taxa de admissão no SEP, taxa de hospitalização e tempo de permanência no SEP); e comparou-se o desempenho do CLARIPED com um padrão de referência. Fase de confiabilidade interobservadores: uma amostra de conveniência de pacientes atendidos entre abril e julho de 2013 foi submetida a duas classificações de risco consecutivas e independentes, e estimou-se o Kappa ponderado quadrático.

Resultados:

Em 1.416 atendimentos realizados na fase de validade, a distribuição de níveis de urgência foi: 0,0% vermelho/emergência; 5,9% laranja/muito urgente; 40,5% amarelo/urgente; 50,6% verde/pouco urgente; e 3,0% azul/sem urgência. Ospercentuais de pacientes que usaram dois ou mais recursos diminuíram do nível laranja para o amarelo, verde e azul (81, 49, 22 e 2%, respectivamente, p<0,0001), assim como a taxa de admissão no SEP, o tempo de permanência no SEP e a taxa de admissão hospitalar. Asensibilidade para discriminar pacientes muito urgentes foi de 0,89 (intervalo de confiança de 95%- IC95% 0,78-0,95), e a taxa de subtriagem foi de 7,4%. Aconfiabilidade interobservadores em 191 pacientes classificados por duas enfermeiras foi substancial (kw2=0,75; IC95% 0,74-0,79).

Conclusões:

O sistema CLARIPED mostrou boa validade e substancial confiabilidade para classificação de risco em um serviço de emergência pediátrica.

Palavras-chave:
Serviços médicos de emergência; Pediatria; Triagem; Medição de risco; Reprodutibilidade dos resultados

ABSTRACT

Objective:

To assess the validity and reliability of a triage system for pediatric emergency care (CLARIPED) developed in Brazil.

Methods:

Validity phase: prospective observational study with children aged 0 to 15 years who consecutively visited the pediatric emergency department (ED) of a tertiary hospital from July 2 to 18, 2013. We evaluated the association of urgency levels with clinical outcomes (resource utilization, ED admission rate, hospitalization rate, and ED length of stay); and compared the CLARIPED performance to a reference standard. Inter-rater reliability phase: a convenience sample of patients who visited the pediatric ED between April and July 2013 was consecutively and independently double triaged by two nurses, and the quadratic weighted kappa was estimated.

Results:

In the validity phase, the distribution of urgency levels in 1,416 visits was the following: 0.0% red (emergency); 5.9% orange (high urgency); 40.5% yellow (urgency); 50.6% green (low urgency); and 3.0% blue (no urgency). The percentage of patients who used two or more resources decreased from the orange level to the yellow, green, and blue levels (81%, 49%, 22%, and 2%, respectively, p<0.0001), as did the ED admission rate, ED length of stay, and hospitalization rate. The sensitivity to identify patients with high urgency level was 0.89 (confidence interval of 95% [95%CI] 0.78-0.95), and the undertriage rate was 7.4%. The inter-rater reliability in 191patients classified by two nurses was substantial (kw2=0.75; 95%CI 0.74-0.79).

Conclusions:

The CLARIPED system showed good validity and substantial reliability for triage in a pediatric emergency department.

Keywords:
Emergency medical services; Pediatrics; Triage; Risk assessment; Reproducibility of results

INTRODUÇÃO

A triagem ou classificação de risco (CR) no serviço de emergência pediátrica (SEP) é um desafio. Limitada capacidade de comunicação, apresentações subclínicas em crianças jovens, variabilidade na normalidade dos sinais vitais (SV), entre outros fatores, tornam a CR em pediatria uma tarefa complexa e difícil.11. Hohenhaus SM, Travers D, Mecham N. Pediatric triage: a review of emergency education literature. J Emerg Nurs.2008;34:308-13.

Os instrumentos mais utilizados no mundo para CR em crianças são o Sistema de Triagem de Manchester (Manchester Triage System- MTS), a versão pediátrica da Escala Canadense de Triagem e Acuidade (Canadian PediatricTriage and Acuity Scale- PedCTAS), o Índice de Gravidade em Emergência (Emergency Severity Index- ESI) e a Escala Australiana de Triagem (Australasian Triage Scale- ATS).22. Christ M, Grossmann F, Winter D, Bingisser R, Platz E. Modern triage in the emergency department. Dtsch Arztebl Int. 2010;107:892-8.,33. Farrohknia N, Castrén M, Ehrenberg A, Lind L, Oredsson S, Jonsson H, etal. Emergency department triage scales and their components: a systematic review of the scientific evidence. Scand J Trauma Resusc Emerg Med. 2011;19:42. Esses instrumentos foram inicialmente idealizados para adultos e, posteriormente, adaptados para crianças, que representam de 20 a 40% da população atendida em serviços de emergência.44. Tang N, Stein J, Hsia RY, Maselli JH, Gonzales R. Trends and characteristics of US emergency department visits, 1997-2007. JAMA. 2010;304:664-70.

A validade e a confiabilidade desses sistemas de CR para crianças têm sido avaliadas predominantemente nos países nos quais foram idealizados ou em países desenvolvidos, com culturas semelhantes.55. Bergeron S, Gouin S, Bailey B, Amre DK, Patel H. Agreement among pediatric health care professionals with the pediatric Canadian triage and acuity scale guidelines. Pediatr Emerg Care. 2004;20:514-8.,66. Gouin S, Gravel J, Amre DK, Bergeron S. Evaluation of the Paediatric Canadian Triage and Acuity Scale in a pediatric ED. Am J Emerg Med. 2005;23:243-7.,77. Ma W, Gafni A, Goldman RD. Correlation of the Canadian Paediatric Emergency Triage and Acuity Scale to ED resource utilization. Am J Emerg Med. 2008;26:893-7.,88. Gravel J, Gouin S, Manzano S, Arsenault M, Amre D. Interrater agreement between nurses for the Pediatric Canadian Triage and Acuity Scale in a tertiary care center. Acad Emerg Med. 2008;15:1262-7.,99. Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.,1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7.,1111. Gravel J, Fitzpatrick E, Gouin S, Millar K, Curtis S, Joubert G, etal. Performance of the Canadian Triage and Acuity Scale for children: a multicenter database study. Ann Emerg Med. 2013;61:27-32.,1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1313. Durani Y, Brecher D, Walmsley D, Attia MW, Loiselle JM. The Emergency Severity Index Version 4: reliability in pediatric patients. Pediatr Emerg Care. 2009;25:751-3.,1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9.,1515. Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7.,1616. Considine J, LeVasseur SA, Villanueva E. The Australasian Triage Scale: examining emergency department nurses' performance using computer and paper scenarios. Ann Emerg Med. 2004;44:516-23.,1717. Crellin DJ, Johnston L. Poor agreement in application of the Australasian Triage Scale to paediatric emergency department presentations. Contemp Nurse. 2003;15:48-60.,1818. Durojaiye L, O'Meara M. A study of triage of paediatric patients in Australia. Emerg Med (Fremantle). 2002;14:67-76.,1919. Roukema J, Steyerberg EW, Meurs A, Ruige M, Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10.,2020. Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501.,2121. Veen M, Walle VF, Steyerberg EW, Meurs AH, Ruige M, Strout TD, etal. Repeatability of the Manchester Triage System for children. Emerg Med J. 2010;27:512-6.,2222. Veen M, Steyerberg EW, Klooster MV, Ruige M, Meurs AH, Lei JV, etal. The Manchester triage system: improvements for paediatric emergency care. Emerg Med J. 2012;29:654-9. Tais instrumentos são muito extensos ou complexos, e a maioria dos estudos em países com características sociodemográficas e/ou culturais diferentes mostra desempenho inferior.2323. Landaluce AF, Pijoan JI, Mingegi S, Benito FJ. Evaluación de la escala canadiense de triaje pediátrico en un servicio de urgencias de pediatría europeo. Emergencias. 2010;22:355-60.,2424. Chang YC, Ng CJ, Wu CT, Chen LC, Chen JC, Hsu KH. Effectiveness of a five-level Paediatric Triage System: an analysis of resource utilisation in the emergency department in Taiwan. Emerg Med J. 2013;30:735-9.,2525. Al-Hindi AA, Al-Akhfash AA, Fareed AM, Alhusainan KS, Algasomy SF, Althowainy IR. Efficacy of implementation of a 5 scale pediatric triage and acuity scale in pediatric emergency, Saudi Arabia. Saudi Med J. 2014;35:999-1004.,2626. Jafari-Rouhi AH, Sardashti S, Taghizadieh A, Soleimanpour, Barzegar M. The Emergency Severity Index, version 4, for pediatric triage: a reliability study in Tabriz Children's Hospital, Tabriz, Iran. Int J Emerg Med. 2013;6:36. Diferenças de recursos humanos e tecnológicos, qualificação de profissionais e políticas de saúde podem interferir no desempenho. Algoritmos mais simples, desde que válidos e confiáveis, podem ser mais apropriados para países como o Brasil.

A escala sul-africana de triagem (South African Triage Scale- SATS) é uma ferramenta simples e objetiva,2727. Twomey M, Cheema B, Buys H, Cohen K, Sa A, Louw P, etal. Vital signs for children at triage: a multicentre validation of the revised South African Triage Scale (SATS) for children. S Afr Med J. 2013;103:304-8. entretanto, só tem quatro níveis de urgência(NU) e três faixas etárias para avaliação de SV. A ferramenta recomendada pela Organização Mundial da Saúde(OMS) para países menos desenvolvidos, Avaliação de Triagem e Tratamento na Emergência (Emergency Triage Assessment and Treatment- ETAT), prioriza a identificação de pacientes muito graves.2828. Robertson MA, Molyneux EM. Description of cause of serious illness and outcome in patients identified using ETAT guidelines in urban Malawi. Arch Dis Child. 2001;85:214-7. Essa característica não contempla 70 a 90% da população que aflui aos SEP públicos e privados brasileiros, que se encontram em níveis intermediários de urgência.

Com a finalidade de atender a essas demandas, uma equipe de especialistas em SEP no Brasil desenvolveu o sistema de classificação de risco para emergências pediátricas(CLARIPED), uma ferramenta simples e objetiva, de fácil treinamento e utilização, com cinco NU e estratificação em cinco faixas etárias.2929. Magalhães-Barbosa MC, Prata-Barbosa A, Cunha AJ, Lopes CS. CLARIPED: a new tool for risk classification in pediatric emergencies. Rev Paul Pediatr. 2016;34:254-62. Opropósito deste estudo foi avaliar a validade e a confiabilidade desse instrumento.

MÉTODO

Estudo observacional prospectivo realizado no SEP de um hospital terciário privado da cidade do Rio de Janeiro (Rio de Janeiro, Brasil), com 3mil atendimentos por mês, equipe diária de 3 ou 4médicos, 2enfermeiras e 2técnicas, além de residentes de pediatria em sistema de rodízio.

Para avaliar a validade do CLARIPED, todos os pacientes atendidos consecutivamente de 2 a 18 de julho de 2013 e que foram submetidos à classificação de risco foram incluídos. Ospacientes que não receberam classificação de risco foram excluídos. Osdados foram coletados a cada 24horas dos boletins do dia anterior. Variáveis demográficas e clínicas (CR e evolução), como recursos diagnósticos/terapêuticos, tempo de permanência no SEP e destino, foram acrescentadas em formulários informatizados, e sua consistência foi avaliada.

Para avaliar a confiabilidade interobservadores, uma amostra de conveniência foi prospectivamente selecionada durante plantões diurnos (8 às 17h) entre abril e julho de 2013. Pacientesconsecutivos e seus responsáveis foram convidados a participar de maneira voluntária, imediatamente após a CR realizada por uma das enfermeiras de triagem. Após concordância e assinatura do Termo de Consentimento Livre e Esclarecido e, quando pertinente, do Termo de Assentimento, tanto o paciente quanto o responsável eram encaminhados a outra sala, onde uma enfermeira da pesquisa realizava um novo procedimento completo de CR, com total desconhecimento sobre a primeira classificação. As enfermeiras de pesquisa faziam parte da equipe de triagem, tinham o mesmo nível de treinamento e participaram voluntariamente do estudo, nas horas extras de trabalho. Nessa fase, por razões éticas, foram excluídos pacientes que necessitavam de tratamento imediato, pela impossibilidade de submetê-los a dois processos de CR consecutivos.

O CLARIPED foi aplicado conforme anteriormente descrito.2929. Magalhães-Barbosa MC, Prata-Barbosa A, Cunha AJ, Lopes CS. CLARIPED: a new tool for risk classification in pediatric emergencies. Rev Paul Pediatr. 2016;34:254-62. Naprimeira etapa, aferiram-se quatro sinais vitais, para cálculo do escore de sinais vitais em pediatria (escore VIPE), de 0 a 12, ao qual se atribui classificação em cinco NU: 0=azul (sem urgência); 1 ou 2=verde (pouco urgente); 3 a 5=amarelo (urgente); 6 a 9=laranja (muito urgente); e 10 a 12=vermelho (emergência). Nasegunda etapa, consultou-se uma tabela de discriminadores (sinais, sintomas ou queixas), também distribuídos em 5NU. Caso se identificasse um discriminador correspondente a um NU mais elevado que o atribuído pelo escore VIPE, a classificação final corresponderia ao maiorNU.2929. Magalhães-Barbosa MC, Prata-Barbosa A, Cunha AJ, Lopes CS. CLARIPED: a new tool for risk classification in pediatric emergencies. Rev Paul Pediatr. 2016;34:254-62.

Na ausência de um padrão ouro para CR em SEP, utilizamos dois métodos para avaliação de validade:

  1. a associação entre os NU atribuídos pelo CLARIPED e quatro desfechos clínicos (utilização de recursos diagnósticos/terapêuticos; taxa de admissão na sala de observação- SO/SEP); tempo de permanência no SEP e hospitalização), entendidos como equivalentes de urgência, de maneira semelhante a outros estudos;99. Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.,1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7.,1111. Gravel J, Fitzpatrick E, Gouin S, Millar K, Curtis S, Joubert G, etal. Performance of the Canadian Triage and Acuity Scale for children: a multicenter database study. Ann Emerg Med. 2013;61:27-32.,1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9.,1515. Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7. e

  2. comparação da classificação dada pelo CLARIPED com a classificação atribuída por um padrão de referência.

O primeiro passo baseou-se na seguinte hipótese: se o CLARIPED discriminar bem os cinco NU, um gradiente decrescente na frequência dos desfechos deve ocorrer, do maior para o menor NU. O desfecho “recursos utilizados” incluía testes diagnósticos, procedimentos terapêuticos e pareceres de especialistas, segundo tabela previamente padronizada e adaptada de Gilboy etal. 30 Essa variável foi dicotomizada (<2recursos e ≥2recursos), à semelhança de outros estudos.1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9.,1515. Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7.,1919. Roukema J, Steyerberg EW, Meurs A, Ruige M, Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10. Ataxa de admissão na SO/SEP incluiu somente crianças que, após ocupação de um leito no SEP, receberam alta para o domicílio. Otempo de permanência no SEP foi computado a partir do início da consulta médica até a saída do SEP. Pacientes que evoluíram para internação hospitalar, mesmo que em outras instituições (transferências), foram computados na taxa de hospitalização.

Para a segunda etapa do estudo, o padrão de referência baseou-se em uma matriz desenvolvida por especialistas para estudar o MTS na população pediátrica1919. Roukema J, Steyerberg EW, Meurs A, Ruige M, Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10. e adaptada para o presente estudo. Essa matriz utiliza dados extraídos dos prontuários (sinais vitais muito alterados, condições clínicas ameaçadoras da vida, exames laboratoriais e de imagem, abordagem terapêutica e destino do paciente), isoladamente ou em várias combinações possíveis, para caracterizar de modo retrospectivo a urgência adequada do paciente, a ser comparada com a urgência atribuída anteriormente pelo sistema de triagem.

Para a validade, estimou-se uma amostra de 1.385atendimentos, com base em dados da literatura, referentes ao tempo de permanência no SEP, que era o desfecho que demandava a maior amostra. Assumindo erro alfa=0,05 e erro beta=0,80, utilizou-se diferença de 71minutos entre o nível 2/muito urgente e o nível 3/urgente, relatado em estudo sobre o ESI-4 (309minutos; intervalo de confiança de 95% - IC95% ­257-361, desvio padrão - DP) 225,5 versus 238minutos; IC95% 223-251, DP=112,8, respectivamente).1520. Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501.

Para a confiabilidade interobservadores, o cálculo amostral fundamentou-se em estudo piloto com 61 atendimentos, que gerou o Kappa ponderado quadrático (kw2) de 0,57 (IC95% 0,51-0,68). Para reduzir a amplitude do intervalo de confiança para 0,10, foram feitas simulações com tamanhos crescentes de amostras, com a mesma distribuição de concordâncias e discordâncias entre os NU observada no estudo piloto, resultando numa estimativa de amostra de 183atendimentos.

Associações entre NU e desfechos foram avaliadas com o teste do qui-quadrado/Fisher para variáveis categóricas e o teste de Mann-Whitney/Kruskal-Wallis para variáveis contínuas. Regressões logísticas foram usadas para estimar razões de chance (odds ratio- OR) resultantes da associação de NU (variáveis independentes) com hospitalização e utilização de recursos (variáveis dependentes), após ajustes para potenciais fatores de confusão (idade, hora e dia da semana do atendimento). Taxasde supertriagem, subtriagem, sensibilidade e especificidade para diagnosticar os casos muito urgentes foram calculadas mediante a comparação entre o CLARIPED e o padrão de referência. Estratificação por faixa etária e categorias diagnósticas foi feita em caráter exploratório.

Para confiabilidade interobservadores, optou-se pelo kw2, porque essa estimativa leva em conta o grau de discordância entre categorias, além de ser a mais utilizada em outros estudos.

Nível de significância de 0,05 e IC95% foram considerados para as análises. Utilizaram-se os softwares estatísticos Stata12.0 (StataCorp, College Station, Texas, Estados Unidos) e R 2.15.3 (R Foundation, Viena, Áustria). Oprojeto foi aprovado pelo Comitê de Ética em Pesquisa (CEP) da instituição.

RESULTADOS

Na fase de validade, foram incluídos 1.416atendimentos consecutivos (80,2% dos elegíveis) e excluídos 28boletins extraviados (1,6%), 12casos de abandono do SEP antes da CR (0,7%) e 310casos de ausência de CR (17,6%). Nafase de confiabilidade, participaram 179pacientes (93,7% dos convidados); 9recusaram-se a integrar o estudo; e 3foram excluídos por ausência de um responsável legal (Figura1).

Figura 1
Algoritmo de seleção de pacientes para o estudo de confiabilidade e validade.

Na amostra de validade, observou-se a seguinte distribuição: vermelho 0,0%; laranja 5,9%; amarelo 40,5%; verde 50,6%; e azul 3,0% (Tabela1). Autilização de recursos foi avaliada em 1.415atendimentos; a admissão na SO/EP e a hospitalização em 1.413; e o tempo de permanência no SEP em 1.090(Tabela2). Os326atendimentos com dados faltantes para esse último desfecho apontaram distribuição de NU semelhante aos 1.416incluídos (p=0,2181), sugerindo perda aleatória. Asfrequências de todos os desfechos diminuíram com a redução dos NU: ≥2 recursos (laranja 80,9%; amarelo 48,5%; verde 21,8%; e azul 2,4%; p<0,0001), admissão na SO/SEP (20,2; 4,7; 0,4; e 0,0%; p=0,0005), hospitalização (19,0; 2,6; 0,0 e 0,0%; p=0,0005) e tempo de permanência no SEP (209; 106; 47 e 27 minutos; p<0,0001) (Tabela2).

Tabela 1
Características basais da população geral e das amostras de validade e confiabilidade e classificação de risco das amostras de validade e confiabilidade.
Tabela 2
Distribuição dos desfechos evolutivos para diferentes categorias de urgência: estudo de validade (n=1.416).

Os pacientes de nível laranja exibiram maior chance de utilizar ≥2 recursos (OR=4,67; IC95% 2,61-8,34, ajustado para idade e hora de atendimento) e maior chance de hospitalização (OR=10,77; IC95% 4,85-23,910, ajustado para idade), em relação aos pacientes de nível amarelo.

Na comparação entre o CLARIPED e o padrão de referência, houve concordância absoluta em 33,5% dos casos, supertriagem em 59,1% e subtriagem em 7,4%. A maioria das discordâncias representou diferenças de nível de urgência acima (49,4%), principalmente nos níveis azul e verde, ou de nível de urgência abaixo (7,3%), sobretudo no nível amarelo (Tabela3). Não houve diferenças entre as faixas etárias nas taxas de supertriagem (p=0,20 a 0,98) e subtriagem (p=0,13 a 0,52), quando comparadas às taxas gerais. Astaxas de supertriagem foram menores nas doenças respiratórias baixas (29,6%; p<0,01) e maiores nas doenças respiratórias altas (67,1%; p=0,002) e doenças do ouvido (76,1%; p=0,0002). Nenhuma categoria diagnóstica mostrou taxa de subtriagem diferente da taxa geral de 7,4%.

Tabela 3
Classificações de risco atribuídas pelo padrão de referência versus classificação de risco para emergências pediátricas (CLARIPED): estudo de validade (n=1.416).

A sensibilidade e a especificidade do CLARIPED para discriminar níveis muito urgentes foram 0,89 (IC95% 0,78-0,95) e 0,98 (IC95% 0,97-0,99), respectivamente. Aestratificação dessas estimativas por categorias diagnósticas e faixa etária ficou prejudicada pelo pequeno número de casos nos subgrupos (Tabela4).

Tabela 4
Sensibilidade e especificidade do CLARIPED para diagnosticar urgência elevada na população geral e nos subgrupos por faixa etária e principais categorias diagnósticas.

Na fase de confiabilidade, 15 enfermeiras com o mesmo nível de treinamento no CLARIPED participaram em pares do processo de dupla CR: 13 na primeira classificação e 2 na segunda. Amediana de idade das enfermeiras foi de 28 anos (intervalo interquartílico - IQ: 26,0-29,5). Quatro enfermeiras tinham mais de 5anos de experiência em SEP, incluindo as 2 enfermeiras da pesquisa, enquanto 11 tinham menos de 5anos. Adistribuição na primeira CR foi: laranja 7,3%; amarelo 39,1%; verde 41,9%; e azul 11,7%, e na segunda, laranja 7,3%; amarelo 41,9%; verde 34,6%; e azul 16,2% (Tabela1). Aconcordância absoluta foi 68,7% e o kw2 de 0,75 (IC95% 0,73-0,79) (Tabela5).

Tabela 5
Classificações de risco atribuídas pela enfermeira da pesquisa versus enfermeira da triagem - estudo de confiabilidade (n=179).

DISCUSSÃO

Além de boa validade e confiabilidade, um sistema de CR ideal deve ser viável e efetivo. Éfundamental assegurar adesão da equipe e um procedimento de curta duração. OCLARIPED apresentou boa validade, demonstrada por forte associação entre NU e desfechos evolutivos, além de substancial concordância interobservadores. Aassociação com desfechos foi comparável à observada em estudos semelhantes com outros sistemas de triagem. Achance de hospitalização no nível laranja foi quase 11 vezes maior que no amarelo; e maior que a estimativa obtida em estudo multicêntrico sobre o PedCTAS (OR=4,93; IC95% 2,95-8,25),1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7. entretanto, a taxa de hospitalização (2,2%) foi inferior às levantadas em outros estudos (5-10%),99. Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.,1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7.,1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1515. Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7.,2626. Jafari-Rouhi AH, Sardashti S, Taghizadieh A, Soleimanpour, Barzegar M. The Emergency Severity Index, version 4, for pediatric triage: a reliability study in Tabriz Children's Hospital, Tabriz, Iran. Int J Emerg Med. 2013;6:36.,2727. Twomey M, Cheema B, Buys H, Cohen K, Sa A, Louw P, etal. Vital signs for children at triage: a multicentre validation of the revised South African Triage Scale (SATS) for children. S Afr Med J. 2013;103:304-8. podendo refletir em diferenças nas populações ou nas políticas institucionais.

A utilização de recursos mostrou-se um desfecho mais apropriado para a população estudada. A frequência de pacientes que usaram ≥2 recursos diminuiu do maior para o menor NU (81,0; 48,5; 21,8; e 2,4%; p<0.0001). Considerando que não houve pacientes classificados como vermelho, esses resultados assemelharam-se aos relatados com o ESI-4 (100, 70, 45, 17 e 4%)1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9. e são mais discriminativos do que os observados com o MTS (41,7; 25,4; 30,2; 16,6; e 3,7%).1919. Roukema J, Steyerberg EW, Meurs A, Ruige M, Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10. Onível laranja conferiu chance quase 5vezes maior de utilizar ≥2recursos, enquanto o verde apresentou chance 5 vezes menor, quando comparados ao nível amarelo. Essa associação também foi muito semelhante à relatada com o PedCTAS-OR (nível muito urgente)=4,67; IC95% 2,61-8,34 e OR (nível pouco urgente)=0,21; IC95% 0,17-0,28; sendo a referência nívelurgente.1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7.

O tempo de permanência no SEP foi computado por meio do atendimento médico, e não pela chegada no SEP, como na maioria dos estudos. Aintenção foi evitar distorção na associação entre esse desfecho e os NU, uma vez que a CR determina que, quanto menos urgente for o paciente, maior o tempo de espera tolerado para o atendimento médico. Adistribuição do tempo de permanência mostrou um gradiente decrescente do maior para o menor NU, corroborando a boa validade do instrumento (209; 106; 47; 27minutos; p<0,0001). Desconsiderando o nível1 (vermelho), esse gradiente também foi mais discriminativo do que os gradientes evidenciados em dois estudos sobre o PedCTAS (191; 250; 191; 96; 66minutos; p<0,0001 e 309; 238; 186; 160 minutos )99. Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.,1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7. e em dois estudos sobre o ESI-4 (334; 221; 207; 151; 132minutos; p<0,001 e 156; 236; 259; 117; 99minutos; p<0,0001),1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9. entretanto, a diferença de definição desse desfecho nesses estudos pode ter contribuído para resultados menos consistentes.

Em que pese a diferença de tamanho amostral entre este estudo (n=1.416) e dois estudos com o MTS (n=13.554 e 11.260),2020. Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501.,2222. Veen M, Steyerberg EW, Klooster MV, Ruige M, Meurs AH, Lei JV, etal. The Manchester triage system: improvements for paediatric emergency care. Emerg Med J. 2012;29:654-9. a utilização de um padrão de referência semelhante nas três pesquisas permite alguma comparação no desempenho das ferramentas. OCLARIPED mostrou concordância absoluta similar ao MTS (33,5 versus 34,0%), maior taxa de supertriagem (59,1% versus 54,0%), maior sensibilidade (89,0 versus 63,0%) e especificidade (98,0 versus 79,0%) e menor taxa de subtriagem (7,4versus 12,0%)2020. Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501.. Após modificações em alguns discriminadores pediátricos do MTS, houve aumento na especificidade (87%) e diminuição na supertriagem (47%), sem modificação da sensibilidade (64%) e com discreto aumento na subtriagem (15%).2222. Veen M, Steyerberg EW, Klooster MV, Ruige M, Meurs AH, Lei JV, etal. The Manchester triage system: improvements for paediatric emergency care. Emerg Med J. 2012;29:654-9. Todavia,é preciso questionar se o padrão de referência confere o nível de urgência adequado em todos os casos. Porexemplo, um lactente que chega ao SEP chorando, com irritabilidade e dor intensa seria adequadamente classificado como laranja ou amarelo pelo MTS e pelo CLARIPED. Se o diagnóstico final for otite média aguda, tão comum em pediatria, o paciente receberá um analgésico no setor e alta com prescrição, sendo considerado verde pelo padrão de referência. Deveras, a taxa de supertriagem do CLARIPED foi particularmente elevada em doenças do ouvido. Damesma forma, um paciente com uma ferida corto-contusa extensa, necessitando sutura, seria classificado como amarelo pelo CLARIPED e pelo MTS, mas seria verde pelo padrão de referência. Esses e outros exemplos semelhantes podem justificar a baixa concordância absoluta, assim como a elevada taxa de supertriagem das duas ferramentas comparadas ao padrão de referência. Defato, o padrão de referência não foi validado.

Para estimar a confiabilidade, este estudo incluiu somente pacientes tratados em tempo real, em vez de cenários hipotéticos, comumente usados,55. Bergeron S, Gouin S, Bailey B, Amre DK, Patel H. Agreement among pediatric health care professionals with the pediatric Canadian triage and acuity scale guidelines. Pediatr Emerg Care. 2004;20:514-8.,1212. Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.,1616. Considine J, LeVasseur SA, Villanueva E. The Australasian Triage Scale: examining emergency department nurses' performance using computer and paper scenarios. Ann Emerg Med. 2004;44:516-23.,1717. Crellin DJ, Johnston L. Poor agreement in application of the Australasian Triage Scale to paediatric emergency department presentations. Contemp Nurse. 2003;15:48-60.,2121. Veen M, Walle VF, Steyerberg EW, Meurs AH, Ruige M, Strout TD, etal. Repeatability of the Manchester Triage System for children. Emerg Med J. 2010;27:512-6.,2727. Twomey M, Cheema B, Buys H, Cohen K, Sa A, Louw P, etal. Vital signs for children at triage: a multicentre validation of the revised South African Triage Scale (SATS) for children. S Afr Med J. 2013;103:304-8. que não reproduzem as dificuldades do processo de CR, sendo sujeitos a vieses. Aconfiabilidade interobservadores alcançada foi substancial (kw2=0,75; IC95% 0,74-0,79). Esse resultado é melhor do que os obtidos nos primeiros estudos com pacientes reais com outros instrumentos: MTS (kw2=0,65; IC95% ­0,56-0,72)2020. Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501., PedCTAS (kw2=0,61; IC95% 0,42-0,80)88. Gravel J, Gouin S, Manzano S, Arsenault M, Amre D. Interrater agreement between nurses for the Pediatric Canadian Triage and Acuity Scale in a tertiary care center. Acad Emerg Med. 2008;15:1262-7. e ESI-4 (kw2=0,57; IC95% 0,52-0,62).1414. Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9. Estudosmais recentes mostraram melhor confiabilidade com o PedCTAS1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7. (kw2=0,74; IC95% 0,71-0,76) e com o ESI-41515. Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7.,2626. Jafari-Rouhi AH, Sardashti S, Taghizadieh A, Soleimanpour, Barzegar M. The Emergency Severity Index, version 4, for pediatric triage: a reliability study in Tabriz Children's Hospital, Tabriz, Iran. Int J Emerg Med. 2013;6:36. (k[linear]=0,92; p<0,001 e k [não especificado]=0,82; IC95% 0,67-0,84). Amelhoria na confiabilidade ao longo do tempo provavelmente reflete o aprimoramento dessas ferramentas e a qualificação das equipes. Nessesentido, a confiabilidade alcançada nessa primeira avaliação do CLARIPED pode ser considerada promissora.

Este estudo apresenta algumas limitações. Ele foi realizado em um único centro, e a equipe de saúde pode ter sido altamente motivada pelos investigadores, resultando na superestimação da validade e confiabilidade do CLARIPED, no entanto, a fácil assimilação e execução da ferramenta sugerem que ela pode ser adequada em muitos ambientes semelhantes, incluindo serviços de urgência não hospitalares.

Outra limitação foi que os participantes da fase de validade representaram 80,2% dos pacientes elegíveis e a taxa de internação foi maior entre os não participantes (8,6 contra 2,2%) (Tabela1). Arazão mais plausível para essa diferença é que esse SEP recebe pacientes encaminhados para internação por seus pediatras assistentes. Essas crianças são diretamente encaminhadas à SO/SEP para início de tratamento, sem serem submetidas ao processo de CR, entretanto, os participantes do estudo não apresentaram diferenças em relação à população total do SEP (Tabela1).

Mais uma limitação refere-se ao fato de não ter havido pacientes classificados como vermelho no período estudado, mas essa limitação não invalida os resultados alcançados nos outros quatro níveis de urgência, que constituem cerca de 99% dos atendimentos pediátricos. Dois estudos de validade sobre o PedCTAS também não incluíram pacientes necessitando cuidados imediatos.66. Gouin S, Gravel J, Amre DK, Bergeron S. Evaluation of the Paediatric Canadian Triage and Acuity Scale in a pediatric ED. Am J Emerg Med. 2005;23:243-7.,1010. Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7. Esses pacientes são muito pouco frequentes na maioria dos SEP em todo o mundo77. Ma W, Gafni A, Goldman RD. Correlation of the Canadian Paediatric Emergency Triage and Acuity Scale to ED resource utilization. Am J Emerg Med. 2008;26:893-7.,99. Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.,1111. Gravel J, Fitzpatrick E, Gouin S, Millar K, Curtis S, Joubert G, etal. Performance of the Canadian Triage and Acuity Scale for children: a multicenter database study. Ann Emerg Med. 2013;61:27-32.,2323. Landaluce AF, Pijoan JI, Mingegi S, Benito FJ. Evaluación de la escala canadiense de triaje pediátrico en un servicio de urgencias de pediatría europeo. Emergencias. 2010;22:355-60.,2525. Al-Hindi AA, Al-Akhfash AA, Fareed AM, Alhusainan KS, Algasomy SF, Althowainy IR. Efficacy of implementation of a 5 scale pediatric triage and acuity scale in pediatric emergency, Saudi Arabia. Saudi Med J. 2014;35:999-1004.,2626. Jafari-Rouhi AH, Sardashti S, Taghizadieh A, Soleimanpour, Barzegar M. The Emergency Severity Index, version 4, for pediatric triage: a reliability study in Tabriz Children's Hospital, Tabriz, Iran. Int J Emerg Med. 2013;6:36. e, na prática diária, não passam pela sala de triagem, sendo diretamente encaminhados à sala de reanimação e classificados retrospectivamente. Por outro lado, um dos principais desafios de uma ferramenta de CR é discriminar os pacientes de NU intermediários, como nível3 (urgente) e nível4 (pouco urgente), que compreendem a grande maioria dos que afluem aos SEP. Pacientes de nível3 são aqueles com potencial para agravar a sua condição, se esperarem muito tempo para o atendimento médico, mas que podem não ser facilmente identificados sem uma avaliação objetiva. São exemplos casos de dor abdominal cirúrgica (apendicite ou invaginação intestinal), casos com risco de desidratação severa (diarreia profusa ou vômitos incoercíveis) ou infecção bacteriana grave (febre alta em crianças pequenas).

Finalmente, o presente estudo utilizou desfechos evolutivos como equivalentes de urgência para determinar a validade de constructo convergente, no entanto o objetivo dos sistemas de CR não é prever desfechos clínicos, que são bons marcadores de complexidade e gravidade, mas nem sempre refletem todas as situações de urgência, além de serem influenciados pela qualidade do tratamento e por políticas institucionais. Porexemplo, um paciente com convulsão (vermelho) ou um paciente com crise de asma (laranja) pode ter alta da SO/SEP algumas horas após o tratamento, sem necessidade de internação. Poroutro lado, um paciente com uma doença crônica grave pode se apresentar ao SEP com uma intercorrência de baixa gravidade (verde) e ser internado em razão da doença de base.

Em conclusão, este é o primeiro estudo sobre validade e confiabilidade de um sistema de classificação de risco pediátrico no Brasil. OCLARIPED mostrou-se um instrumento válido e confiável no centro em que foi desenvolvido. Umestudo multicêntrico faz-se necessário para corroborar esses achados preliminares, apontar a necessidade de adaptações para diferentes contextos de saúde e garantir a validade externa do instrumento.

REFERÊNCIAS

  • 1
    Hohenhaus SM, Travers D, Mecham N. Pediatric triage: a review of emergency education literature. J Emerg Nurs.2008;34:308-13.
  • 2
    Christ M, Grossmann F, Winter D, Bingisser R, Platz E. Modern triage in the emergency department. Dtsch Arztebl Int. 2010;107:892-8.
  • 3
    Farrohknia N, Castrén M, Ehrenberg A, Lind L, Oredsson S, Jonsson H, etal. Emergency department triage scales and their components: a systematic review of the scientific evidence. Scand J Trauma Resusc Emerg Med. 2011;19:42.
  • 4
    Tang N, Stein J, Hsia RY, Maselli JH, Gonzales R. Trends and characteristics of US emergency department visits, 1997-2007. JAMA. 2010;304:664-70.
  • 5
    Bergeron S, Gouin S, Bailey B, Amre DK, Patel H. Agreement among pediatric health care professionals with the pediatric Canadian triage and acuity scale guidelines. Pediatr Emerg Care. 2004;20:514-8.
  • 6
    Gouin S, Gravel J, Amre DK, Bergeron S. Evaluation of the Paediatric Canadian Triage and Acuity Scale in a pediatric ED. Am J Emerg Med. 2005;23:243-7.
  • 7
    Ma W, Gafni A, Goldman RD. Correlation of the Canadian Paediatric Emergency Triage and Acuity Scale to ED resource utilization. Am J Emerg Med. 2008;26:893-7.
  • 8
    Gravel J, Gouin S, Manzano S, Arsenault M, Amre D. Interrater agreement between nurses for the Pediatric Canadian Triage and Acuity Scale in a tertiary care center. Acad Emerg Med. 2008;15:1262-7.
  • 9
    Gravel J, Manzano S, Arsenault M. Validity of the Canadian Paediatric Triage and Acuity Scale in a tertiary care hospital. CJEM. 2009;11:23-8.
  • 10
    Gravel J, Gouin S, Goldman RD, Osmond MH, Fitzpatrick E, Boutis K, etal. The Canadian Triage and Acuity Scale for children: a prospective multicenter evaluation. Ann Emerg Med. 2012;60:71-7.
  • 11
    Gravel J, Fitzpatrick E, Gouin S, Millar K, Curtis S, Joubert G, etal. Performance of the Canadian Triage and Acuity Scale for children: a multicenter database study. Ann Emerg Med. 2013;61:27-32.
  • 12
    Baumann MR, Strout TD. Evaluation of the Emergency Severity Index (version 3) triage algorithm in paediatric patients. Acad Emerg Med.2005;12:219-24.
  • 13
    Durani Y, Brecher D, Walmsley D, Attia MW, Loiselle JM. The Emergency Severity Index Version 4: reliability in pediatric patients. Pediatr Emerg Care. 2009;25:751-3.
  • 14
    Travers DA, Waller AE, Katznelson J, Agans R. Reliability and validity of the emergency severity index for pediatric triage. Acad Emerg Med. 2009;16:843-9.
  • 15
    Green NA, Durani Y, Brecher D, DePiero A, Loiselle J, Attia M. Emergency Severity Index version 4: a valid and reliable tool in paediatric emergency department triage. Pediatr Emerg Care. 2012;28:753-7.
  • 16
    Considine J, LeVasseur SA, Villanueva E. The Australasian Triage Scale: examining emergency department nurses' performance using computer and paper scenarios. Ann Emerg Med. 2004;44:516-23.
  • 17
    Crellin DJ, Johnston L. Poor agreement in application of the Australasian Triage Scale to paediatric emergency department presentations. Contemp Nurse. 2003;15:48-60.
  • 18
    Durojaiye L, O'Meara M. A study of triage of paediatric patients in Australia. Emerg Med (Fremantle). 2002;14:67-76.
  • 19
    Roukema J, Steyerberg EW, Meurs A, Ruige M, Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10.
  • 20
    Veen M, Steyerberg EW, Ruige M, Meurs AH, Roukema J, Lei J, etal. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501.
  • 21
    Veen M, Walle VF, Steyerberg EW, Meurs AH, Ruige M, Strout TD, etal. Repeatability of the Manchester Triage System for children. Emerg Med J. 2010;27:512-6.
  • 22
    Veen M, Steyerberg EW, Klooster MV, Ruige M, Meurs AH, Lei JV, etal. The Manchester triage system: improvements for paediatric emergency care. Emerg Med J. 2012;29:654-9.
  • 23
    Landaluce AF, Pijoan JI, Mingegi S, Benito FJ. Evaluación de la escala canadiense de triaje pediátrico en un servicio de urgencias de pediatría europeo. Emergencias. 2010;22:355-60.
  • 24
    Chang YC, Ng CJ, Wu CT, Chen LC, Chen JC, Hsu KH. Effectiveness of a five-level Paediatric Triage System: an analysis of resource utilisation in the emergency department in Taiwan. Emerg Med J. 2013;30:735-9.
  • 25
    Al-Hindi AA, Al-Akhfash AA, Fareed AM, Alhusainan KS, Algasomy SF, Althowainy IR. Efficacy of implementation of a 5 scale pediatric triage and acuity scale in pediatric emergency, Saudi Arabia. Saudi Med J. 2014;35:999-1004.
  • 26
    Jafari-Rouhi AH, Sardashti S, Taghizadieh A, Soleimanpour, Barzegar M. The Emergency Severity Index, version 4, for pediatric triage: a reliability study in Tabriz Children's Hospital, Tabriz, Iran. Int J Emerg Med. 2013;6:36.
  • 27
    Twomey M, Cheema B, Buys H, Cohen K, Sa A, Louw P, etal. Vital signs for children at triage: a multicentre validation of the revised South African Triage Scale (SATS) for children. S Afr Med J. 2013;103:304-8.
  • 28
    Robertson MA, Molyneux EM. Description of cause of serious illness and outcome in patients identified using ETAT guidelines in urban Malawi. Arch Dis Child. 2001;85:214-7.
  • 29
    Magalhães-Barbosa MC, Prata-Barbosa A, Cunha AJ, Lopes CS. CLARIPED: a new tool for risk classification in pediatric emergencies. Rev Paul Pediatr. 2016;34:254-62.

Financiamento

  • Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Brasil, processo nº448855/2014-3
  • Fundação Carlos Chagas Filho de Amparo à Pesquisa do Estado do Rio de Janeiro (FAPERJ), Brasil, processo nº E-26/010.000196/2015

Datas de Publicação

  • Publicação nesta coleção
    Oct-Dec 2018

Histórico

  • Recebido
    15 Abr 2017
  • Aceito
    24 Set 2017
  • Publicado
    27 Nov 2018
Sociedade de Pediatria de São Paulo R. Maria Figueiredo, 595 - 10o andar, 04002-003 São Paulo - SP - Brasil, Tel./Fax: (11 55) 3284-0308; 3289-9809; 3284-0051 - São Paulo - SP - Brazil
E-mail: rpp@spsp.org.br