Retardo na transferência do pronto-socorro para a unidade de terapia intensiva: impacto nos desfechos do paciente. Um estudo retrospectivo

RESUMO

Objetivo:

Estudar o impacto do retardo na admissão à unidade de terapia intensiva em mais do que 4 horas nos desfechos de pacientes críticos.

Métodos:

Este foi um estudo observacional retrospectivo, no qual pacientes adultos admitidos diretamente do pronto-socorro para a unidade de terapia intensiva foram divididos em dois grupos: Tempo Adequado, se admitidos dentro de 4 horas, e Admissão Retardada, nos casos em que a admissão demorou mais do que 4 horas para ocorrer. Compararam-se, entre os grupos, o tempo de permanência na unidade de terapia intensiva e a taxa de mortalidade na unidade de terapia intensiva e no hospital. Foi realizado pareamento por escore de propensão para correção de desequilíbrios. Utilizou-se uma análise de regressão logística para explorar retardo da admissão como fator independente de risco para mortalidade na unidade de terapia intensiva.

Resultados:

Durante o período do estudo, 1.887 pacientes foram admitidos diretamente do pronto-socorro para a unidade de terapia intensiva, sendo que 42% dessas admissões foram retardadas. Os pacientes com retardo tiveram permanências na unidade de terapia intensiva significantemente mais longas e maior mortalidade na unidade de terapia intensiva e no hospital. Esses resultados persistiram após pareamento dos grupos por escore de propensão. O retardo da admissão foi fator independente de risco para mortalidade na unidade de terapia intensiva (RC = 2,6; IC95% 1,9 - 3,5; p < 0,001). A associação de retardo e mortalidade na unidade de terapia intensiva surgiu após período de retardo de 2 horas e foi mais alta após período de retardo de 4 horas.

Conclusão:

O retardo da admissão do pronto-socorro para a unidade de terapia intensiva é fator de risco independente para mortalidade na unidade de terapia intensiva, sendo a associação mais forte após retardo de 4 horas.

Descritores:
Serviço hospitalar de emergência; Mortalidade hospitalar; Tempo de internação; Fatores de risco; Unidades de terapia intensiva

Abstract

Objective:

To study the impact of delayed admission by more than 4 hours on the outcomes of critically ill patients.

Methods:

This was a retrospective observational study in which adult patients admitted directly from the emergency department to the intensive care unit were divided into two groups: Timely Admission if they were admitted within 4 hours and Delayed Admission if admission was delayed for more than 4 hours. Intensive care unit length of stay and hospital/intensive care unit mortality were compared between the groups. Propensity score matching was performed to correct for imbalances. Logistic regression analysis was used to explore delayed admission as an independent risk factor for intensive care unit mortality.

Results:

During the study period, 1,887 patients were admitted directly from the emergency department to the intensive care unit, with 42% being delayed admissions. Delayed patients had significantly longer intensive care unit lengths of stay and higher intensive care unit and hospital mortality. These results were persistent after propensity score matching of the groups. Delayed admission was an independent risk factor for intensive care unit mortality (OR = 2.6; 95%CI 1.9 - 3.5; p < 0.001). The association of delay and intensive care unit mortality emerged after a delay of 2 hours and was highest after a delay of 4 hours.

Conclusion:

Delayed admission to the intensive care unit from the emergency department is an independent risk factor for intensive care unit mortality, with the strongest association being after a delay of 4 hours.

Keywords:
Emergency service, hospital; Hospital mortality; Length of stay; Risk factors; Intensive care units

INTRODUÇÃO

O retardo da admissão de pacientes do pronto-socorro (PS) para a unidade de terapia intensiva (UTI) pode ser devido a uma miríade de razões, que incluem a crescente necessidade de admissões à unidade por serem os pacientes do PS cada vez mais idosos, frágeis e complexos.^(1-3) Existe também uma pressão competitiva por leitos de UTI com as enfermarias e o centro cirúrgico.^(4,5) A preocupação é que o retardo na admissão à UTI se traduza em atraso na utilização de cuidados sensíveis ao tempo. Estes podem ser específicos, como trombólise imediata, ressuscitação precoce,⁽¹⁾ implantação de protocolos para sepse,⁽²⁾ necessidade emergencial de revascularização, ressuscitação hídrica e antibióticos.⁽⁶⁾ Em uma visão mais geral, uma admissão mais rápida à UTI poderia também significar uma atenção mais rápida dos intensivistas, maior presença da enfermagem e monitoramento mais estrito.⁽⁷⁾ Seja como for, o problema parece piorar,⁽⁸⁾ como refletem os relatos de que 75% das admissões à UTI têm atraso superior a 4 horas, sendo os pacientes mantidos no PS por mais de 3 dias.⁽²⁾

Estudos prévios exploraram o impacto do retardo na admissão do PS para a UTI, porém os resultados foram conflitantes. Alguns não encontraram associação,^(7,9,10) enquanto outros encontraram associação, porém não puderam estabelecer em que momento o atraso se tornava clinicamente prejudicial.^(1-3,11) Este estudo teve o objetivo de explorar essas duas questões em nossa instituição. Escolhemos um ponto de corte de 4 horas de atraso na admissão com base em nossa política institucional.

MÉTODOS

Este foi um estudo observacional retrospectivo em uma UTI no hospital King Saud Medical City, em Riad, Arábia Saudita, e recebeu aprovação ética do nosso comitê institucional de ética, com dispensa de obtenção de um Termo de Consentimento Livre e Esclarecido (H1RI-08-Oct19-02). Para este estudo, utilizamos a listagem de verificação STROBE para requisitos mínimos no relato de estudos observacionais.⁽¹²⁾ O King Saud Medical City é o maior hospital pertencente ao Ministério da Saúde Saudita, com 1.200 leitos, dos quais 125 são de UTI (definidos conforme a capacidade de administrar ventilação mecânica e inotrópicos, enfermagem intensiva e presença de intensivista especialista/consultor como principal médico responsável).

O hospital dispõe de serviços de laboratório, radiologia e cirurgia 24 horas por dia, 7 dias por semana. A UTI é dividida em subunidades (clínica, cirúrgica, respiratória, trauma e neurocrítica). A média de admissões mensais à UTI foi de 270 pacientes, sendo a mortalidade média de 15%, a ocupação média de leitos de 95% e o tempo médio de permanência na UTI de 10 dias.

Nosso hospital não dispõe de unidades de descalonamento de intensividade do tratamento. Os encaminhamentos do PS para a UTI são revisados por um médico especialista/consultor intensivista, e as decisões relativas à admissão e à alta envolvem a participação de um enfermeiro e um terapeuta respiratório. Caso não haja disponibilidade de um leito de UTI em 60 minutos, a equipe da UTI participa dos cuidados do paciente em cooperação com a equipe primária do PS, até que um leito esteja disponível. A priorização da admissão à UTI é encargo dos médicos de plantão e se baseia na avaliação da condição clínica, do prognóstico e da disponibilidade de leito.

É um indicador fundamental de desempenho da UTI a transferência do PS para a unidade dentro de 4 horas daqueles pacientes aceitos para admissão.

Revisamos retrospectivamente os registros de referências para a UTI a partir do PS entre 1° de janeiro de 2018 e 31 de dezembro de 2019. Excluímos todos os pacientes que foram considerados não apropriados para admissão à UTI. Revisamos, ainda, todos os pacientes aceitos para admissão na UTI, exceto os com idade inferior a 18 anos, gestantes, que morreram no PS antes da admissão, deixaram o PS antes da admissão (isto é, saíram do PS contra recomendação médica ou foram transferidos para outro hospital) ou foram admitidos à UTI após procedimentos cirúrgicos. Contudo, pacientes admitidos aos cuidados da clínica cirúrgica, porém sem intervenção cirúrgica antes da admissão à UTI, foram incluídos.

Para todos os pacientes incluídos, registramos idade, sexo, diagnóstico, categoria diagnóstica geral (clínica, cirúrgica e trauma), condição de ventilação mecânica, necessidade de vasopressores, necessidade de terapia de substituição renal contínua (TSRC), inserção de uma linha de acesso venoso central, medidas de severidade como escores Acute Physiology and Chronic Health Evaluation (APACHE) IV, Sequential Organ Failure Assessment (SOFA) e Modified Early Warning Score (MEWS), e condição de sepse. Registramos o tempo entre a referência e a transferência física do paciente para a UTI (em minutos). Finalmente, a partir dos registros no prontuário do paciente, registramos o tempo de permanência na UTI, a mortalidade na UTI e a mortalidade no hospital. Diferenciamos os pacientes segundo o tempo até a transferência em dois grupos: Tempo Adequado, quando a admissão à UTI ocorreu dentro de 240 minutos (isto é, 4 horas), e Admissão Retardada, quando essa admissão ocorreu após mais de 240 minutos. Realizaram-se diversos conjuntos de análises de subgrupos a priori: idade (acima ou abaixo da mediana da coorte), sexo, ventilação mecânica, vasopressores, APACHE IV (acima ou abaixo da mediana da coorte) e presença ou ausência de sepse. Utilizamos a definição de sepse do consenso The Third International Consensus Definitions for Sepsis and Septic Shock (Sepsis-3).⁽¹³⁾

O desfecho primário do estudo foi a associação independente de uma admissão retardada com mortalidade na UTI. Os desfechos secundários foram a mortalidade combinada na UTI e no hospital e o tempo médio de permanência na UTI. Estudamos também a duração do retardo após a qual surgia um impacto significante na mortalidade na UTI. Selecionamos a mortalidade na UTI como um dos indicadores de qualidade para efetividade da UTI,⁽¹⁴⁾ com a vantagem de ser um desfecho importante para o paciente, menos propenso a vieses e mais facilmente comunicável ao leitor. Mais ainda, as autoridades regulatórias exigem comprovação de melhora da mortalidade em curto prazo antes de aprovar novas terapêuticas em terapia intensiva.⁽¹⁵⁾

Métodos estatísticos

Para explorar a associação entre admissão retardada e desfechos na UTI, avaliamos diversas variáveis em um modelo univariado de regressão logística (RL). As variáveis com valores de p inferior a 0,1 e as que foram julgadas com impacto significante na mortalidade na UTI foram subsequentemente inseridas em um modelo multivariado de RL, sendo os resultados relatados como razões de chance (RC) com os correspondentes intervalos de confiança de 95% (IC95%). A qualidade do ajuste do modelo foi avaliada com uso do teste de Hosmer-Lemeshow (considerando-se bom ajuste com p > 0,05) e a área sob a curva. A ausência de multicolinearidade das variáveis independentes foi avaliada pelo Fator de Inflação de Variância (FIV) após remover qualquer variável com FIV ≥ 5.⁽¹⁶⁾ A linearidade das variáveis independentes e o logaritmo de chances foram explorados pelo teste de Box-Tidwell, satisfazendo o pressuposto de um valor de p > 0,05.⁽¹⁷⁾ Como medida de sensibilidade, realizamos uma inclusão passo a passo das variáveis significantes no modelo de RL, para avaliar seu impacto na RC bruta de mortalidade na UTI regredida com admissão retardada, e, então, avaliamos todas as estimativas relevantes.⁽¹⁸⁾ O modelo final de RL multivariada foi repetido diversas vezes com as mesmas variáveis, modificando a definição de retardo a cada vez, de 1 hora até 10 horas.

Separadamente, conduzimos um pareamento de escore de propensão (PEP) após 240 minutos utilizando os admitidos dentro de 240 minutos como controles. Os grupos foram pareados 1:1 por idade, sexo, ventilação mecânica, vasopressores, TSRC, sepse, SOFA e APACHE IV, com calibre de 0,03. As comparações entre grupos e RL foram repetidas para os grupos pareados.

A avaliação do efeito de confusão de diferentes estratos utilizados nos subgrupos foi realizada com utilização do método de Mantel-Haenszel, avaliado pelo teste de Tarone de homogeneidade para RC,⁽¹⁹⁾ considerando RC por meio dos dados como homogêneos com valor de p > 0,1.

As variáveis contínuas foram apresentadas como a média mais ou menos o desvio padrão (DP) e comparadas entre os grupos com o teste t de Student ou com o teste de Mann-Whitney, conforme apropriado. As variáveis categóricas são apresentadas como números (%) e comparadas com teste do qui-quadrado ou teste exato de Fisher, conforme adequado. Todos os testes estatísticos foram bicaudais e considerado significantes quando o valor de p foi menor que 0,05, sem correção para testes múltiplos.

Calculamos um tamanho mínimo da amostra de 1.452 (pelo menos 726 em cada grupo) para detectar de forma significante uma redução de 5% na mortalidade na UTI (assumindo uma taxa de 15% no grupo controle), com poder de 80% e erro tipo I de 5%. Com base em nossos dados históricos, nos quais quase metade de nossas admissões foi oriunda do PS, postulamos que o registro de dados de 2 anos seria suficiente para prover poder adequado ao nosso estudo.

Os testes estatísticos foram realizados com utilização de um pacote de programas estatísticos comercialmente disponível (StataCorp. 2019. Stata Statistical Software: Release 16. College Station, TX: StataCorp LLC.).

RESULTADOS

Comparação dos grupos (não pareados e pareados)

Nos anos de 2018 e 2019, ocorreram 4.147 referências do PS para a UTI; 2.260 foram excluídas, o que significa que foram incluídas no estudo 1.887 (Figura 1). Dados faltantes foram mínimos (o mais alto foi falta de valor de MEWS em 159; 8,4%). Os dados faltantes foram imputados por imputação múltipla (Tabela 1S - ^Apêndice). Os desfechos na UTI e no hospital estavam completos para 100% da coorte do estudo. Dentre os pacientes incluídos, 1.093 (58%) foram admitidos dentro de 240 minutos, com tempo médio até a admissão de 158 ± 81,1 minutos, enquanto 794 (42%) tiveram admissão retardada, sendo o tempo médio até a admissão de 625,2 ± 485,4 minutos.

Figura 1
Fluxograma de pacientes.

PS - pronto-socorro; UTI - unidade de terapia intensiva; CC - centro cirúrgico.

As comparações entre os grupos revelaram diferenças demográficas e clínicas entre eles. Os pacientes admitidos dentro de 4 horas eram significantemente mais jovens e com escores de severidade mais altos (APACHE IV e SOFA), porém menos frequentemente demandavam uso de TSRC. Eram também mais frequentemente pacientes cirúrgicos e menos frequentemente clínicos, enquanto os casos de trauma foram igualmente distribuídos entre os grupos (Tabela 1). Os cinco principais diagnósticos em cada categoria são apresentados na tabela 2S (^Apêndice).

Tabela 1
Características demográficas e clínicas no pronto-socorro

	Retardada (n = 794)	A tempo (n = 1.093)	Valor de p
Masculino	574 (72,3)	784 (71,7)	0,8
Idade	49,9 ± 19,9	46,8 ± 19,3	< 0,001
Diagnóstico
Clínico	558 (70,3)	675 (61,8)	< 0,001
Cirúrgico	110 (13,9)	246 (22,5)	< 0,001
Trauma	126 (15,8)	172 (15,7)	0,99
VM	317 (39,9)	463 (42,4)	0,3
Acesso venoso central	577 (72,7)	805 (73,7)	0,6
Vasopressores	462 (58,2)	664 (60,8)	0,3
TSRC	191 (24,1)	142 (13)	< 0,001
Sepse	147 (18,5)	92 (8)	< 0,001
APACHE IV	65,9 ± 2,8	66,5 ± 3,1	< 0,001
SOFA	7,1 ± 2,9	7,7 ± 3	< 0,001
MEWS	2,4 ± 2	2,6 ± 2,3	0,06
Tempo até a admissão (minutos)	625,2 ± 485,4	158 ± 81,1	< 0,001

• VM - ventilação mecânica; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; MEWS - Modified Early Warning Score. Resultados expressos por n (%) ou média ± desvio-padrão.

O Grupo Tempo Adequado teve um tempo de permanência na UTI significantemente menor (9,4 ± 11,3 dias) em comparação com o Grupo Admissão Retardada (15,2 ± 17,1 dias; p < 0,001). O Grupo Tempo Adequado teve também uma mortalidade significantemente mais baixa na UTI (10,4% versus 28,8%; p < 0,001) e mortalidade hospitalar (14,8% versus 35,1%; p < 0,001) (Tabela 2).

Tabela 2
Desfechos dos pacientes com admissão retardada e admitidos em tempo adequado

	Retardada (n = 794)	A tempo (n = 1.093)	Valor de p
Permanência na UTI	15,2 ± 17,1	9,4 ± 11,3	< 0,001
Mortalidade na UTI	229 (28,8)	114 (10,4)	< 0,001
Mortalidade no hospital	279 (35,1)	162 (14,8)	< 0,001

• UTI - unidade de terapia intensiva. Resultados expressos por média ± desvio-padrão ou n (%).

O pareamento por escore de propensão equilibrou os grupos (exceto quanto à distribuição de sepse) com 794 observações cada (Tabela 3S, Figura 1S - Apêndice). O grupo pareado com admissão em tempo adequado teve tempo menor de permanência na UTI (12 ± 14,1 versus 15,2 ± 17,1 dias; p < 0,001), menor mortalidade na UTI (13,1% versus 28,8%; p < 0,001) e menor mortalidade hospitalar (19% versus 35,1%; p < 0,001). (Tabela 4S - ^Apêndice).

Associação entre admissão retardada e mortalidade na unidade de terapia intensiva

O modelo de RL multivariada incluiu características demográficas e clínicas, com valor de p < 0,1 na análise de RL univariada (idade, ventilação mecânica, vasopressores, acesso venoso central, categoria diagnóstica, APACHE IV, sepse, tempo até a admissão, tempo de permanência na UTI e admissão retardada), além de variáveis consideradas com influência clínica nos desfechos na UTI (TSRC e SOFA), independentemente de seu valor de p (Tabela 3). O modelo foi adaptado com valor de p = 0,8 no teste de Hosmer-Lemeshow e área sob a curva de 0,82 (IC95% 0,8 - 0,84). Os pressupostos para uma RL foram satisfeitos (Tabelas 5S e 6S - ^Apêndice).

Tabela 3
Fatores de risco para mortalidade na unidade de terapia intensiva

Variável	Modelo univariado			Modelo multivariado
	OR	IC95%	Valor de p	OR	IC95%	Valor de p
Idade	1,02	1,01 - 1,03	< 0,001	1,01	1,001 - 1,02	< 0,001
Sexo	1,03	0,8 - 1,3	0,8
VM	1,6	1,3 - 2,05	< 0,001	1,7	1,3 - 2,3	< 0,001
TSRC	1,09	0,8 - 1,5	0,6	2,4	1,5 - 4	< 0,001
Vasopressores	0,7	0,6 - 0,9	0,01	0,4	0,16 - 1,05	0,06
Acesso central	0,6	0,5 - 0,8	0,001	0,9	0,6 - 1,4	0,6
Diagnóstico
Clínico	Referência
Cirúrgico	0,9	0,7 - 1,2	0,6	1,1	0,9 - 1,3	0,4
Trauma	0,6	0,4 - 0,8	0,005	0,9	0,6 - 1,5	0,7
APACHE IV	1,06	1,02 - 1,1	0,003	1,04	0,99 - 1,1	0,1
SOFA	1,02	0,98 - 1,05	0,4	1,2	1,1 - 1,4	< 0,001
MEWS	1,03	0,97 - 1,1	0,3
Sepse	4,3	3,3 - 5,8	< 0,001	10,2	6,7 - 15,5	< 0,001
Tempo até admissão	1,001	1,0007 - 1,0012	< 0,001	1,0006	1,0002 -1,001	0,001
Permanência na UTI	1,03	1,02 - 1,04	< 0,001	1,02	1,01 - 1,03	< 0,001
Admissão retardada	3,5	2,7 - 4,5	< 0,001	2,6	1,9 - 3,5	< 0,001

• OR - razão de chance; IC95% - intervalo de confiança de 95%; VM - ventilação mecânica; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; MEWS - Modified Early Warning Score; UTI - unidade de terapia intensiva.

Admissão retardada (isto é, mais de 4 horas após solicitação do PS para a UTI) se associou independentemente com aumento da probabilidade de morte na UTI (OR = 2,6; IC95% 1,9 - 3,5; p < 0,001). Outras variáveis também associadas com maior probabilidade de morte na UTI foram idade mais avançada, necessidade de ventilação mecânica, diálise no PS, SOFA mais alto, sepse e mais tempo no PS, assim com tempo mais longo de permanência na UTI.

Avaliamos a sensibilidade dos nossos resultados por um método estatístico⁽¹⁸⁾ que descreveu todas as possíveis estimativas e alterações nas estimativas. A figura 2 mostra que todas as possíveis estimativas se encontram acima da linha horizontal do valor nulo (OR = 1) e, à esquerda (menor que), uma linha vertical que representa um valor de p de 0,05. A mudança nas estimativas é mostrada na figura 3. Após acrescentar à estimativa bruta potenciais fatores de confusão, de forma gradual (começando com o efeito mais amplo), a RC de admissão retardada sobre o desfecho na UTI permaneceu significante e superposta com a RC bruta, reforçando a robustez dos resultados do modelo de RL.

Figura 2
Estimativas do modelo de regressão logística.

UTI - unidade de terapia intensiva; BIC - critério de informação bayesiano; Min. - mínimo; AIC - critério de informação de Akaike.

Figura 3
Variabilidade nas estimativas do modelo de regressão logística.

APACHE - Acute Physiology and Chronic Health Evaluation; VM - ventilação mecânica; SOFA - Sequential Organ failure Assessment; TSRC - terapia de substituição renal contínua; UTI - unidade de terapia intensiva.

O mesmo modelo de RL foi aplicado aos grupos pareados por escore de propensão, e a associação independente entre admissão retardada e desfecho na UTI persistiu (RC = 2,5, IC95% 1,8 - 3,7; p < 0,001) (Tabela 7S - ^Apêndice). Não houve interação entre retardo e qualquer das variáveis no modelo (Figura 2S - Apêndice).

Permanência mais curta no pronto-socorro associada com desfechos na unidade de terapia intensiva

Repetimos o modelo final de RL diversas vezes, mudando a definição de retardo a cada vez, entre 1 e 10 horas. A figura 4 indica que a associação se inicia após um retardo de 2 horas e, então, desaparece após 9 horas. A associação mais forte, entretanto, foi observada após um tempo de atraso de 4 horas.

Figura 4
Associação de retardo com desfech o na unidade de terapia intensiva por diferentes estratificações.

Subgrupos e potenciais fatores de confusão

O efeito benéfico da admissão dentro de 4 horas sobre a mortalidade na UTI persistiu no estrato em cinco dos subgrupos predefinidos: idade (acima ou abaixo da mediana da coorte, de 46 anos), sexo, ventilação mecânica, vasopressores e APACHE IV (acima ou abaixo da mediana da coorte, de 66). Pacientes sem sepse se beneficiaram significantemente com admissão precoce, enquanto para pacientes com sepse não se observaram benefícios estatisticamente significantes (Figura 5). Esses resultados foram coerentes com a análise dos efeitos de confusão, nos quais apenas um valor de p < 0,1 no teste de Tarone se referiu à estratificação por sepse, indicando efeito de confusão (Tabela 8S - ^Apêndice). Considerando esse potencial efeito de confusão da sepse, o modelo de RL foi repetido com exclusão de sepse (Tabela 9S - ^Apêndice) e ainda resultou em associação independente significante de retardo da admissão e mortalidade na UTI (RC = 3; IC95% 2,2 - 4,1; p < 0,001).

Figura 5
Análise de subgrupos.

M-H - Mantel Haenszel; IC95% - intervalo de confiança de 95%; VM - ventilação mecânica; APACHE - Acute Physiology and Chronic Health Evaluation.

DISCUSSÃO

Neste estudo retrospectivo de quase 2.000 pacientes, mais de metade deles foi admitida dentro do alvo amplamente aceito de 4 horas. Dentre os pacientes, 42% permaneceram no PS por mais de 4 horas até sua admissão. Os que foram admitidos dentro de 4 horas eram mais jovens, porém mais gravemente enfermos (APACHE IV e SOFA mais altos). Esse fato refletiu os achados de outros estudos^(1,7,8) e pode refletir um viés de seleção na priorização das admissões à UTI. Pacientes com diagnósticos clínicos, sepse e aqueles com necessidade de TSRC foram os que mais comumente tiveram retardo da admissão. Embora especulativo, isso pode ser devido à complexa natureza de sua condição e/ou necessidade de processos diagnósticos demorados e/ou início do tratamento ainda no PS.^(3,5)

Nossos resultados demonstram que as admissões com ocorrência mais de 4 horas após a solicitação se associaram com prejuízos clinicamente importantes. Estes incluíram maior tempo de permanência na UTI e mortalidade mais alta na UTI e no hospital, em comparação com pacientes admitidos dentro de 4 horas. Tais achados também espelham os de outros estudos,^(1,3,6,20) mesmo aqueles com definições diferentes de retardo e tipos de pacientes. Considerado em conjunto, esse corpo de dados dá suporte à hipótese de que, aos pacientes com retardo da admissão, são negados o fornecimento de intervenções oportunas e/ou o benefício da capacitação técnica da UTI, monitoramento intensivo e enfermagem de alta intensidade.⁽⁷⁾ Nossos resultados são suportados por um PEP que só encontrou desequilíbrios entre os grupos relacionados à distribuição da sepse, mas persistiram as diferenças estatisticamente significantes, em termos de tempo de permanência na UTI e de mortalidade na UTI e no hospital, favoráveis à admissão em tempo adequado.

Esses resultados nem sempre foram coerentes entre estudos similares. Por exemplo, Al-Qahtani et al.⁽¹⁾ demonstraram menor mortalidade hospitalar e tempo de permanência na UTI, porém não mortalidade na UTI, para pacientes admitidos dentro de 6 horas. Por outro lado, não se observou diferença na mortalidade hospitalar e no tempo de permanência na UTI entre pacientes com sepse admitidos dentro de 6 horas em um estudo conduzido por Agustin et al.⁽⁹⁾ Em estudo que definiu retardo da admissão como pelo menos 8 horas, a mortalidade na UTI foi mais alta para o grupo sem retardo da admissão.⁽⁷⁾ A incoerência entre os relatos é provavelmente resultante das diferenças tanto nos critérios para inclusão quanto nas definições do que constitui um retardo clinicamente importante.

Após ajustar quanto a variáveis demográficas e clínicas, a admissão após mais de 4 horas se associou independentemente com aumento de 160% na tendência à mortalidade na UTI em modelo bem adaptado que suportou dois testes de sensibilidade e permaneceu significante após PEP. Diversos estudos dão suporte aos nossos achados. Chalfin et al.⁽³⁾ demonstraram menor tendência ajustada à sobrevivência no hospital após admissão retardada em mais de 6 horas. Em estudo em pacientes não vítimas de trauma ventilados,⁽²¹⁾ uma admissão retardada em mais de 4 horas teve associação significante com a mortalidade com ventilação em 21 dias (RC 1,41; IC95% 1,05 - 1,89). Com um ponto de corte para admissão retardada de 5 horas, García-Gigorro et al.⁽⁶⁾ demonstraram RC de 2,5 (IC95% 1,3 - 4,7) para mortalidade hospitalar. Em contraste, outros estudos não encontraram qualquer associação. Al-Qahtani et al.⁽¹⁾ demonstraram RC ajustada não significante para mortalidade na UTI com retardo superior a 6 horas. Igualmente, relataram-se resultados similares para mortalidade hospitalar em pacientes de sepse com retardo de 6 horas,⁽⁹⁾ e, no estudo de O'Callaghan et al.,⁽²²⁾ a tendência à mortalidade na UTI não foi significantemente diferente com retardo superior a 3,7 horas e mortalidade hospitalar (RC = 0,82; IC95% 0,72 - 0,92) em comparação com menos de 1,2 hora.

A grande variação, em termos de resultados, não pode ser baseada apenas nas diferenças com relação aos critérios para demarcação do retardo ou de inclusão, já que os estudos que demonstraram associação significante também tiveram essas diferenças entre eles. Coerentemente, uma explicação razoável considerando a hipótese de desfechos piores em razão de retardo do acesso aos cuidados e capacidade técnica da UTI seria o fato de que os resultados distintos podem ser explicados pelo quanto o cuidado no PS se parece com o oferecido pela UTI. Se o PS é bem equipado e tem equipe apropriada para fornecer cuidados ao paciente crítico, então se pode esperar não obter resultados piores para pacientes com admissão retardada; mas quando os PS não são assim,^(11,23,24) uma admissão retardada à UTI pode afetar negativamente os desfechos do paciente. Essa hipótese tem suporte de diversos estudos. Em estudo canadense em grande escala,⁽²⁵⁾ a superlotação do PS se associou com tempo de permanência ali de mais de 6 horas (OR 1,19; IC95% 1,19 - 1,19), porém também se associou com a mesma mortalidade em 90 dias (OR 1,01; IC95% 1,01 - 1,01). Chan et al.⁽²⁶⁾ relataram no PS tempos maiores de espera e cuidados com menos enfermagem. Em estudo turco,⁽²⁷⁾ a proporção de enfermagem no PS se associou significantemente com eventos adversos.

Associação não é causa; entretanto, nossos resultados preenchem a maior parte dos critérios de Bradford Hill para um relacionamento causal entre exposição e resultado.⁽²⁸⁾ Uma gradação biológica é também demonstrada em nossos resultados, já que o tempo passado no PS (como variável contínua em minutos) se associou significantemente com um aumento de 3,5% na tendência a mortalidade na UTI para cada hora passada no PS. O critério de força é demonstrado por RC consideravelmente alta com valor de p altamente significante.

A associação de retardo com resultados piores em nosso estudo surgiu após período de atraso de 2 horas; entretanto, a associação mais forte ocorreu após retardo de 4 horas. Por essa razão, cremos que o melhor momento para admissão à UTI seria em menos de 4 horas, porém não precisa necessariamente ser em menos de 3 horas, uma vez que não estudamos um período de retardo entre 3 e 4 horas, e o benefício da admissão dentro de 3 horas não foi tão grande do ponto de vista estatístico. Por outro lado, não podemos considerar que admissão após 9 horas seja fútil, porém cremos que o benefício de uma admissão precoce seria perdido, e outros fatores prognósticos (como a severidade do caso) se tornariam mais determinantes para o desfecho.

Nas análises de subgrupos, a sepse pareceu confundir o impacto da admissão retardada sobre a mortalidade na UTI. Um resultado semelhante foi apresentado no subgrupo de pacientes com sepse no estudo de Chalfin et al.,⁽³⁾ no qual aqueles com sepse e admissão retardada tiveram mortalidade na UTI significantemente mais elevada (27,8% versus 20,4%; p = 0.06) quando comparados com pacientes que não tiveram o retardo. A sepse cumpriu todos os critérios para potencial fator de confusão,⁽²⁹⁾ sendo associada com retardo ao mesmo tempo em que distribuída de forma desigual entre os grupos, mesmo após PEP. Isso se associou independentemente com mortalidade na UTI e não se encontrava na via causal entre retardo e desfecho. Sabe-se que a sepse se associa com elevada mortalidade⁽³⁰⁾ e, semelhantemente, pode estar associada com retardo da admissão, tendo em vista as numerosas intervenções terapêuticas envolvidas no seu tratamento (inserção de acesso venoso central, início de vasopressores e TSRC).⁽⁹⁾ A remoção de sepse da RL ainda resultou em associação significante entre admissão retardada e mortalidade na UTI.

Nosso estudo sofre de numerosas limitações. A primeira é inerente ao delineamento observacional retrospectivo. Em segundo lugar, trata-se de um estudo em centro único, que reflete a prática em apenas uma instituição. Em terceiro lugar, não tínhamos disponível, na ocasião do estudo, a descrição do perfil do PS (número e especialidade dos médicos, enfermeiros, pacientes etc.) e não pudemos obtê-la. Embora a análise da correlação de tais fatores com retardo pudesse ter sido um ponto forte em nosso estudo, reconhecemos que a ausência dessa análise é uma limitação da pesquisa, que poderia ser objeto para novos trabalhos. Por último, não discriminamos pacientes com de sem ordem de restrição de tratamento (não ressuscitar) com relação à mortalidade na UTI e no hospital.

CONCLUSÃO

A admissão retardada do pronto-socorro para a unidade de terapia intensiva é um fator de risco independente para maior mortalidade na unidade de terapia intensiva. Um período de atraso de 4 horas se associa com desfechos piores.

APÊNDICE 1 Índice

1. Tabela 1S: Variáveis registradas e dados faltantes.

2. Tabela 2S: Categorias diagnósticas e cinco principais diagnósticos.

3. Tabela 3S: Grupos pareados: dados demográficos e características clínicas.

4. Tabela 4S: Desfechos secundários dos grupos pareados.

5. Tabela 5S: Fatores de Inflação da Variância do modelo de regressão logística multivariado.

6. Tabela 6S: Linearidade das variáveis independentes e Log odds (teste de Box-Tidwell).

7. Tabela 7S: Regressão logística dos grupos pareados.

8. Tabela 8S: Teste de Tarone da homogeneidade da razão de chance bruta e estratificada entre admissão retardada e mortalidade na unidade de terapia intensiva.

9. Tabela 9S: Modelo de regressão logística com exclusão de sepse.

10. Figura 1S: Percentagem das variáveis e redução de viés após pareamento.

11. Figura 2S: Gráficos de interação entre retardo e outras variáveis no modelo de regressão logística.

Tabela 1S
Variáveis registradas e dados faltantes

Dados: 1.887 pacientes	n (%)
Idade (anos)	0 (0)
Sexo (masculino - feminino)	0 (0)
VM (sim - não)	0 (0)
Tempo até admissão (minutos)	0 (0)
Permanência na UTI (dias)	0 (0)
Desfecho na UTI (vivo - falecido)	0 (0)
Desfecho no hospital (vivo - falecido)	0 (0)
Categoria diagnóstica (clínica- cirúrgica - trauma)	0 (0)
APACHE IV	0 (0)
SOFA	19 (1)
Acesso venoso central (sim - não)	0 (0)
TSRC no PS (sim - não)	0 (0)
Vasopressores no PS (sim - não)	0 (0)
MEWS no PS	159 (8,4)

• VM - ventilação mecânica; UTI - unidade de terapia intensiva; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; TSRC - terapia de substituição renal contínua; PS - pronto-socorro; MEWS - Modified Early Warning Score. Resultados expressos por n (%).

Tabela 2S
Categorias diagnósticas e cinco principais diagnósticos

Clínica (n = 1.233)	n (%)
Respiratório relacionado à infecção (por exemplo: PAC - H1N1)	516 (42)
Neurológico não traumático (por exemplo: AVC isquêmico e hemorragia cerebral espontânea)	312 (25)
Choque séptico/sepse	220 (18)
DPOC	107 (8)
Distúrbios endócrinos e eletrolíticos (por exemplo: cetoacidose diabética)	47 (4)
Cirúrgico (n = 356)
Sangramento do trato gastrintestinal superior/inferior	114 (32)
Perfuração gastrintestinal	102 (29)
Obstrução intestinal	64 (18)
Hepatobiliar	47 (13)
Relacionado à sepse (pé diabético e infecção de ferida cirúrgica)	19 (5)
Trauma (n = 298)
Politrauma por acidente veicular	163 (55)
Traumatismo craniencefálico isolado	63 (21)
Trauma ortopédico	30 (10)
Trauma abdominal (hemorragia intestinal e hematoma retroperitoneal)	24 (8)
Lesões vasculares	10 (3)

• PAC - pneumonia adquirida na comunidade; AVC - acidente vascular cerebral; DPOC - doença pulmonar obstrutiva crônica.

Tabela 3S
Grupos pareados: dados demográficos e características clínicas

	Retardada (n = 794)	A tempo (n = 794)	Valor de p
Idade	49,9 ± 19,9	50,3 ± 19,6	0,7
Sexo masculino	574 (72,3)	571 (71,9)	0,9
VM	317 (39,9)	316 (39,8)	0,99
Diagnóstico
Clínico	558 (70,3)	556 (70)	0,9
Cirúrgico	110 (13,9)	111 (14)	0,9
Trauma	126 (15,8)	127 (16)	0,9
Acesso venoso central	577 (72,7)	575 (72,4)	0,9
Vasopressores	462 (58,2)	463 (58,3)	0,9
TSRC	191 (24,1)	193 (24,3)	0,9
Sepse	147 (18,5)	132 (12,1)	< 0,001
APACHE IV	65,9 ± 2,8	66,1 ± 3	0,2
SOFA	7,1 ± 2,9	7,03 ± 2,9	0,6
MEWS	2,4 ± 2	2,6 ± 2,3	0,06
Tempo até admissão	625,2 ± 485,4	162,4 ± 88,8	< 0,001

• VM - ventilação mecânica; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; MEWS - Modified Early Warning Score. Resultados expressos por média ± desvio-padrão ou n (%).

Tabela 4S
Desfechos secundários dos grupos pareados

	Retardada (n = 794 )	A tempo (n = 794)	Valor de p
Tempo de permanência na UTI	15,2 ± 17,1	12 ± 14,1	< 0,001
Mortalidade na UTI	229 (28,8)	104 (13,1)	< 0,001
Mortalidade no hospital	279 (35,1)	151 (19)	< 0,001

• UTI - unidade de terapia intensiva. Resultados expressos por média ± desvio-padrão ou n (%).

Tabela 5S
Fatores de Inflação da Variância no modelo de regressão logística multivariada

Variável	Fator de inflação de variância
Vasopressores	3,81
SOFA	3,18
Acesso venoso central	2,34
TSRC	1,38
Tempo até admissão	1,31
Sepse	1,26
APACHE IV	1,24
Diagnóstico	1,22
Idade	1,14
Retardo na admissão	1,10
Tempo de permanência	1,09
Ventilação mecânica	1,07
FIV médio	1,68

• SOFA - Sequential Organ failure Assessment; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; FIV - fator de inflação de variância.

Tabela 6S
Linearidade das variáveis independentes e Log odds (teste de Box-Tidwell)

Variável contínua	Valor de p no teste de Box-Tidwell
Idade	0,179
Tempo até admissão	0,248
Tempo de permanência	0,212
APACHE IV	0,092
SOFA	0,142

• APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment.

Tabela 7S
Regressão logística dos grupos pareados

Variável	Regressão logística multivariada
	RC	IC95%	Valor de p
Idade	1,01	1,005 - 1,02	0,001
VM	1,8	1,3 - 2,4	< 0,001
TSRC	2,3	1,5 - 3,7	< 0,001
Vasopressores	0,06	0,02 - 0,14	< 0,001
Acesso central	1,2	0,7 - 1,9	0,5
Diagnóstico
Clínico	Referência
Cirúrgico	1,1	0,8 - 1,7	0,5
Trauma	0,6	0,3 - 0,9	0,02
APACHE IV	1,05	0,99 - 1,1	0,08
SOFA	1,6	1,4 - 1,8	< 0,001
Sepse	3,7	2,9 - 4,5	< 0,001
Tempo até admissão	1,0004	1,0001 - 1,0008	0,008
Permanência na UTI	1,02	1,01 - 1,03	< 0,001
Admissão retardada	2,5	1,8 - 3,7	< 0,001

• RC - razão de chance; IC95% - intervalo de confiança de 95%; VM - ventilação mecânica; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; UTI - unidade de terapia intensiva.

Tabela 8S
Teste de Tarone da homogeneidade da razão de chance bruta e estratificada entre admissão retardada e mortalidade na unidade de terapia intensiva

Estimativa	RC combinada de Mantel-Haenszel	IC95%	Valor de p Teste de Tarone
Bruto	3,480686	2,700016 - 4,498318
Gênero	3,481862	2,718713 - 4,459228	0,6017
Idade (acima ou abaixo da mediana)	3,367081	2,626465 - 4,316538	0,2388
VM	3,57704	2,787529 - 4,590164	0,9904
Vasopressores	3,467953	2,70709 - 4,442666	0,5720
APACHE IV (acima ou abaixo da mediana)	3,567202	2,778645 - 4,579545	0,7659
Sepse	3,064409	2,379832 - 3,945909	0,0055

• RC - razão de chance; IC95% - intervalo de confiança de 95%; VM - ventilação mecânica; APACHE - Acute Physiology and Chronic Health Evaluation.

Tabela 9S
Modelo de regressão logística com exclusão de sepse

Variável	Modelo multivariado
	RC	IC95%	Valor de p
Idade	1,01	1,007 - 1,02	< 0,001
VM	1,8	1,4 - 2,4	< 0,001
TSRC	1,7	1,1 - 2,7	< 0,001
Vasopressores	0,15	0,07 - 0,3	0,06
Acesso central	0,9	0,6 - 1,4	0,7
Diagnóstico
Clínico	Referência
Cirúrgico	1,2	0,9 - 1,7	0,2
Trauma	0,6	0,4 - 0,9	0,01
APACHE IV	1,06	1,01 - 1,1	0,02
SOFA	1,4	1,3 - 1,5	< 0,001
Tempo até admissão	1,0005	1,0001 - 1,001	0,006
Permanência na UTI	1,03	1,02 - 1,03	< 0,001
Admissão retardada	3	2,2 - 4,1	< 0,001

• RC - razão de chance; IC95% - intervalo de confiança de 95%; VM - ventilação mecânica; TSRC - terapia de substituição renal contínua; APACHE - Acute Physiology and Chronic Health Evaluation; SOFA - Sequential Organ failure Assessment; UTI - unidade de terapia intensiva.

Figura 1S
Percentagem de redução das variáveis após pareamento.

Figura 2S
Gráficos de interação entre retardo e outras variáveis no modelo de regressão logística.

REFERÊNCIAS

• ¹
  Al-Qahtani S, Alsultan A, Haddad S, Alsaawi A, Alshehri M, Alsolamy S, et al. The association of duration of boarding in the emergency room and the outcome of patients admitted to the intensive care unit. BMC Emerg Med. 2017;17(1):34.
• ²
  Cardoso LT, Grion CM, Matsuo T, Anami EH, Kauss IA, Seko L, et al. Impact of delayed admission to intensive care units on mortality of critically ill patients: a cohort study. Crit Care. 2011;15(1):R28.
• ³
  Chalfin DB, Trzeciak S, Likourezos A, Baumann BM, Dellinger RP; DELAY-ED study group. Impact of delayed transfer of critically ill patients from the emergency department to the intensive care unit. Crit Care Med. 2007;35(6):1477-83.
• ⁴
  Aletreby WT, Huwait BM, Al-Harthy AM, Madi AF, Ramadan OE, Al-Odat MA, et al. Tracheostomy as an independent risk factor of ICU readmission. Int J Health Sci Res. 2017;7(6):65-71.
• ⁵
  Aitavaara-Anttila M, Liisanantti JH, Raatiniemi L, Ohtonen P, Ala-Kokko T. Factors related to delayed intensive care unit admission from emergency department-A retrospective cohort study. Acta Anaesthesiol Scand. 2019;63(7):939-46.
• ⁶
  García-Gigorro R, de la Cruz Vigo F, Andrés-Esteban EM, Chacón-Alves S, Morales Varas G, Sánchez-Izquierdo JA, et al. Impact on patient outcome of emergency department length of stay prior to ICU admission. Med Intensiva. 2017;41(4):201-8.
• ⁷
  Carter AW, Pilcher D, Bailey M, Cameron P, Duke GJ, Cooper J. Is ED length of stay before ICU admission related to patient mortality? Emerg Med Australas. 2010;22(2):145-50.
• ⁸
  Mathews KS, Durst MS, Vargas-Torres C, Olson AD, Mazumdar M, Richardson LD. Effect of emergency department and ICU occupancy on admission decisions and outcomes for critically ill patients. Crit Care Med. 2018;46(5):720-7.
• ⁹
  Agustin M, Price LL, Andoh-Duku A, LaCamera P. Impact of delayed admission to the intensive care unit from the emergency department upon sepsis outcomes and sepsis protocol compliance. Crit Care Res Pract. 2017;2017:9616545.
• ¹⁰
  Saukkonen KA, Varpula M, Räsänen P, Roine RP, Voipio-Pulkki LM, Pettilä V. The effect of emergency department delay on outcome in critically ill medical patients: evaluation using hospital mortality and quality of life at 6 months. J Intern Med. 2006;260(6):586-91.
• ¹¹
  Groenland CN, Termorshuizen F, Rietdijk WJ, van den Brule J, Dongelmans DA, de Jonge E, et al. Emergency department to ICU time is associated with hospital mortality: a registry analysis of 14,788 patients from six university hospitals in The Netherlands. Crit Care Med. 2019;47(11):1564-71.
• ¹²
  von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP; STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. J Clin Epidemiol. 2008;61(4):344-9.
• ¹³
  Singer M, Deutschman CS, Seymour CW, Shankar-Hari M, Annane D, Bauer M, et al. The Third International Consensus Definitions for Sepsis and Septic Shock (Sepsis-3). JAMA. 2016; 315(8):801-10.
• ¹⁴
  Chrusch CA, Martin CM, Project TQ. Quality improvement in critical care: selection and development of quality indicators. Can Respir J. 2016;2016:2516765.
• ¹⁵
  Ferguson ND, Scales DC, Pinto R, Wilcox ME, Cook DJ, Guyatt GH, Schünemann HJ, Marshall JC, Herridge MS, Meade MO; Canadian Critical Care Trials Group. Integrating mortality and morbidity outcomes: using quality-adjusted life years in critical care trials. Am J Respir Crit Care Med. 2013;187(3):256-61.
• ¹⁶
  Chen H, Zhao C, Wei Y, Jin J. Early lactate measurement is associated with better outcomes in septic patients with an elevated serum lactate level. Crit Care. 2019;23(1):351.
• ¹⁷
  Shrestha N. Application of binary logistic regression model to assess the likelihood of overweight. Am J Theor Appl Stat. 2019;8(1):18-25.
• ¹⁸
  Wang Z. Two postestimation commands for assessing confounding effects in epidemiological studies. Stata J. 2007;7(2):183-96.
• ¹⁹
  Paul SR, Donner A. A comparison of tests of homogeneity of odds ratios in K 2 x 2 tables. Stat Med. 1989;8(12):1455-68.
• ²⁰
  Zhang Z, Bokhari F, Guo Y, Goyal H. Prolonged length of stay in the emergency department and increased risk of hospital mortality in patients with sepsis requiring ICU admission. Emerg Med J. 2019;36(2):82-7.
• ²¹
  Hung SC, Kung CT, Hung CW, Liu BM, Liu JW, Chew G, et al. Determining delayed admission to intensive care unit for mechanically ventilated patients in the emergency department. Crit Care. 2014;18(4):485.
• ²²
  O'Callaghan DJ, Jayia P, Vaughan-Huxley E, Gribbon M, Templeton M, Skipworth JR, et al. An observational study to determine the effect of delayed admission to the intensive care unit on patient outcome. Crit Care. 2012;16(5):R173.
• ²³
  Khan BA, Shakeel N, Siddiqui EU, Kazi G, Khan IQ, Khursheed M, et al. Impact of delay in admission on the outcome of critically ill patients presenting to the emergency department of a tertiary care hospital from low income country. J Pak Med Assoc. 2016;66(5):509-16.
• ²⁴
  Hargrove J, Nguyen HB. Bench-to-bedside review: outcome predictions for critically ill patients in the emergency department. Crit Care. 2005;9(4):376-83.
• ²⁵
  Rose L, Scales DC, Atzema C, Burns KE, Gray S, Doing C, et al. Emergency department length of stay for critical care admissions. A population-based study. Ann Am Thorac Soc. 2016;13(8):1324-32.
• ²⁶
  Chan TC, Killeen JP, Vilke GM, Marshall JB, Castillo EM. Effect of mandated nurse-patient ratios on patient wait time and care time in the emergency department. Acad Emerg Med. 2010;17(5):545-52.
• ²⁷
  Aksu NM, Akkas M. Where are we in patient safety in the ED in Turkey? Medicine (Baltimore). 2019;98(41):e17569.
• ²⁸
  Hill AB. The environment and disease: association or causation? Proc R Soc Med. 1965;58(5):295-300.
• ²⁹
  van Stralen KJ, Dekker FW, Zoccali C, Jager KJ. Confounding. Nephron Clin Pract. 2010;116(2):c143-7.
• ³⁰
  Aletreby WT, Alharthy AM, Madi AF, Soliman IR, Hamido HM, Ramadan OE, et al. Impact on efficacy and safety of hydrocortisone in sepsis and septic shock - A systematic literature review and meta-analysis. Arch Iran Med. 2019;22(7):394-402.

Editado por

Editor responsável: Leandro Utino Taniguchi

Datas de Publicação

• Publicação nesta coleção
  19 Abr 2021
• Data do Fascículo
  Jan-Mar 2021

Histórico

• Recebido
  22 Mar 2020
• Aceito
  12 Jun 2020