Análisis de la confiabilidad del Sistema de Triaje de Manchester: concordancia interna y entre observadores¹

RESUMEN

Objetivo:

Analizar la confiabilidad del Sistema de Triaje de Manchester para determinar el grado de prioridad de pacientes en servicios de urgencia.

Método:

Se trata de un estudio de confiabilidad con muestra de 361 enfermeros. Los datos fueron recogidos en tres etapas y los cuestionarios aplicados utilizando software electrónico. La concordancia fue medida por la evaluación de casos clínicos. Los resultados evaluados fueron: concordancia con el estándar oro e intra-observadores en la indicación del diagrama de flujo, discriminador y nivel de riesgo. Los datos fueron sometidos a análisis uni y bivariados. La concordancia fue medida por el cálculo del índice Kappa.

Resultados:

La confiabilidad externa e interna del protocolo varió de moderada a sustancial (Kappa:0,55-0,78). Tiempo de experiencia profesional como enfermero, en servicios de urgencia y emergencia y en la clasificación de riesgo fueron asociados a la confiabilidad externa e interna. La elección cierta del discriminador influyó más la correcta indicación del nivel de riesgo (R²=0,77; p<0,0001) de que la elección correcta del diagrama de flujo (R²=0,16; p<0,0001).

Conclusión:

La confiabilidad del Sistema de Triaje de Manchester varió de moderada a sustancial y fue influida por la experiencia clínica del enfermero. El protocolo es seguro para definición de las prioridades clínicas utilizando diferentes diagramas de flujo de clasificación.

Descriptores:
Enfermería; Servicios Médicos de Urgencia; Triaje; Evaluación en Enfermería; Reproducibilidad de Resultados; Valides de las Pruebas

ABSTRACT

Objective:

To analyze the reliability of the Manchester Triage System to determine the priority of patients in emergency services.

Method:

This is a reliability study with a sample of 361 nurses. The data were collected in three stages and the questionnaires were applied using the electronic software. The agreement was measured by the evaluation of clinical cases. The outcomes evaluated were agreement with the gold standard and intra-observer in the indication of the flowchart, discriminator, and level of risk. Data were submitted to univariate and bivariate analyses. The agreement was measured by the Kappa index.

Results:

The external and internal reliability of the protocol ranged from moderate to substantial (Kappa: 0.55-0.78). The time of professional experience as a nurse, in emergency services and in the classification of risk were associated with external and internal reliability. The correct choice of the discriminator influenced the correct indication of the risk level (R² = 0.77, p <0.0001) more than the correct choice of the flowchart (R² = 0.16, p <0.0001).

Conclusion:

The reliability of the Manchester Triage System ranged from moderate to substantial and it was influenced by the clinical experience of the nurse. The protocol is safe for defining clinical priorities using different classification flowcharts.

Descriptors:
Nursing; Emergency Medical Services; Triage; Nursing Assessment; Reproducibility of Results; Validity of Tests

RESUMO

Objetivo:

analisar a confiabilidade do Sistema de Triagem de Manchester para determinar o grau de prioridade de pacientes em serviços de urgência.

Método:

trata-se de estudo de confiabilidade com amostra de 361 enfermeiros. Os dados foram coletados em três etapas e os questionários aplicados utilizando software eletrônico. A concordância foi mensurada pela avaliação de casos clínicos. Os desfechos avaliados foram: concordância com o padrão ouro e intraobservadores na indicação do fluxograma, discriminador e nível de risco. Os dados foram submetidos a análises uni e bivariadas. A concordância foi mensurada pelo cálculo do índice Kappa.

Resultados:

a confiabilidade externa e interna do protocolo variou de moderada a substancial (Kappa:0,55-0,78). Tempo de experiência profissional como enfermeiro, em serviços de urgência e emergência e na classificação de risco, foi associado à confiabilidade externa e interna. A escolha certa do discriminador influenciou mais a correta indicação do nível de risco (R²=0,77; p<0,0001) do que a escolha correta do fluxograma (R²=0,16; p<0,0001).

Conclusão:

a confiabilidade do Sistema de Triagem de Manchester variou de moderada a substancial e foi influenciada pela experiência clínica do enfermeiro. O protocolo é seguro para definição das prioridades clínicas utilizando diferentes fluxogramas de classificação.

Descritores:
Enfermagem; Serviços Médicos de Emergência; Triagem; Avaliação em Enfermagem; Reprodutibilidade dos Testes; Validade dos Testes

Introducción

El proceso de selección se configura como elemento intuitivo de la práctica clínica de enfermeros que actúan en servicios de urgencia y emergencia. Atribuir un grado de riesgo al paciente es un complejo proceso de tomada de decisión. Según la Teoría del Continuum Cognitivo, para tomar decisiones los enfermeros utilizan del raciocinio clínico, que envuelve un pensamiento ordenado e intencional, fundamentado en los conocimientos teóricos y prácticos, y en la experiencia personal y profesional¹. En la triaje, la tomada de decisión es influida por sistemas de apoyo al juzgado clínico, por el juzgado intuitivo y reflexivo, y por la evaluación por pares envolviendo enfermero y paciente².

Los sistemas de apoyo al juzgado se refiere al uso de las escalas o sistemas de triaje que guían al enfermero en la evaluación de la queja presentada por el paciente. El juzgado intuitivo y el reflexivo son fuertemente influidos por el tiempo de experiencia profesional del enfermero, y por el uso das experiencias anteriores para juzgar nuevos casos y tomar decisiones. La evaluación por pares envolviendo enfermero y paciente implica en la certificación de la credibilidad de la queja presentada por el paciente, envolviéndolo en el proceso de evaluación y confirmación de los hallados clínicos que sustentan la tomada de decisión acerca del nivel de prioridad².

En lo que se refiere a los sistemas de apoyo, sistemas o protocolos de triaje han sido desarrollados para guiar la evaluación del enfermero³. Entre estos, se destaca el Sistema de Triaje de Manchester (STM), que estratifica en cinco los niveles de gravedad y atribuye, a cada nivel, color y tiempo meta para atendimiento médico. Es estructurado en diagramas de flujo con discriminadores que orientan la recolección y análisis de informaciones para la definición de la prioridad clínica del paciente⁴.

En un contexto de demanda por servicios mayor que la oferta y con recursos limitados de atendimiento, la triaje de los pacientes debe acontecer de forma exacta para garantizar el cuidado de acuerdo con la real necesidad del paciente⁵. Así, la tomada de decisión del enfermero en la clasificación de riesgo debe ser guiada por un sistema de apoyo confiable, capaz de medir con precisión el grado de prioridad do paciente.

La confiabilidad es considerada el principal criterio para testar la calidad de los instrumentos de medida. Se trata da habilidad del instrumento medir, de forma consistente y exacta, aquello que pretende medir, y en reproducir un resultado de forma consistente en el tiempo y en el espacio, o con observadores diferentes⁶.

A pesar del STM haber sido desarrollado hace dos décadas y ser ampliamente utilizado en diferentes países como sistema de apoyo al enfermero para tomada de decisión en la triaje, su confiabilidad ha sido poco cuestionada⁷. Una revisión integrativa apuntó que la confiabilidad del STM varió de moderada a casi perfecta, lo que muestra la necesidad de nuevos estudios para identificar modificaciones necesarias en el protocolo y aumentar la seguridad en la gestión del riesgo clínico de los pacientes en servicios de urgencia⁸.

Se verifican variaciones en los estudios sobre la confiabilidad del STM que indican laguna sobre la real confiabilidad de esta escala de triaje^7-8. Siendo así, se cuestiona: ¿Cuál es la confiabilidad del STM para determinar el grado de prioridad del paciente, considerando la concordancia interna y entre enfermeros que utilizan este protocolo? Así, se delineó este estudio con objetivo de analizar la confiabilidad del STM para determinar el grado de prioridad de pacientes en servicios de urgencia.

Método

Se trata de estudio de confiabilidad, realizado en conjunto con el Grupo Brasilero de Clasificación de Riesgo (GBCR), que es el responsable por la capacitación de los enfermeros brasileros en el uso y en la auditoría del STM.

La población del estudio fue compuesta por enfermeros habilitados por el GBCR entre enero de 2008 y agosto de 2014 para usar el STM en la práctica clínica (N=11.711). La habilitación fue obtenida en el curso de clasificador dado por médicos y enfermeros del GBCR, en la modalidad presencial, con duración de 12 horas. Al final, los enfermeros realizaron una evaluación teórica, y los que consiguieron índice de aprovechamiento mayor o igual a 60%, fueron considerados aptos a utilizar el STM en la práctica clínica. Fueron incluidos en el estudio, los enfermeros que poseían dirección electrónica válida, y habilitados en el curso de clasificador (n= 6.227 enfermeros).

La muestra fue calculada considerando intervalo de confianza de 95%, margen de error de 5%, estimativa de aciertos entre observadores y estándar oro de 75% y estimativa de aciertos intra-observadores de 85%. La estimativa de aciertos utilizada fue basada en estudio de referencia previamente realizado⁹. Así, para medir la confiabilidad externa del STM, la muestra mínima necesaria fue de 273 enfermeros y para medir la confiabilidad interna de 152 enfermeros.

Entre tanto, cabe resaltar que la muestra obtenida en el presente estudio fue mayor del mínimo necesario. La muestra final conseguida fue de 361 enfermeros para medir la confiabilidad externa del STM, y de 153 enfermeros para evaluación de la confiabilidad interna. Estos eran enfermeros de 21 diferentes estados brasileros, siendo la mayor parte de los participantes de los estados de Minas Gerais (93-25,76%), São Paulo (49-13,58%), Distrito Federal (45-12,46%), Espírito Santo (45-12,46%), Rio Grande do Sul (31-8,59%), Ceará (26-7,20%), Santa Catarina (23-6,37%), y el restante (49-13,58%) de los estados de Alagoas, Amazonas, Bahia, Goiás, Mato Grosso, Mato Grosso do Sul, Pará, Paraíba, Paraná, Pernambuco, Piauí, Rio de Janeiro, Rio Grande do Norte, y Sergipe.

La confiabilidad del STM fue medida por el parámetro de la estabilidad, que consiste en la administración del mismo instrumento a los mismos sujetos sobre condiciones semejantes en dos o más ocasiones¹⁰. Casos clínicos fueron evaluados por enfermeros en dos momentos distintos (test y re-test).

La recolección de los datos fue realizada entre los meses de septiembre de 2014 a agosto de 2015, y envolvió tres etapas. La primera consistió en la obtención y validez de los casos clínicos. Fue obtenido, junto al GBCR, un total de 40 casos, que correspondía al total de casos utilizados a la época para capacitación de los enfermeros brasileros en el uso del STM. Los casos fueron validados cuanto al contenido por un grupo de tres especialistas habilitados en el uso del STM en la práctica clínica y con publicación sobre el STM, dos con experiencia profesional en el uso del protocolo en la práctica clínica y un con experiencia en el enseñanza y orientación de proyectos de investigación envolviendo el STM.

Para validar los casos clínicos fue utilizada la versión II de la Escala de Precisión de Diagnósticos de Enfermería¹¹, adaptada para el estudio después del consentimiento de las autoras, a fin de identificar el grado en que un conjunto de pistas descritas en cada caso clínico permitía la identificación del nivel de riesgo del paciente, siguiendo el STM. Para cada caso clínico, los especialistas evaluaron la presencia, relevancia, especificidad y coherencia de las pistas de acuerdo con el resultado clínico (nivel de riesgo del paciente). Los puntajes de precisión de la escala varían de cero a 13,5, indicando desde precisión nula hasta la alta precisión. Fueron considerados válidos los casos clínicos en que los especialistas concordaron en 100% que las pistas descritas eran de alta precisión (n= 28).

En la segunda etapa de la recolección de los datos fue hecho el test para evaluación de la confiabilidad externa del STM, medido por la concordancia entre los enfermeros y el estándar oro en la indicación, para cada caso clínico, del diagrama de flujo, discriminador y nivel de riesgo. El estándar oro del estudio fue la planilla de los casos clínicos fornecido por el GBCR. Para la recolección de los datos, se utilizó el software electrónico SurveyGizmo^®, con cuestionarios electrónicos auto aplicados usando como plataforma computadores conectados a internet. El link para acceso a los instrumentos de recolección de datos fue enviado para el e-mail de los enfermeros participantes del estudio (n=6.227) a través de la herramienta MailChimp^®. Al tener acceso el link, el enfermero era dirigido al Término de Consentimiento Libre y Aclarado y, caso aceptase participar del estudio, era dirigido para la página inicial, conteniendo instrucciones sobre cómo proceder para responder a las preguntas. Fueron configurados en el sistema SurveyGizmo^® dos instrumentos de recolección de datos intitulados “Casos clínicos” y “Perfil profesional de los enfermeros”.

El instrumento “Casos clínicos” contenía los 28 casos clínicos validados. Para cada caso clínico, el enfermero debería indicar el diagrama de flujo, discriminador y nivel de riesgo utilizando el STM. Todas las respuestas fueron pre-formateadas y no fueron permitidas respuestas discursivas. Al clicar en el campo “Diagrama de flujo” era disponible la lista de los 50 diagramas de flujo existentes en el STM. Fueron excluidos los dos diagramas de flujo del STM relacionados al atendimiento a catástrofes. Al clicar en el diagrama de flujo elegido, era disponible el organograma específico de aquel diagrama de flujo, así como la definición de los discriminadores, tal como consta en la versión impresa del STM. Una vez elegido el discriminador de la clasificación, el enfermero indicaba el nivel de riesgo del paciente.

El instrumento “Perfil profesional de los enfermeros” contenía 13 preguntas agrupadas en dos bloques: el de preguntas referentes al perfil demográfico y de formación del enfermero, y el de preguntas referentes a la experiencia clínica del enfermero en la enfermería, en servicios de urgencia y emergencia, y en la clasificación de riesgo.

En la tercera etapa de la recolección de los datos fue hecho el re-test para evaluación de la confiabilidad interna del STM, medida por la concordancia intra-observadores. Fue utilizada la misma estrategia de recolección de datos descrita en la etapa dos del estudio. Todos los enfermeros que respondieron al cuestionario en la segunda etapa de recolección de datos (n=361) fueron convidados a participar de esta etapa del estudio, respondiendo nuevamente al instrumento “Casos clínicos”, siendo ocultada la primera clasificación.

Los datos recogidos fueron tabulados y sometidos a análisis uni y bivariados utilizando el programa estadístico SPSS (Statistical Package for Social Sciences) versión 19.0.

Para trazar el perfil profesional de los enfermeros se utilizó estadística descriptiva con distribución de frecuencia. Para evaluar si el número de aciertos en la indicación del diagrama de flujo y del discriminador influye la elección correcta del nivel de riesgo, se empleó el análisis de regresión linear. Para este análisis, la variable dependiente fue “número de aciertos en la elección del nivel de riesgo” y las variables independientes “número de aciertos en la elección del diagrama de flujo” y “número de aciertos en la elección del discriminador”. Se avalió también lo cuanto la elección correcta del diagrama de flujo influyó en la indicación correcta del discriminador. Para este análisis, la variable dependiente fue “número de aciertos en la elección del discriminador” y la variable independiente fue “número de aciertos en la elección del diagrama de flujo”.

Los valores de undertriage y overtriage que traducen, respectivamente, el porcentaje de pacientes seleccionados por los enfermeros para niveles de menor y mayor gravedad, cuando comparados al estándar oro, fueron medidos utilizando estadística descriptiva con cálculo del % de concordancia entre los enfermeros y el estándar oro en la elección del nivel de riesgo.

La confiabilidad externa e interna del STM fue evaluada a través del índice de concordancia Kappa linear y no ponderado, que mide la concordancia intra-observadores o entre observadores además del esperado por el acaso, a que sean sometidos el mismo número de sujetos. La concordancia fue considerada: nula (k=0); pobre (0,01 - 0,19); débil (0,20 - 0,39); moderada (0,40 - 0,59); sustancial (0,60 - 0,79), y casi perfecta (0,80 - 1)¹².

Para evaluar la asociación entre la confiabilidad externa e interna del STM y las variables del perfil profesional, se utilizó el test no paramétrico de Kruskal-Wallis y para los casos de más de 2 grupos donde fueron encontradas diferencias significativas, el test no paramétrico de Mann-Whitney con corrección de Bonferroni fue usado.

El estudio fue aprobado por el Comité de Ética e Investigación (Parecer ético Nº 816.372), y siguió lo dispuesto en la Resolución n° 466/12 del Consejo Nacional de Salud sobre Investigación envolviendo seres humanos.

Resultados

De los 361 enfermeros que participaron del estudio, la mayoría (294 - 81,44%) era del sexo femenino, con edad entre 23 y 62 años (media: 34,16 años + 8,17 años). La Tabla 1 muestra la caracterización de los enfermeros del estudio, según las variables del perfil profesional investigadas.

Tabla 1-Perfil
profesional de los enfermeros del estudio (n=361). Belo Horizonte, MG, Brasil, 2015

Variable		n	%
Tiempo de graduación en Enfermería
	Menor que un año	2	0,55
	Entre uno y cinco años	144	39,89
	Entre cinco y diez años	142	39,34
	Más de diez años	73	20,22
Mayor grado de formación obtenido o en andamiento
	Graduación	40	11,08
	Especialización	276	76,46
	Maestría	33	9,14
	Doctorado	12	3,32
Formación relacionada a la clasificación de riesgo durante la graduación
	Ningún contenido	240	66,48
	Apenas contenido teórico	90	24,93
	Contenido teórico y práctico	31	8,59
Formación relacionada al STM* durante la graduación
	Ningún contenido	282	78,12
	Apenas contenido teórico	60	16,62
	Contenido teórico y práctico con poca o ninguna aplicación en la práctica clínica	16	4,43
	Contenido teórico y práctico con mucha aplicación en la práctica clínica	3	0,83
Tiempo de experiencia profesional como enfermeiro
	Menor que un año	30	8,31
	Entre uno y cinco años	164	45,43
	Entre cinco y diez años	96	26,59
	Más de diez años	71	19,67
Tiempo de experiencia en servicios de Urgencia y Emergencia
	Menor que un año	82	22,71
	Entre uno y cinco años	188	52,08
	Entre cinco y diez años	58	16,07
	Más de diez años	33	9,14
Tiempo de experiencia en la clasificación de riesgo como enfermero
	Nunca	40	11,08
	Menor que un año	111	30,75
	Entre uno y cinco años	198	54,85
	Entre cinco y diez años	11	3,05
	Más de diez años	1	0,27

• *STM: Sistema de Triaje de Manchester

La Tabla 2 muestra los valores de la media y variaciones de los aciertos de los enfermeros en relación al estándar oro en la elección del diagrama de flujo, discriminador y nivel de riesgo, considerando los 28 casos evaluados.

Tabla 2
Acierto de los enfermeros con el estándar oro en la indicación del diagrama de flujo, discriminador y nivel de riesgo (n=361). Belo Horizonte, MG, Brasil, 2015

Variable	Número de aciertos
	Media	Desvío Estándar	Valor máximo	Valor mínimo
Diagrama de flujo	20,60	2,58	27	11
Discriminador	16,40	3,97	26	4
Nivel de Riesgo	21,72	3,24	28	11

El análisis de regresión linear mostró que hay relación directa entre el número de aciertos del diagrama de flujo y del discriminador y la indicación del nivel de riesgo (p <0,0001). La variación de aciertos en la elección del diagrama de flujo explico 16% de la variación de aciertos del nivel de riesgo (R²=0,16; p<0,0001; IC 95%: 0,39-0,62), al paso que la indicación correcta del discriminador explicó 77% de los aciertos del nivel de riesgo (R²=0,77; p<0,0001; IC 95%: 0,67-0,76). La variación de aciertos en la elección del diagrama de flujo explicó 23% de la variación en el acierto de los discriminadores (R²=0,23; p< 0,0001; IC 95%: 0,60-0,88), comprobando la seguridad del protocolo en la determinación del nivel de prioridad a partir de diferentes diagramas de flujo de presentación, ya que hay quejas que pueden ser evaluadas utilizando diferentes diagramas de flujo de presentación.

Tanto en la evaluación de la confiabilidad externa como interna del STM, la overtriage fue más frecuente en el nivel V de gravedad (color azul), ocurriendo en 17% a 18% de los casos. La undertriage fue más frecuente en el nivel II de gravedad (color naranja), ocurriendo en 27% de los casos. En su mayoría, los pacientes fueron seleccionados para un nivel encima y un nivel debajo de la gravedad real del caso.

La confiabilidad externa e interna del STM fue medida por el cálculo del índice kappa para la elección del diagrama de flujo, discriminador, y nivel de riesgo (Tabla 3).

Para la elección del diagrama de flujo y del nivel de riesgo, el STM presenta una concordancia sustancial. Para la elección del discriminador, la concordancia es moderada. Se procedió a la investigación para verificar la asociación entre los valores de kappa y las variables del perfil profesional. La Tabla 4 presenta las variables en que fueron encontradas asociaciones significativas entre los valores de Kappa y la elección del diagrama de flujo y discriminador de clasificación en la evaluación de la confiabilidad externa del STM. No fue encontrada asociación entre las variables del perfil profesional y la concordancia en la elección del nivel de riesgo en la evaluación de la confiabilidad externa del STM.

Tabla 3
Confiabilidad externa (n=361) e interna (n=153) del Sistema de Triaje de Manchester: valores de Kappa. Nivel de significancia: p < 0,001. Belo Horizonte, MG, Brasil, 2015

Variable	Confiabilidad externa		Confiabilidad interna
	Kappa: enfermeros y estándar oro		Kappa intra-observadores	Kappa: enfermeros y estándar oro
Diagrama de flujo	0,72		0,78	0,73
Discriminador	0,55		0,57	0,59
Nivel de Riesgo	0,69		0,70	0,72

Tabla 4
Confiabilidad externa del Sistema de Triaje de Manchester: factores asociados a la concordancia entre enfermeros y estándar oro en la elección del diagrama de flujo y discriminador (n=361). Belo Horizonte, MG, Brasil, 2015

Variable		Categorías (Tiempo)	Índice Kappa			P-valor*
			Media	Desvío Etándar	Mediana
Elección del Diag. de flujo	Experiencia en urgencia y emergencia‡	Menor que 1 año (a†)	0,70	0,10	0,70	0,04
		Entre 1 y 5 años (a†,b†)	0,73	0,09	0,74
		Entre 5 y 10 años (b†)	0,74	0,10	0,74
		Más de 10 años (a†,b†)	0,71	0,08	0,70
Elección del Discriminador	Experiencia como enfermero‡	Menor que 1 año (a†)	0,45	0,15	0,44	<0,001
		Entre 1 y 5 años (a†,b†)	0,58	0,14	0,62
		Entre 5 y 10 años (b†)	0,56	0,15	0,58
		Más de 10 años (a†,b†)	0,52	0,13	0,55
	Experiencia en urgencia y emergencia‡	Menor que 1 año (a†)	0,48	0,13	0,51	<0,001
		Entre 1 y 5 años (a†,b†)	0,52	0,17	0,51
		Entre 5 y 10 años (b†)	0,59	0,13	0,59
		Más de 10 años (a†,b†)	0,60	0,07	0,58
	Experiencia en la clasificación de riesgo§	Nunca atuou (b†)	0,50	0,12	0,53	<0,001
		Menor que 1 año (b†)	0,55	0,15	0,57
		Entre 1 y 5 años (c†)	0,61	0,12	0,64
		Entre 5 y 10 años (c†)	0,62	0,06	0,60
		Más de 10 años (a†,c†)	0,40	--	0,32

• *P-valor: valores de p obtenidos con el Test de Kruskal-Wallis. Nivel de significancia: p<0,05.
• †a, b, c: Las letras “a”, “b” y “c” fueron utilizadas para nombrar los grupos comparados en el test de Mann-Whitney con corrección de Bonferroni. Letras iguales simbolizan igualdad entre grupos, y letras diferentes reflejan las diferencias encontradas entre los grupos.
• ‡Experiencia en urgencia y emergencia, Experiencia como enfermero: Nivel de significancia adoptado para el Test de Mann-Whitney con corrección de Bonferroni para comparación de los grupos: p<0,006.
• §Experiencia en la clasificación de riesgo: Nivel de significancia adoptado para el Test de Mann-Whitney con corrección de Bonferroni para comparación de los grupos: p<0,0001.

En la evaluación de la confiabilidad externa del STM para elección del diagrama de flujo de clasificación, enfermeros que poseen entre cinco y diez años de experiencia en servicios de urgencia y emergencia presentaron mayor concordancia con el estándar oro, cuando comparados a aquellos con menos de un año de experiencia, pero, para ambos grupos, la concordancia fue sustancial (Tabla 4).

Para la elección del discriminador, enfermeros con menos de un año de experiencia profesional presentaron menor concordancia con el estándar oro, cuando comparados a los demás grupos. De modo semejante, enfermeros con menos de un año de experiencia en servicios de urgencia y emergencia concordaron menos con el estándar oro en la elección del discriminador, cuando comparados a aquellos que poseen entre uno y cinco y entre cinco y diez años de experiencia y, cuanto mayor el tiempo de experiencia, mayores los valores de kappa encontrados. No hubo diferencia entre los que nunca actuaron y los que actúan menos de un año en la clasificación de riesgo y la concordancia con el estándar oro en la elección del discriminador de clasificación. Sin embargo, quien actúa a menos de un año obtuvo mayor concordancia con el estándar oro de que los que actúan hace más de diez años. Enfermeros con tiempo de experiencia en la clasificación de riesgo entre cinco y diez años presentaron los mayores valores de kappa con el estándar oro en la elección del discriminador (Tabla 4).

La confiabilidad interna del STM fue evaluada por 153 (42,4%) de los 361 enfermeros que evaluaron la confiabilidad externa del STM, y la concordancia encontrada varió de moderada a sustancial (Tabla 3). La mayor parte de los enfermeros que participaron de esta etapa del estudio poseía entre uno y cinco años de experiencia profesional como enfermero (43,8%), en servicios de urgencia y emergencia (58,2%), y en la clasificación de riesgo (59,5%). La Tabla 5 muestra las variables en que fueron encontradas asociaciones significativas entre los valores de Kappa y la elección del diagrama de flujo, discriminador y nivel de riesgo.

Tabla 5
Confiabilidad interna del Sistema de Triaje de Manchester: factores asociados a la concordancia en la elección del diagrama de flujo, discriminador y nivel de riesgo (n=153). Belo Horizonte, MG, Brasil, 2015

Variable		Categorías (Tiempo)	Índice Kappa			P-valor*
			Media	Desvío Estándar	Mediana
Elección del Diag. de flujo	Experiencia en la clasificación de riesgo‡	Nunca actúo (a†)	0,73	0,09	0,73	0,001
		Menor que 1 año (a†)	0,75	0,09	0,77
		Entre 1 y 5 años (b†)	0,80	0,09	0,81
		Entre 5 y 10 años (a†,b†)	0,79	0,06	0,77
Elección del Discriminador	Experiencia en urgencia y emergencia‡	Nunca actúo (a†)	0,48	0,14	0,51	0,001
		Menor que 1 año (a†)	0,60	0,14	0,59
		Entre 1 y 5 años (b†)	0,58	0,11	0,55
		Entre 5 y 10 años (a†,b†)	0,51	0,04	0,51
	Experiencia en la clasificación de riesgo‡	Nunca actúo (a†)	0,52	0,14	0,53	<0,001
		Menor que 1 año (a†)	0,51	0,12	0,53
		Entre 1 y 5 años (b†)	0,61	0,13	0,62
		Entre 5 y 10 años (a†,b†)	0,50	0,08	0,47
Elección del nive de riesgo	Experiencia en urgencia y emergencia‡	Nunca actúo (a†)	0,60	0,17	0,59	<0,001
		Menor que 1 año (a†)	0,75	0,14	0,75
		Entre 1 y 5 años (b†)	0,69	0,11	0,70
		Entre 5 y 10 años (a†,b†)	0,60	0,16	0,64
	Experiencia en la clasificación de riesgo‡	Nunca actúo (a†)	0,63	0,15	0,65	<0,001
		Menor que 1 año (a†)	0,62	0,15	0,61
		Entre 1 y 5 años (b†)	0,74	0,15	0,76
		Entre 5 y 10 años (a†,b†)	0,68	0,07	0,66

• *P-valor: valores de p obtenidos con el Test de Kruskal-Wallis. Nivel de significancia adoptado: p<0,05.
• †a, b: Las letras “a” y “b” fueron utilizadas para nombrar los grupos comparados en el test de Mann-Whitney con corrección de Bonferroni. Letras iguales simbolizan igualdad entre grupos, y letras diferentes reflejan las diferencias encontradas entre los grupos.
• ‡Experiencia en la clasificación de riesgo, Experiencia en urgencia y emergencia: Nivel de significancia adoptado para el Test de Mann-Whitney con corrección de Bonferroni para comparación de los grupos: p<0,006.

El tiempo de experiencia profesional influyó en la concordancia interna del STM. En la elección del diagrama de flujo de clasificación, enfermeros que poseen entre uno y cinco años de experiencia práctica en la clasificación de riesgo presentaron concordancia casi perfecta, cuando comparados a aquellos con menos de un año, o que nunca actuaron en la clasificación de riesgo. En la elección del discriminador, enfermeros que poseen entre uno y cinco años de experiencia en servicios de urgencia y emergencia presentaron valores medios de kappa mayores de que aquellos que poseen menos de un año de experiencia. De forma semejante, enfermeros que poseen entre uno y cinco años de experiencia en la clasificación de riesgo presentaron kappa medio mayor de que aquellos que nunca actuaron y de que aquellos con menos de un año de experiencia en este escenario de práctica (Tabla 5).

Discusión

De los enfermeros que participaron de este estudio, la mayoría (79,23%) posee entre uno y diez años de graduación, 66,48% afirma no haber tenido ningún contenido sobre clasificación de riesgo durante la formación, y 78,12% no tuvo ningún contenido sobre el STM durante la graduación. Para tomar la decisión en la clasificación de riesgo, el enfermero integra la evaluación de la queja presentada por el paciente con su conocimiento adquirido durante la formación y la vida profesional, así como el ambiente de cuidado en el cual está inserido⁵. Así, aunque sea necesario ser habilitado por el GBCR para utilizar el STM en la práctica clínica, se recomienda que contenidos sobre la clasificación de riesgo y escalas de triaje, en especial el STM, sean incluidos en las materias obligatorias de formación del enfermero desde la graduación.

Las escalas o sistemas de triaje componen los sistemas de apoyo a la tomada de decisión del enfermero en la triaje². En este estudio fue evaluada la confiabilidad del STM. La elección correcta del diagrama de flujo explicó 16% de la variación en la indicación correcta del nivel de riesgo, mientras la elección correcta del discriminador de clasificación explicó 77% de la variación en la indicación correcta del nivel de riesgo (p<0,0001). Este hallado muestra que, así como previene el STM, el enfermero puede elegir diagramas de flujo parecidos en la evaluación de una queja, que irán conducir al mismo nivel de riesgo, lo que garantiza la seguridad del protocolo. Eso porque muchas quejas pueden llevar a la elección de más de un diagrama de flujo de presentación. Se desconocen estudios anteriores nacionales e internacionales que hayan comprobado esta seguridad por medio de análisis envolviendo tests estadísticos.

Tanto en la evaluación de la confiabilidad externa cuanto en la evaluación de la confiabilidad interna del STM, ocurrieron casos de overtriage y de undertriage, siendo más frecuentes los casos de overtriage. Resultado semejante fue encontrado en estudio de meta-análisis, en que la frecuencia de overtriage utilizando el STM fue de 46,65 y la de undertriage fue de 12,86%⁵. El STM es útil en la triaje de pacientes em servicios de urgencia, pero la clasificación de pacientes para niveles encima o abajo del real aún ocurre, siendo más frecuentes los casos de overtriage¹³. La triaje de pacientes encima del nivel de prioridad correcto puede llevar al uso desnecesario de recursos en servicios de urgencia y emergencia¹⁴. Ya una subestimación del nivel de riesgo puede aumentar el riesgo de consecuencias adversas a los pacientes, como atraso en el atendimiento y no utilización de recursos necesarios a su gravedad en tiempo adecuado¹⁵.

Los valores de kappa encontrados apuntan que la confiabilidad externa e interna del STM varió de moderada a sustancial, con valores ligeramente más elevados de kappa para la concordancia intra-observadores (Tabla 3). Estudio de meta-análisis conducido para evaluar la confiabilidad del STM encontró que la concordancia global del STM fue sustancial (k=0,75). Sin embargo, los autores resaltaron que en los estudios evaluados fue utilizado el kappa ponderado, que sobreestima la confiabilidad. Siendo así, es más prudente considerar que la confiabilidad actual del STM es moderada. En ese estudio la concordancia intra-observadores también fue mayor y casi perfecta, de que la concordancia inter-observadores. La confiabilidad entre enfermeros fue sustancial (k=0,78), y entre enfermeros y especialista fue casi perfecta (k=0,86). La concordancia fue casi perfecta en los estudios que la medida por la evaluación de pacientes en la práctica clínica (k=0,86) y sustancial en los estudios que evaluaron la concordancia por la evaluación de casos clínicos (k=0,76)⁷.

En estudio de revisión integradora de la literatura, la concordancia entre enfermeros y el estándar oro utilizando el STM varió de moderada a casi perfecta (k: 0,40 - 0,81), y la concordancia intra-observadores varió de sustancial a casi perfecta (k: 0,65 - 0,84)⁸. Se observó larga variación en la confiabilidad entre observadores utilizando el STM, con valores de kappa entre 0,31 (concordancia pobre) y 0,81 (concordancia casi-perfecta), con prevalencia de estudios que apuntan para una concordancia de buena a muy buena. La variación observada en los valores de kappa fue atribuida a las diferencias en las poblaciones estudiadas, entre los evaluadores que utilizan el STM, y en el modo como el STM es aplicado en los locales estudiados¹⁴.

Estudio realizado en Alemaña mostro que la concordancia entre enfermeros para la versión alemana del STM fue casi perfecta (Kappa = 0,95)¹⁶. Esta es la mayor concordancia encontrada en todos los estudios disponibles en la literatura que evaluaron la confiabilidad del STM. Cabe resaltar que, diferentemente de la versión portuguesa del STM utilizada en Brasil, la versión alemana fue sometida a proceso de adaptación cultural que resultó en alteraciones de lenguaje en los diagramas de flujo de presentación y en la definición de los discriminadores. Así, se sugiere la realización de estudio que trate de la adaptación cultural y validez del STM para uso en Brasil, de modo a aumentar la confiabilidad del protocolo.

El juzgado intuitivo y reflexivo, componentes que envuelven la tomada de decisión en la triaje, es fuertemente influido por la experiencia profesional del enfermero². Corroborando con esta teoría, en este estudio, las variables tiempo de experiencia profesional como enfermero, experiencia como enfermero en servicios de urgencia y emergencia, y experiencia como enfermero en la clasificación de riesgo fueron asociadas a la confiabilidad externa e interna del STM. De modo general, enfermeros que poseen entre uno y cinco años, y entre cinco y diez años de experiencia obtuvieron mayores niveles de concordancia entre sí, y con el estándar oro.

En Brasil, aunque haya recomendación informal de que el enfermero deba tener experiencia previa en servicios de urgencia para actuar en la clasificación de riesgo, esta no es una exigencia reglamentada por el consejo de la clase. En Italia es exigido que los enfermeros tengan experiencia mínima de seis meses para realizar la triaje de pacientes en servicios de urgencia¹⁷.

La experiencia profesional ha sido apuntada en la literatura como factor que influye la tomada de decisión del enfermero en la triaje. Los enfermeros utilizan el conocimiento y experiencias anteriores para hacer inferencias y seleccionar nuevos casos^2,5,18. La correcta clasificación de riesgo depende del entrenamiento y de la experiencia del enfermero en la aplicación del STM¹⁵.

Cabe resaltar que la literatura disponible no es conclusiva sobre la cantidad de tiempo de experiencia necesaria para garantizar la competencia del enfermero de la triaje. Este es el primer estudio brasilero que investigó y encontró asociación entre la experiencia profesional y la confiabilidad externa y interna del STM. Em estudio que evaluó la experiencia del enfermero en la triaje y la habilidad en el uso correcto del STM, los valores de Kappa entre los enfermeros y el estándar oro fue mayor cuanto mayor la experiencia del enfermero con el STM, pero no fue encontrada diferencia significativa entre las categorías de tiempo de experiencia en la triaje analizadas⁹. La combinación entre el uso del STM, la experiencia del enfermero en la evaluación de pacientes críticamente enfermos y factores organizacionales representaron 65% de la seguridad en la triaje correcta del paciente. La experiencia de los enfermeros contribuye para mayor seguridad del paciente de que el propio sistema de triaje utilizado, que no puede sustituir completamente las habilidades clínicas que el enfermero con experiencia desarrolla a lo largo de los años en la profesión¹⁹.

Así, se recomienda la realización de nuevas investigaciones que verifiquen la asociación entre el tiempo de experiencia profesional como enfermero, de experiencia en servicios de urgencia y emergencia, y de experiencia en la clasificación de riesgo con la habilidad en la utilización del STM en la práctica clínica. También se hace necesario investigar la relación entre el tiempo de experiencia en el uso del STM y la habilidad en la utilización correcta del mismo en la práctica clínica.

Otros estudios han mostrado que el STM extrapola su objetivo central que es el de establecer prioridad para tratamiento inmediato^13,20-21.

Estudio realizado mostró que la sensibilidad del STM para identificar pacientes que fueron a óbito o que necesitaron de internación en unidades de terapia intensiva varió de 0,80 a 0,86 en adultos. Ya la especificidad para medir los mismos resultados varió de 0,84 a 0,91¹³. Pacientes clasificados como rojo, naranja o amarillo presentaron riesgo 4,86 veces mayor de internación, 5,58 veces mayor de morir, y mayor necesidad de realizar electrocardiograma y exámenes de laboratorio cuando comparados a los clasificados como verde o azul²⁰. En Alemaña, estudio mostro que cuanto mayor el nivel de riesgo del paciente, mayor el tiempo de enfermería para asistencia a paciente, mostrando que el STM puede ser utilizado para subsidiar el cálculo del dimensionamiento de personal de enfermería en servicios de urgencia y emergencia²¹. Así, se percibe que el STM es capaz de prever, de forma precoz, las necesidades de cuidados en los servicios de urgencia y emergencia, y de dirigir la organización del cuidado y la gestión de la clínica.

Una limitación del estudio fue la utilización de casos clínicos en software, en detrimento de la evaluación de pacientes en la práctica clínica o en laboratorio de simulación realística con pacientes estandarizados. Entre tanto, el atendimiento a pacientes con instabilidad clínica requiere evaluación clínica rápida e intervenciones en tiempos determinados de acuerdo con el nivel de prioridad clínica, dificultando así la aprehensión de los datos de interés del estudio. Se sabe que la evaluación utilizando pacientes estandarizados proporcionaría mayor realismo y aproximación con lo que ocurre en la práctica clínica. Entre tanto, la recolección de datos utilizando la evaluación de pacientes en la práctica clínica o con pacientes estandarizados restringiría el número de enfermeros participantes de la investigación y los reduciría a una muestra local. Así, se optó por trabajar con una muestra de enfermeros mayor, en la tentativa de permitir la generalización de los resultados, y se formateó el instrumento de recolección de los datos, de forma a reflexionar el proceso de tomada de decisión del enfermero utilizando el STM, aproximando al máximo del escenario de la práctica clínica. No obstante, se sugiere la realización de estudios prospectivos, utilizando la metodología de simulación con pacientes estandarizados en el sentido de elucidar mejor los motivos que llevan a las discordancias en la clasificación, así como los elementos que influyeron la tomada de decisión del enfermero.

Por fin, se destaca que la actuación del enfermero en la clasificación de riesgo es compleja y que la tomada de decisión envuelve, además de los elementos cognitivos, aspectos como la gestión del flujo de atendimiento y la organización de la red asistencial, que extrapolan el poder de gobernabilidad del enfermero. Sin embargo, el uso de un instrumento confiable es importante para la seguridad del enfermero, teniendo en cuenta que el protocolo es su sistema de apoyo en la tomada de ecisión.

Conclusión

La confiabilidad externa e interna del STM varió de moderada a sustancial, con valores de Kappa, respectivamente entre 0,55 y 0,72 (p<0,001), y entre 0,57 y 0,78 (p<0,05). Este fue el primer estudio que evaluó la confiabilidad externa e interna del STM para indicación del diagrama de flujo y del discriminador de clasificación. La elección correcta del diagrama de flujo explicó 16% de la variación en la indicación correcta del nivel de riesgo (R²: 0,16; p<0,0001), mientras que la elección correcta del discriminador explico 77% de la elección correcta del nivel de riesgo (R² = 0,77; p < 0,0001), comprobando la seguridad del STM en la determinación del nivel de prioridad a partir de diferentes diagramas de flujo, ya que algunas quejas presentadas por los pacientes pueden conducir a la elección de diferentes diagramas de flujo de presentación.

Tanto en la evaluación de la confiabilidad externa cuanto interna del STM ocurrieron casos de overtriage y de undertriage y las discordancias ocurrieron, respectivamente, para un nivel encima, y para un nivel abajo del nivel de riesgo establecido como correcto por el estándar oro. Se recomienda la realización de estudios futuros que busquen comprender los motivos de las discordancias, de modo a trazar estrategias dirigidas al aumento de la confiabilidad de la evaluación del enfermero en el uso del STM.

Apenas las variables tiempo de experiencia profesional como enfermero, de experiencia como enfermero en servicios de urgencia e emergencia, y de experiencia en la clasificación de riesgo fueron asociadas a la confiabilidad externa e interna del STM. De modo general, enfermeros que poseen entre uno y cinco años, y entre cinco y diez años de experiencia obtuvieron mayores niveles de concordancia entre sí y con el estándar oro. Estos hallados apuntan que la inserción del enfermero en la práctica clínica y la experiencia previa en servicios de urgencia y en la clasificación de riesgo son importantes para la confiabilidad externa e interna del STM. Sin embargo, teniendo en cuenta la escasez de literatura disponible que evalúe la asociación entre la experiencia profesional y la confiabilidad externa e interna del STM, es precoz establecer relación de causalidad entre la experiencia profesional y la precisión del enfermero en la utilización del STM. Así, se recomienda la realización de nuevas investigaciones que visen consolidar los hallados de este estudio.

Agradecimiento

Al Grupo Brasileiro de Classificação de Risco, por la asociación e incentivo a la investigación.

References

• ¹
  Standing M. Clinical judgment and decision-making in nursing - nine modes of practice in a revised cognitive continuum. J Adv Nurs. 2008;62 (1):124-34. doi: http://dx.doi.org/10.1111/j.1365-2648.2007.04583.x
  » https://doi.org/10.1111/j.1365-2648.2007.04583.x
• ²
  Smith A. Using a theory to understand triage decision making. Int Emerg Nurs. 2013;21:113-7. doi: http://dx.doi.org/10.1016/j.ienj.2012.03.003
  » https://doi.org/10.1016/j.ienj.2012.03.003
• ³
  Farrohknia N, Castrén M, Ehrenberg A, Lind L, Oredsson S, Jonsson H, et al. Emergency Department Triage Scales and Their Components: a systematic review of the scientific evidence. Scand J Trauma Resusc Emerg Med. 2015;19(42):2-13. doi: http://dx.doi.org/10.1186/1757-7241-19-42
  » https://doi.org/10.1186/1757-7241-19-42
• ⁴
  Mackway-Jones K, Marsden J, Windle J. Emergency triage. 3th ed. Manchester: BMJ Books; 2014. doi: http://dx.doi.org/10.1002/9781118299029
  » https://doi.org/10.1002/9781118299029
• ⁵
  Stanfield LM. Clinical decision making in triage: an integrative review. J Emerg Nurs. 2015;41(5):396-403. doi: http://dx.doi.org/10.1016/j.jen.2015.02.003
  » https://doi.org/10.1016/j.jen.2015.02.003
• ⁶
  DeVon HA, Block ME, Moyle-Wright P, Ernst DM, Hayden SJ, Lazzara DJ, et al. A psychometric toolbox for testing validity and reliability. J Nurs Scholarsh. [Internet]. 2007 May 23 [cited Feb 20, 2017];39(2):155-64. Available from: https://www.ncbi.nlm.nih.gov/pubmed/17535316
  » https://www.ncbi.nlm.nih.gov/pubmed/17535316
• ⁷
  Mirhaghi A, Mazlom R, Heydari A, Ebrahimi M. The Reliability of the Manchester Triage System (MTS): A Meta-analysis. J Evid Based Med. 2016;Sep 9. doi: http://dx.doi.org/10.1111/jebm.12231
  » http://dx.doi.org/10.1111/jebm.12231
• ⁸
  Souza CC, Araújo FA, Chianca TC. Scientific literature on the reliability and validity of the Manchester triage system (MTS) Protocol: a integrative literature review. Rev Esc Enferm USP. 2015;49(1):144-51. doi: http://dx.doi.org/10.1590/S0080-623420150000100019
  » https://doi.org/10.1590/S0080-623420150000100019
• ⁹
  Storm-Versloot MN, Ubbink DT, Chin a Choi V, Luitse JS. Observer agreement of the Manchester Triage System and the Emergency Severity Index: a simulation study. Emerg Med J. 2009;26(8):556-60. doi: http://dx.doi.org/10.1136/emj.2008.059378
  » https://doi.org/10.1136/emj.2008.059378
• ¹⁰
  Alexandre NMC, Gallasch CH, Lima MHM, Rodrigues RCM. Reliability in the development and evaluation of measurement instruments in the health field. Rev Eletr Enferm. 2013;15(3):802-9. doi: http://dx.doi.org/10.5216/ree.v15i3.20776
  » https://doi.org/10.5216/ree.v15i3.20776
• ¹¹
  Matos FGOA, Cruz DALM. Development of an instrument to evaluate diagnosis accuracy. Rev Esc Enferm USP. 2009;43:1088-97. doi: http://dx.doi.org/10.1590/S0080-62342009000500013
  » https://doi.org/10.1590/S0080-62342009000500013
• ¹²
  Cohen JA. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960 Apr 1 [cited Feb 2, 2017];20(1):37-46. Available from: http://journals.sagepub.com/doi/abs/10.1177/001316446002000104?journalCode=epma
  » http://journals.sagepub.com/doi/abs/10.1177/001316446002000104?journalCode=epma
• ¹³
  Zachariasse JM, Seiger N, Rood PPM, Alves CF, Freitas P, Smit FJ, et al. Validity of the Manchester Triage System in emergency care: a prospective observational stydy. PLoS One. 2017; 12(2):e0170811. doi: http://dx.doi.org/10.1371/journal.pone.0170811
  » https://doi.org/10.1371/journal.pone.0170811
• ¹⁴
  Parenti N, Reggiani ML, Iannone P, Percudani D, Dowding D. A systematic review on the validity and reliability of an emergency department triage scale, the Manchester Triage System. Int J Nurs Stud. 2014;51(7):1062-9. doi: http://dx.doi.org/10.1016/j.ijnurstu.2014.01.013
  » https://doi.org/10.1016/j.ijnurstu.2014.01.013
• ¹⁵
  Coutinho AAP, Cecílio LCO, Mota JAC. Risk classification in emergency care departments: A discussion of the literature on the Manchester Triage System. Rev Med Minas Gerais. [Internet].2012 Jun [cited Mar 13, 2017];22(2):188-98. Available from: http://rmmg.org/artigo/detalhes/101
  » http://rmmg.org/artigo/detalhes/101
• ¹⁶
  Gräff I, Goldschmidt B, Glien P, Bogdanow M, Fimmers R, Hoeft A, et al. The German Version of the Manchester Triage System and its quality criteria: first assessment of validity and reliability. PLoS ONE. 2014;9(2):e88995. doi: http://dx.doi.org/10.1371/journal.pone.0088995
  » https://doi.org/10.1371/journal.pone.0088995
• ¹⁷
  Palma E, Antonaci D, Colì A, Cicolini G. Analysis of emergency medical services triage and dispatch errors by registered nurses in Italy. J Emerg Nurs. 2014;40(5):476-83. doi: http://dx.doi.org/10.1016/j.jen.2014.02.009
  » https://doi.org/10.1016/j.jen.2014.02.009
• ¹⁸
  Clarke DE, Boyce-Gaudreau K, Sanderson A, Baker JA. ED triage decision-making with mental health presentations: a "think aloud" study. J Emerg Nurs. 2015;41(6):496-502. doi: http://dx.doi.org/10.1016/j.jen.2015.04.016
  » https://doi.org/10.1016/j.jen.2015.04.016
• ¹⁹
  Forsman B, Forsgren S, Carlström ED. Nurses working with Manchester triage - The impact of experience on patient security. Australas Emerg Nurs J. 2012;15(2):100-7. doi: http://dx.doi.org/10.1016/j.aenj.2012.02.001
  » https://doi.org/10.1016/j.aenj.2012.02.001
• ²⁰
  Santos AP, Freitas P, Martins HMG. Manchester Triage System version II and resource utilisation in the emergency department. Emerg Med J. 2014. 31:148-52. doi: http://dx.doi.org/ 10.1136/emermed-2012-201782
  » http://dx.doi.org/ 10.1136/emermed-2012-201782
• ²¹
  Gräff I, Goldschmidt B, Glien P, Klockner S, Erdfelder F, Schiefer JL, et al. Nurse Staffing Calculation in the Emergency Department - Performance-Oriented Calculation Based on the Manchester Triage System at the University Hospital Bonn. PLoS ONE. 2016;11(5):e0154344. doi: http://dx.doi.org/10.1371/journal.pone.0154344
  » https://doi.org/10.1371/journal.pone.0154344

• 1
  Artículo parte de Tesis de Doctorado “Análise da confiabilidade do Sistema de Triagem de Manchester para determinar o grau de prioridade de pacientes em serviços de urgência”, presentada en la Escola de Enfermagem, Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil.

Fechas de Publicación

• Publicación en esta colección
  2018

Histórico

• Recibido
  27 Abr 2017
• Acepto
  09 Ene 2018