Escala de avaliação de habilidades não técnicas em enfermagem: construção, desenvolvimento e validação¹

RESUMO

A introdução de habilidades não técnicas durante o ensino de enfermagem é fundamental para preparar os enfermeiros para o contexto clínico e aumentar a segurança do paciente. Não foram encontrados quaisquer instrumentos desenvolvidos para essa finalidade.

Objetivos:

construir, desenvolver e validar uma escala de avaliação de habilidades não técnicas em enfermagem.

Método:

pesquisa metodológica. Com base na revisão da literatura e na experiência dos pesquisadores em habilidades não técnicas em saúde, e no conhecimento dos princípios do gerenciamento de recursos em crises, foi construída uma lista de 63 itens e com uma escala Likert de cinco pontos. A escala foi aplicada em 177 estudantes de graduação em enfermagem. Estatística descritiva, correlações, análises de consistência interna e análise fatorial exploratória foram realizadas para avaliar as propriedades psicométricas da escala.

Resultados:

os itens da escala apresentaram valores semelhantes para média e mediana. Os valores máximo e mínimo mostraram uma boa distribuição em todas as opções de resposta. A maioria dos itens apresentou uma relação significativa e positiva. O alfa de Cronbach apresentou um bom valor (0,94) e a maioria das correlações foi significativa e positiva. A análise fatorial exploratória através do teste de Kaiser-Meyer-Olkin apresentou um valor de 0,849, e o teste de Bartlett apresentou valores de esfericidade adequados (χ²=6483.998; p=0.000). O modelo de um fator explicou 26% da variância total.

Conclusão:

a formação em habilidades não técnicas e sua mensuração poderiam ser incluídos nos programas de graduação ou pós-graduação de profissões da saúde, ou até mesmo serem utilizadas para avaliar as necessidades e melhorias nos contextos de cuidados de saúde.

Descritores:
Competências Não-Instrumentais; Gestão de Recursos em Situações de Crise; Cuidados de Saúde; Enfermagem; Estudantes de Enfermagem; Qualidades Psicométricas

ABSTRACT

The introduction of non-technical skills during nursing education is crucial to prepare nurses for the clinical context and increase patient safety. We found no instrument developed for this purpose.

Objectives:

to construct, develop and validate a non-technical skills assessment scale in nursing.

Method:

methodological research. Based on the literature review and experience of researchers on non-technical skills in healthcare and the knowledge of the principles of crisis resource management, a list of 63 items with a five-point Likert scale was constructed. The scale was applied to 177 nursing undergraduate students. Descriptive statistics, correlations, internal consistency analysis and exploratory factor analysis were performed to evaluate the psychometric properties of the scale.

Results:

scale items presented similar values for mean and median. The maximum and the minimum values presented a good distribution amongst all response options. Most items presented a significant and positive relationship. Cronbach alpha presented a good value (0.94), and most correlations were significant and positive. Exploratory factor analysis using the Kaiser-Meyer-Olkin test showed a value of 0.849, and the Bartlett’s test showed adequate sphericity values (χ²=6483.998; p=0.000). One-factor model explained 26% of the total variance.

Conclusion:

non-technical skills training and its measurement could be included in undergraduate or postgraduate courses in healthcare professions, or even be used to ascertain needs and improvements in healthcare contexts.

Descriptors:
Non-Technical Skills; Crisis Resource Management; Healthcare; Nursing; Nursing Students; Psychometric Qualities

RESUMEN

La introducción de habilidades no técnicas durante la educación de enfermería es fundamental para preparar a los enfermeros para el contexto clínico y aumentar la seguridad del paciente. No se encontraron instrumentos desarrollados para este propósito.

Objetivos:

construir, desarrollar y validar una escala de evaluación de habilidades no técnicas en enfermería.

Método: investigación metodológica. Con base en la revisión de la literatura y la experiencia de los investigadores en habilidades no técnicas en el cuidado de la salud y el conocimiento de los principios del manejo de recursos en crisis, se construyó una lista de 63 ítems y con una escala Likert de cinco puntos. Se aplicó la escala a 177 estudiantes de pregrado en enfermería. Se realizaron estadísticas descriptivas, correlaciones, análisis de consistencia interna y análisis factorial exploratorio para evaluar las propiedades psicométricas de la escala.

Resultados:

los ítems de la escala presentaron valores similares para la media y la mediana. Los valores máximo y mínimo mostraron una buena distribución en todas las opciones de respuesta. La mayoría de los ítems presentaron una relación significativa y positiva. El alfa de Cronbach presentó un buen valor (0,94), y la mayoría de las correlaciones fueron significativas y positivas. El análisis factorial exploratorio mediante la prueba Kaiser-Meyer-Olkin mostró un valor de 0,849, y la prueba de Bartlett mostró valores de esfericidad adecuados (χ²=6483.998; p=0,000). El modelo de un factor explicó el 26% de la varianza total.

Conclusión:

la capacitación en habilidades no técnicas y su medición podrían incluirse en programas de grado y posgrado en profesiones de la salud, o incluso utilizarse para evaluar las necesidades y mejoras en los contextos de atención médica.

Descriptores:
Habilidades no Técnicas; Gestión de Recursos en Situaciones de Crisis; Cuidado de la Salud; Enfermería; Estudiantes de Enfermería, Calidades Psicométricas

Introdução

O termo habilidades não técnicas (HNT) foi inicialmente usado na indústria da aviação em um programa de formação em segurança baseado em simulação, conhecido como gerenciamento de recursos na tripulação, planejado para ensinar pilotos e suas equipes sobre limitações do desempenho humano, compreensão de erros cognitivos, análise comportamental, comunicação, resolução de conflitos e tomada de decisão. O protótipo eficaz de treinamento da aviação foi adaptado aos contextos de saúde e transformou-se em gerenciamento de recursos em crises (GRC), constituindo um modelo baseado em simulação para ensinar HNT para profissionais de saúde, com base em 15 princípios de ação: conhecer o ambiente, antecipar e planejar, pedir ajuda com antecedência, exercitar a liderança e o seguidismo, distribuir a carga de trabalho, mobilizar todos os recursos disponíveis, comunicar-se com eficiência, usar todas as informações disponíveis, prevenir e administrar erros de fixação, revisar (duplamente), usar auxílios cognitivos, reavaliar repetidamente, realizar um bom trabalho em equipe, dedicar atenção de maneira correta e definir prioridades de maneira dinâmica¹.

A formação em HNT, como em comunicação, trabalho em equipe, liderança, tomada de decisões e percepção da situação, tem demonstrado melhorar o desempenho dos profissionais², e vários cursos de saúde e especializações têm reconhecido que elas exercem um papel importante para aumentar da segurança dos pacientes e alcançar resultados clínicos bem sucedidos. Na verdade, agora é bem reconhecido que as HNT são habilidades essenciais, que podem ser adquiridas por diferentes profissionais de saúde³.

Particularmente nos cursos de graduação em enfermagem, a formação em HNT é a interface entre os componentes do contexto clínico real, no qual os futuros enfermeiros entrarão. Portanto, é imprescindível que os alunos de graduação em enfermagem desenvolvam não apenas habilidades clínicas e técnicas, mas também HNT, uma vez que os desafios no tratamento dos pacientes muitas vezes não se devem à falta de experiência clínica, mas sim à falhas em habilidades não técnicas². A fim de efetivamente propiciar a formação em HNT, é essencial dispor de um instrumento para medir essas habilidades. Vários instrumentos têm sido desenvolvidos para serem utilizados em diversos domínios (centro cirúrgico, equipes de ressuscitação, equipes obstétricas, equipes de trauma, ressuscitação de trauma, equipes de saúde de ambientes agudos e ambientes de emergência), para atender a essa necessidade^4-21) no contexto de equipes multidisciplinares específicas, trabalhando em um contexto específico, com procedimentos específicos.

No entanto, nenhum instrumento de avaliação com base teórica e fácil de usar foi publicado ou desenvolvido e validado, especificamente para a avaliação de HNT nas atividades dos enfermeiros em geral. Tal instrumento é necessário para referenciar boas HNT e orientar o retorno formativo para a prática futura dos estudantes de enfermagem, e é isso que pretendemos discutir neste artigo: apresentar os estudos sobre o desenvolvimento e validação de uma escala construída a partir de teorias e estudos anteriores sobre HNT, especificamente adaptados para alunos de graduação em enfermagem, pois essa escala pode avaliar as HNT, a fim de possibilitar uma maior compreensão dessas habilidades e melhorar o desempenho dos estudantes de graduação em enfermagem e a segurança do paciente em sua prática futura²².

Nesse sentido, visto que não havia um instrumento específico para o contexto da educação em enfermagem, nós realizamos um debate em grupo para adaptar os princípios do GRC ao contexto da prática em enfermagem, de acordo com a linguagem e as atividades específicas realizadas em enfermagem.

Método

Para desenvolver a ferramenta Habilidades Não Técnicas - Escala de Avaliação em Enfermagem (HNT-EAE), várias etapas foram cumpridas. Primeiramente, a partir da revisão da literatura e da experiência dos pesquisadores sobre o tema, a equipe de pesquisa constituída por enfermeiros, docentes de enfermagem, um anestesista e três psicólogos, elaborou uma lista de frases (itens) para cada um dos 15 princípios chave do GRC, que seriam as 15 dimensões da nossa escala (conhecer o ambiente, antecipar e planejar, pedir ajuda com antecedência, exercitar a liderança e o seguidismo, distribuir a carga de trabalho, mobilizar todos os recursos disponíveis, comunicar-se com eficiência, usar todas as informações disponíveis, prevenir e administrar erros de fixação, revisar (duplamente), usar auxílios cognitivos, reavaliar repetidamente, realizar um bom trabalho em equipe, dedicar atenção de maneira correta e definir prioridades de maneira dinâmica). Esse processo resultou em uma lista com 64 itens de resposta única, com uma escala Likert de cinco pontos, onde os alunos tinham que avaliar seu nível de concordância. Exemplos de itens são: “Eu sei o nome de todos os membros da equipe”, “Eu chamo todos os pacientes pelos seus nomes”. Com base no tema principal, a escala de avaliação foi intitulada: “Escala de avaliação de habilidades não técnicas em enfermagem”. A escala foi precedida por um conjunto de instruções com o seguinte conteúdo: “Dado o âmbito do seu atendimento, preencha o questionário a seguir de acordo com como você avalia seu habitual desempenho. Use a escala de respostas apresentada para avaliar cada um dos itens. Escolha a opção “não aplicável” quando o item não se aplica a sua situação”. Em segundo lugar, todos os 64 itens foram analizados por um grupo de discussão composto por três especialistas em enfermagem e os pesquisadores do estudo, que procuraram identificar possíveis lacunas na clareza das declarações, sua representatividade para o construto e a validade do conteúdo de cada item, garantindo assim a validade de construto. O grupo discutiu todos os itens, um por um, até que todos os membros concordassem que eles eram representativos, relevantes, completos e adequados às competências dos estudantes de graduação em enfermagem. Além disso, os especialistas também avaliaram a adequação dos itens aos contextos de simulações clínicas de baixa e alta fidelidade. Algumas mudanças foram feitas, tais como: o grupo de discussão decidiu eliminar o princípio do GRC/dimensão da escala “Mobilizar todos os recursos disponíveis”, devido a sua difícil mensuração, ao contexto e ao fato de que os alunos de graduação em enfermagem ainda não têm autonomia para fazê-lo; algumas palavras foram substituídas; alguns itens foram eliminados e outros foram incluídos; alguns itens foram removidos de um princípio e incluídos em outro. Em terceiro lugar, a equipe de pesquisa realizou um pré-teste envolvendo seis estudantes de enfermagem mais velhos para discutir e verificar sua compreensão sobre a HNT-EAE. Algumas mudanças nas instruções foram necessárias: “Por favor, preencha o questionário a seguir de acordo com como você avalia seu habitual desempenho, levando em consideração sua última experiência em uma equipe de enfermagem. Use a escala de respostas apresentadas para avaliar cada um dos itens. Escolha a opção “Não aplicável” quando o item não se aplica à sua situação. Deve ser levada em consideração a definição dos seguintes conceitos: Cenários: refere-se às diferentes hipóteses diagnósticas/pontos de partida, antes da tomada de decisão. Líder: refere-se à pessoa responsável pela equipe de atendimento”.

A HNT-EAE e os formulários de consentimento informado foram analisados pelo Director do Curso de Enfermagem da Escola Superior de Saúde da Universidade de Aveiro e aprovados pela Comissão Científica do Programa de Doutorado em Psicologia da Universidade de Aveiro. Os questionários eram confidenciais, voluntários, anônimos e administrados coletivamente entre outubro de 2016 e janeiro de 2017, pelo pesquisador principal aos estudantes de graduação de enfermagem, em salas de aula, durante o horário escolar regular, e instruções orais padronizadas eram dadas. Os participantes levaram entre 5 e 15 minutos para responder. Não surgiram dúvidas importantes durante a administração.

O objetivo central da construção e desenvolvimento da HNT-EAE foi avaliar o uso de HNT no processo de aprendizagem de enfermagem, a fim de ser utilizada em contextos de formação e em simulações clínicas de baixa e alta fidelidade.

A HNT-EAE foi construída e desenvolvida em português, no entanto, neste artigo nós vamos traduzir as partes necessárias para o inglês.

Para selecionar a amostra, foram considerados os seguintes critérios de inclusão: deveriam ser alunos de graduação em enfermagem do 2^o, 3^o ou 4^o anos, pois a experiência clínica e o conhecimento são necessários para responder a escala; e critérios de exclusão: alunos do 1º ano do curso de graduação em enfermagem (esses estudantes não possuem experiência clínica e conhecimento para responder a escala).

A versão da escala desse estudo resultou em uma lista de 63 itens, com uma escala Likert de cinco pontos: “discordo totalmente”, “discordo parcialmente”, “não concordo nem discordo”, “concordo parcialmente” e “concordo totalmente”, e a opção “não aplicável”. Ela é subdividida em 14 dimensões, que correspondem aos 14 princípios do GRC: conhecer o ambiente, antecipar e planejar, pedir ajuda com antecedência, exercitar a liderança e o seguidismo, distribuir a carga de trabalho, comunicar-se com eficiência, usar todas as informações disponíveis, prevenir e administrar erros de fixação, revisar (duplamente), usar auxílios cognitivos, reavaliar repetidamente, realizar um bom trabalho em equipe, dedicar atenção de maneira correta e definir prioridades de maneira dinâmica.

Para analisar as propriedades psicométricas da HNT-EAE, foi utilizado o SPSS (versão 23.0). As seguintes análises estatísticas foram realizadas: estatística descritiva (para sensibilidade); correlações; consistência interna (alfa de Cronbach) e análise fatorial exploratória.

Resultados

A escala foi aplicada em uma amostra aleatória de 177 estudantes de graduação em enfermagem da Escola Superior de Saúde da Universidade de Aveiro, Portugal.

Os participantes eram de ambos os gêneros (83,6% eram alunas de graduação em enfermagem do sexo feminino e 16,4% eram alunos de graduação em enfermagem do sexo masculino), distribuídos na 2ª, 3ª e 4ª séries (42,9%, 40,7% e 16,4%, respectivamente), e todos eles já tinham experiência com a prática clínica em seus estágios, mas não tinham nenhuma experiência em gerenciamento de recursos de crise ou em simulação de alta fidelidade.

Primeiramente, na HNT-EAE com um modelo de 14 dimensões, referente à análise de sensibilidade da HNT-EAE, o uso da estatística descritiva permitiu a exploração das medidas de tendência central, dispersão e distribuição (Tabela 1).

Tabela 1
Medidas de tendência central, dispersão e distribuição. Aveiro, Portugal, 2016

Dimensão	Its*	Média	Mode	Md†	DP‡	Min§	Máx||	Assimetria	Curtose
Conhecer¶	8	33,07	37	34	3,83	18	40	-0,78	0,77
Antec**	8	32,54	38	33	3,95	19	40	-0,37	-,05
Pedir††	5	23,53	25	25	2,03	16	27	-1,3	1,3
Exerc‡‡	11	47,82	55	48	5,95	28	61	-0,58	0,03
Distr§§	2	8,10	9	8	1,30	2	11	-0,78	1,9
Comun||||	6	25,43	27	26	3,37	11	31	-0,80	1,2
Infor¶¶	1	4,34	5	4	0,71	2	5	-0,80	0,14
Prev***	1	4,32	4	4	0,64	3	5	-0,40	-,69
Revis†††	5	21,45	24	22	2,67	14	26	-0,46	-,56
Usar‡‡‡	2	8,11	8	8	1,51	4	12	-0,28	-,33
Reav§§§	4	17,13	16	17	2,06	12	21	-0,23	-,76
Equipe||||||	7	29,53	30	29	3,37	21	38	0,43	0,42
Atenc¶¶¶	2	9,03	10	9	1,06	6	10	-0,62	-0,77
Prior****	1	4,24	5	4	0,80	2	6	-0,60	-0,43

• *Its - Número de itens da dimensão;†Md - Mediana;‡DP - Desvio Padrão;§Min - Mínimo;||Máx - Máximo;¶Conhecer - Conhecer o ambiente;**Antec - Antecipar e planejar; ††Pedir - Pedir ajudar com antecedência;‡‡Exerc - Exercitar a liderança e o seguidismo;§§Distr - Distribuir a carga de trabalho;||||Comun - Communicar-se com eficiência;¶¶Infor - Usar todas as informações disponíveis;***Prev - Prevenir e administrar erros de fixação;†††Revis - Revisar (duplamente);‡‡‡Usar - Usar auxílios cognitivos;§§§Reav - Reavaliar repetidamente;||||||Equipe - realizar um bom trabalho em equipe;¶¶¶Aten - Dedicar atenção de maneira correta;****Prior - Definir prioridades de maneira dinâmica.

De um modo geral, as médias das dimensões da HNT-EAE não foram afetadas pelos valores extremos (anômalos). Os coeficientes de assimetria e curtose, por sua vez, estão próximos da unidade, o que indica desvios de normalidade inexistentes ou mínimos, em termos de distribuição dos participantes. Finalmente, os valores máximo e mínimo estão claramente distantes entre si, mostrando que as respostas dos participantes são geralmente bem distribuídas entre todas as opções de resposta. Portanto, pode-se deduzir a partir disso, que esses indicadores sugerem que as respostas dos sujeitos estão dentro dos parâmetros da curva normal.

Em geral, todas as dimensões apresentaram uma relação significativa e positiva, o que sugere que quanto maior a sua competência em HNT em uma dimensão, maior ela também será na outra dimensão, e vice-versa (Tabela 2).

Tabela 2
Correlações entre as dimensões da escala de avaliação de habilidades não técnicas em enfermagem. Aveiro, Portugal, 2016

Dimensão

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

1.Conhecer*

0,57†

0,33†

0,64†

0,57†

0,46†

0,32†

0,35†

0,36†

0,40†

0,41†

0,24†

0,44†

0,38†

2.Antec‡

0,40†

0,53†

0,50†

0,44†

0,42†

0,48†

0,34†

0,49†

0,54†

0,31†

0,43†

0,35†

3.Pedir§

0,41†

0,38†

0,42†

0,35†

0,36†

0,44†

0,24†

0,53†

0,32†

0,60†

0,39†

4.Exerc||

0,60†

0,47†

0,21†

0,28†

0,40†

0,34†

0,31†

0,29†

0,45†

0,40†

5.Distr¶

0,56†

0,27†

0,35†

0,42†

0,35†

0,42†

0,39†

0,48†

0,44†

6.Comun**

0,41†

0,40†

0,47†

0,28†

0,39†

0,44†

0,40†

0,52†

7.Infor††

0,62†

0,47†

0,37†

0,38†

0,28†

0,26†

0,41†

8.Prev‡‡

0,38†

0,36†

0,40†

0,19§§

0,27†

0,32†

9.Revis||||

0,32†

0,43†

0,32†

0,41†

0,44†

10.Usar¶¶

0,43†

0,22†

0,30†

0,27†

11.Reav***

0,30†

0,50†

0,33†

12.Equipe†††

0,27†

0,33†

13.Atenc‡‡‡

0,36†

14.Prior§§§

• *Conhecer - Conhecer o ambiente;†p<0,05 - Significância abaixo de 0,05;‡Antec - Antecipar e planejar;§Pedir - Pedir ajuda com antecedência;||Exerc - Exercitar a liderança e o seguidismo;¶Distr - Distribuir a carga de trabalho;**Comun - Comunicar-se com eficiência;††Infor - Usar todas as informações disponíveis;‡‡Prev - Prevenir e administrar erros de fixação;§§p<0,01 - Significância abaixo de 0,01;||||Revis - Revisar (duplamente);¶¶Usar - Usar auxílios cognitivos;***Reav - Reavaliar repetidamente;†††Equipe - Realizar um bom trabalho em equipe;‡‡‡Atenc - Dedicar atenção de maneira correta;§§§Prior - Definir prioridades de maneira dinâmica.

As dimensões que se correlacionaram mais são “Conhecer o ambiente” e “Exercitar a liderança e o seguidismo” (r = 0,64); “Pedir ajuda com antecedência” e “Dedicar atenção de maneira correta” (r = 0,60); “Exercitar a liderança e o seguidismo” e “Distribuir a carga de trabalho” (r = 0,60); e “Usar todas as informações disponíveis” e “Prevenir e administrar erros de fixação” (r = 0,62). Por outro lado, as dimensões que se correlacionaram menos são “Exercitar a liderança e o seguidismo” e “Usar todas as informações disponíveis” (r = 0,21); “Prevenir e administrar erros de fixação” e “Realizar um bom trabalho em equipe” (r = 0,19); e, “Usar auxílios cognitivos” e “Realizar um bom trabalho em equipe” (r = 0,22).

A análise do alfa de Cronbach revelou bons valores de consistência interna para quase todas as 14 dimensões, tendo o valor crítico de 0,70 como referência (Tabela 3).

Tabela 3
Valores do alfa de Cronbach e correlação item-total corrigida. Aveiro, Portugal, 2016

Dimensão	Item	Alfa	Alfa se item for deletado	Correlação
Conhecer*	8	0,77	Alfa sempre <	0,39 - 0,60
Antec†	8	0,73	Alfa > à 0,74 se item 12 for excluído	0,33 - 0,58
Pedir‡	5	0,85	Alfa > à 0,87 se item 57 for excluído	0,50 - 0,68
Exerc§	11	0,88	Alfa sempre <	0,31 - 0,76
Distr||	2	0,54		0,38
Comun¶	6	0,74	Alfa sempre <	0,41- 0,60
Revis**	5	0,68	Alfa sempre <	0,34 - 0,61
Usar††	2	0,42		0,27
Reav‡‡	4	0,71	Alfa sempre <	0,39 - 0,62
Equipe§§	7	0,36	Alfa > à 0,41 se item 57 for excluído Alfa > à 0,55 se item 57 for excluído	-0,01-0,36
Atenc||||	2	0,71		-0,56

• *Conhecer - Conhecer o ambiente;† Antec - Antecipar e planejar;‡Pedir - Pedir ajuda com antecedência;§Exerc - Exercitar a liderança e o seguidismo;||Distr - Distribuir a carga de trabalho;¶Comun - Comunicar-se com eficiência;**Revis - Revisar (duplamente);††Usar - Usar auxílios cognitivos;‡‡Reav - Reavaliar repetidamente;§§Equipe - Realizar um bom trabalho em equipe;||||Atenc - Dedicar atenção de maneira correta.

De fato, a maioria dos coeficientes estava acima de 0,70, com exceção das dimensões “Revisar (duplamente)” (0,68); “Distribuir a carga de trabalho” (0,54); “Usar auxílios cognitivos” (0,42); e “Realizar um bom trabalho em equipe” (0,36). Para as outras dimensões, os coeficientes situaram-se entre 0,71 e 0,88, sendo as dimensões “Conhecer o ambiente”, “Exercitar a liderança e o seguidismo” e “Pedir ajuda com antecedência” as mais consistentes. Esses resultados sugerem que as dimensões “Revisar (duplamente)”, “Distribuir a carga de trabalho”, “Usar auxílios cognitivos” e “Realizar um bom trabalho em equipe” não apresentam uma consistência interna sólida e, portanto, podem não estar avaliando o que se supõe que devam avaliar. Além disso, as dimensões “Usar todas as informações disponíveis”, “Prevenir e administrar erros de fixação” e “Definir prioridades de maneira dinâmica” não puderam ser avaliadas, uma vez que têm somente um item cada. Considerando os itens em particular, a exclusão de quatro itens poderia potencialmente beneficiar a consistência interna da respectiva dimensão. Também foram analisados os coeficientes de correlação para o item-total corrigido, que correspondem à correlação de cada item com a pontuação total da respectiva dimensão, excluindo o próprio item. Portanto, um coeficiente baixo (abaixo de 0,30) sugere que o item não mede o mesmo construto medido pelos outros itens incluídos²³. No geral, essas correlações corroboram os resultados da consistência interna, uma vez que a dimensão “Realizar um bom trabalho em equipe” é a que apresenta os menores coeficientes de correlação, significando que provavelmente alguns itens não estão cumprindo o seu papel de medir a dimensão “realizar um bom trabalho em equipe” em si. Na realidade, quatro itens dessa dimensão apresentam coeficientes inferiores a 0,30: item 50 (-0,02); item 51 (0,27); item 52 (-0,01); e item 56 (0,28). Por fim, os itens 44 e 45 também são apontados aqui com uma correlação muito baixa com a dimensão geral “usar auxílios cognitivos” (0,27), indicando que ela também pode não estar medindo “usar as ajudas cognitivas” em si.

Em relação à validade fatorial ou estrutura subjacente da HNT-EAE, foi realizada uma análise fatorial exploratória dos componentes principais, usando a rotação varimax e fixando 14 fatores (correspondentes às dimensões da HNT-EAE). No teste de Kaiser-Meyer-Olkin (KMO), foi obtido o valor de 0,849, o que indica um bom ajuste deste modelo fatorial à presente amostra. O teste de Bartlett, por sua vez, também mostrou valores de esfericidade adequados (χ²=6483.998; p=0,000), sugerindo que a matriz de intercorrelação difere da matriz de identidade e, portanto, as variáveis da HNT-EAE estão correlacionadas (como já havíamos confirmado). Entretanto, ao analisar a matriz componente e o gráfico de declividade (scree plot), há uma clara discrepância entre o primeiro e os outros 13 fatores, pois todos os 63 itens estão saturados no primeiro fator (Figura 1).

Figura 1
Gráfico de declividade da análise fatorial exploratória da escala de avaliação das habilidades não técnicas em enfermagem

Portanto, podemos presumir que as HNT possam ser melhor avaliadas em uma estrutura unidimensional em vez de em uma estrutura multidimensional. Diante desses resultados surpreendentes e inesperados da validade fatorial, foi realizada uma nova avaliação das propriedades psicométricas da HNT-EAE, considerando uma estrutura unidimensional.

Análise de sensibilidade foi realizada para todos os 63 itens. No geral, os itens da HNT-EAE apresentam valores similares para média e mediana. Os valores máximo e mínimo mostram que as respostas foram bem distribuídas entre todas as opções de resposta. Além disso, os coeficientes de assimetria (assim) e curtose (curt) estão próximos da unidade, o que indica desvios inexistentes ou mínimos à normalidade em termos de distribuição dos participantes, com exceção dos itens: 4 (curt = 1,475), 5 (curt = 1,608), 19 (assi = -1,896; assi = 3,480), 20 (curt = 1,947), 24 (assi = -2,003; curt = 8,315), 25 (assi = -2,606; curt = 12,123), 30 (curt = 3,047), 35 (curt = 1,489), 51 (curt = 1,633), 58 (assi = -1,586; curt = 2,151) e 61 (assi = -2,251; curt = 6,209).

A maioria dos itens apresentou uma relação significativa e positiva, exceto o item 52 (“Eu me envolvi em situações de conflito com outros membros da equipe”) que apresentou uma correlação significativa, mas negativa. Isto porque este é um item negativo (refere-se ao envolvimento em conflitos), enquanto todos os outros itens são formulados de forma positiva. Portanto, uma correlação negativa entre este item e os demais itens sugere que quanto maior a sua competência em HNT, menos eles se envolverão em situações de conflito e vice-versa. Os itens que mais se correlacionaram são: 23-22 (r=0,83); 24-25 (r=0,73); 27-29 (r=0,69); 26-27 (r=0,68); 25-30 (r=0,67); 26-28 (r=0,65); 19-20 (r=0,63); 9-10 (r=0,62); e 15-16 (r=0,62). Em contraposição, os itens que se correlacionaram menos são 1-40 (r=0,15); 9-35 (r=0,15); 15-23 (r=0,5); 26-47 (r=0,15); 28-49 (r=0,15); e 37-44 (r=0,15).

Alguns itens apresentaram uma correlação não significativa, por exemplo, itens 1-11, 1-59, 2-19, 3-10 e 4-35. Estes resultados sugerem que os itens mais correlacionados se referem ao mesmo contexto ou atividades, e estão integrados no mesmo princípio de ação do GRC. O contrário acontece com aqueles menos ou não significativamente correlacionados, embora eles também se refiram às HNT.

A análise do alfa de Cronbach revelou um bom valor de consistência interna de 0,94.

Também foram analisados os coeficientes de correlação para o item total corrigido. Na realidade, quatro itens apresentaram coeficientes inferiores a 0,30: item 13 (0,29); item 40 (0,28); item 52 (-0,02); e item 53 (0,12).

Em relação à validade fatorial da HNT-EAE, foi realizada uma análise fatorial exploratória dos componentes principais, fixando-se um fator, conforme discutido anteriormente. No teste de Kaiser-Meyer-Olkin (KMO) foi obtido o valor de 0,849, o que indica um bom ajuste deste modelo fatorial para a presente amostra. O teste de Bartlett também também mostrou valores de esfericidade adequados (χ²=6483.998; p=0,000), sugerindo que a matriz de intercorrelação difere da matriz de identidade e, portanto, as variáveis da HNT-EAE estão correlacionadas (como já havíamos confirmado). O modelo total explicou 26% da variância total. De modo geral, as cargas fatoriais ficaram entre 0,37 e 0,73, o que sugere que os itens são afetados pelo fator subjacente e, portanto, pertencem a esse modelo unidimensional. Além disso, os itens apresentaram valores de comunalidade entre 0,24 e 0,53.

Discussão

Alguns dos resultados da HNT-EAE com 14 dimensões foram satisfatórios, apresentando boa sensibilidade, boas correlações e boa consistência interna, porém a análise fatorial exploratória deixou claro que uma estrutura multidimensional com 14 dimensões não é viável. Surpreendentemente, esta análise mostou a possibilidade de uma HNT-EAE com uma estrutura unidimensional. Isso pode ocorrer porque, em geral, todos os itens medem o mesmo construto (HNT), que não pode ser subdividido. Considerando esse modelo unidimensional, a maioria dos resultados também foi satisfatória, exceto para a assimetria e curtose de alguns itens, o que pode ser devido ao fato de os alunos não quererem se comprometer nas opções de discordância da escala, respondendo o que se espera que eles saibam e como se comportem (conveniência social). De certo modo, a razão pela qual alguns itens apresentaram uma correlação não significativa pode ser explicada pelo fato de que, embora integrem as HNT, eles não têm relação uns com o outros, no sentido de se referirem a diferentes contextos e atividades ( por exemplo, o item 2 “Eu conheço o equipamento/material clínico que está disponível”, e o item 19 “O líder da equipe está claramente definido”). Quanto à análise de variância com um único fator, os resultados foram em geral satisfatórios, com o modelo unidimensional explicando 26% da variância total.

Para concluir, a HNT-EAE foi construída com base nos 14 princípios do GRC e se esperava que fossem encontradas 14 dimensões, porém, uma estrutura unidimensional emergiu para este questionário, a qual parece ser válida. Nesse sentido, a versão final da HNT-EAE resultou em uma lista de 63 itens, com uma dimensão, HNT, e com uma escala Likert de cinco pontos: “discordo totalmente”, “discordo parcialmente”, “não concordo nem discordo”, “concordo parcialmente”, “concordo totalmente ”, e a opção “não aplicável”.

Conclusão

Esta pesquisa foi realizada com o objetivo de construir, desenvolver e validar um instrumento capaz de medir e representar as HNT na prática de enfermagem. Este instrumento parece ser apropriado para avaliar adequadamente as HNT em contextos clínicos de enfermagem, entretanto, mais estudos são necessários para validar ainda mais o modelo unidimensional da HNT-EAE, com uma amostra mais representativa de estudantes/profissionais de diferentes ambientes de prestação de cuidade de saúde. Por um lado, sugere-se que este instrumento seja utilizado em cenários de formação, tanto em estágios curriculares, quanto em oficinas específicas/programas de intervenção, centrados não só em habilidades técnicas, mas também em HNT. Estes tipos de intervenção e sua respectiva mensuração podem melhorar significativamente o desempenho, a confiança e a autoeficácia dos estudantes de enfermagem, e podem ser um valor agregado, pois podem ajudá-los a se adaptar melhor ao complexo contexto clínico, melhorar o seu desempenho clínico e, em última análise, contribuir para a segurança e o bem-estar dos pacientes. Por outro lado, a formação em HNT e sua mensuração, utilizando a HNT-EAE, também poderiam ser incluídas em cursos de pós-graduação de profissões de saúde e até mesmo ser usadas para avaliar as necessidades e melhorias em contextos de prestação de assistência em saúde, como hospitais e consultórios particulares.

References

• ¹
  Lindamood K, Rachwal C, Kappus L, Weinstock P, Doherty E. Development of neonatal intensive care multidisciplinary crisis resource training program. Newborn Infant Nurs Rev. 2011; 11(1):17-22. doi: http://dx.doi.org/10.1053/j.nainr.2010.12.011
  » https://doi.org/10.1053/j.nainr.2010.12.011
• ²
  Irwin A, Weidmann A. A mixed methods investigation into the use of non-technical skills by community and hospital pharmacists. Res Soc Admin Pharm. 2015;11(5):1-11. doi: http://dx.doi.org/10.1016/j.sapharm.2014.11.006
  » https://doi.org/10.1016/j.sapharm.2014.11.006
• ³
  Boet S, Reeves S, Bould D. Call for an internationally recognized interprofissional simulation-based disease/injury independent, crisis resource management training certification. Resuscitation. 2015; 92:7. doi: http://dx.doi.org/10.1016/j.resuscitation.2015.03.027
  » https://doi.org/10.1016/j.resuscitation.2015.03.027
• ⁴
  Baker D, Capella J, Hawkes C, Gallo J, Clinic C. Development of the trauma team performance observation tool. Chicago, IL. [Internet]. 2011 [cited March 18, 2015]. Available from: https://www.researchgate.net/profile/Fadekemi_Oginni/post/Measurement_tool_questionnaire_for_In-service_Training_outcomes_evaluation/attachment/59d63d1979197b8077999f87/AS:418410061156354%401476768140408/download/Trauma%2Bteam%2Bassessment%2Btool.pdf+&cd=2&hl=pt-PT&ct=clnk&gl=pt&client=safari
  » https://www.researchgate.net/profile/Fadekemi_Oginni/post/Measurement_tool_questionnaire_for_In-service_Training_outcomes_evaluation/attachment/59d63d1979197b8077999f87/AS:418410061156354%401476768140408/download/Trauma%2Bteam%2Bassessment%2Btool.pdf+&cd=2&hl=pt-PT&ct=clnk&gl=pt&client=safari
• ⁵
  Cooper S, Wakelam A. Leadership of resuscitation teams: Lighthouse leadership. Resuscitation. 1999; 42(1):27-45. doi: http://dx.doi.org/10.1016/S0300-9572(99)00080-5
  » https://doi.org/10.1016/S0300-9572(99)00080-5
• ⁶
  Cooper S, O'Carroll J, Jenkin A, Badger B. Collaborative practices in unscheduled emergency care: Role and impact of the emergency care practitioner: Quantitative findings. Emerg Med J. [Internet]. 2007 [cited March 18, 2015];24:630-3. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2464656/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2464656
• ⁷
  Cooper S, Cant R, Porter J, Sellick K, Somers G, Kinsman L, et al. Rating medical emergency teamwork performance: development of the team emergency assessment measure (TEAM). Resuscitation. 2010; 81(4):446-52. doi: http://dx.doi.org/10.1016/j.resuscitation.2009.11.027
  » https://doi.org/10.1016/j.resuscitation.2009.11.027
• ⁸
  Cooper S, Cant R. Measuring non-technical skills of medical emergency teams: An update on the validity and reliability of the team emergency assessment measure (TEAM). Resuscitation. 2014; 85(1):31-3. doi: http://dx.doi.org/10.1016/j.resuscitation.2013.08.276
  » https://doi.org/10.1016/j.resuscitation.2013.08.276
• ⁹
  Guise J, Deering S, Kanki B, Osterweil P, Li H, Mori M, et al. Validation of a tool to measure and promote clinical teamwork. Simulation in Healthcare. 2008;3(4):217-23. doi: http://dx.doi.org/10.1097/SIH.0b013e31816fdd0a
  » https://doi.org/10.1097/SIH.0b013e31816fdd0a
• ¹⁰
  Healey A, Undre S, Vincent. Developing observational measures of performance in surgical teams. Qual Saf Health Care. 2004; 13(1):33-40. doi: http://dx.doi.org/10.1136/qhc.13.suppl_1.i33
  » https://doi.org/10.1136/qhc.13.suppl_1.i33
• ¹¹
  Hull L, Arora S, Kassab E, Kneebone R, Sevdalis N. Observational teamwork assessment for surgery: Content validation and tool refinement. J Am Coll Surg. 2011; 212(2):234-43. doi: http://dx.doi.org/10.1016/j.jamcollsurg.2010.11.001
  » https://doi.org/10.1016/j.jamcollsurg.2010.11.001
• ¹²
  Kim J, Neilipovitz D, Cardinal P, Chiu M, Clinch J. A pilot study using high-fidelity simulation to formally evaluate performance in the resuscitation of critically ill patients: The university of Ottawa critical care medicine, High-fidelity simulation, and crisis resource management I study. Crit Care Med. 2006; 34(38):2167-74. doi: http://dx.doi.org.10.1097/01.CCM.0000229877.45125.CC
  » https://doi.org/10.1097/01.CCM.0000229877.45125.CC
• ¹³
  Lyk-Jensen H, Jepsen R, Spanager L, Dieckmann P, Ostergaard D. Assessing nurse anaesthetists non-technical skills in the operating room. Acta Anaesthesiol Scand. 2014; 58(7):794-801. doi: http://dx.doi.org/10.1111/aas.12315
  » https://doi.org/10.1111/aas.12315
• ¹⁴
  Malec J, Torsher L, Dunn W, Wiegman D, Arnold J, Brown D, et al. The mayo high performance teamwork scale: Reliability and validity for evaluating key crew resource management skills. Simul Healthcare. [Internet]. 2007 [cited March 18, 2015];2(1):4-10. Available from: http://www.lmher.com/resources/Mayo%20Sim%20Eval%20copy.pdf
  » http://www.lmher.com/resources/Mayo%20Sim%20Eval%20copy.pdf
• ¹⁵
  Mishra A, Catchpole K, McCulloch P. The Oxford NOTECHS system: Reliability and validity of a tool for measuring teamwork behavior in the operating theatre. Qual Saf Health Care. 2009; 18(2):104-8. doi: http://dx.doi.org/10.1136/qshc.2007.024760
  » https://doi.org/10.1136/qshc.2007.024760
• ¹⁶
  Mitchell L, Flin R, Yule S, Mitchell J, Coutts K, Youngson G. Evaluation of the scrub practitioners list of intraoperative non-technical skills system (SPLINTS). Int J Nurs Stud. 2012; 49(2):201-11. doi: http://dx.doi.org/10.1016/j.ijnurstu.2011.08.012
  » https://doi.org/10.1016/j.ijnurstu.2011.08.012
• ¹⁷
  Robertson E, Hadi M, Morgan L, Pickering S, Collins G, New S, et al. Oxford NOTECHS II: A modified theatre team non-technical skills scoring system. Plos One. [Internet]. 2014 [cited March 18, 2015];9(3). Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0090320
  » http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0090320
• ¹⁸
  Sevdalis N, Davis R, Koutantji M, Undre S, Darzi A, Vincent CA. Reliability of a revised NOTECHS scale for use in surgical teams. Am J Surg. 2008; 196(2):184-90. doi: http:/dx.doi.org/10.1016/j.amjsurg.2007.08.070
  » https://doi.org/10.1016/j.amjsurg.2007.08.070
• ¹⁹
  Sevdalis N, Lyons M, Healey AN, Undre D, Darzi A, Vincent CA. Observational teamwork assessment for surgery (OTAS): Construct validation with expert vs. novice raters. Ann Surg. 2009; 249(6):1047-51. doi: http://dx.doi.org/10.1097/SLA.0b013e3181a50220
  » https://doi.org/10.1097/SLA.0b013e3181a50220
• ²⁰
  Steinemann S, Berg B, DiTulio A, Skinner A, Terada K, Anzelon K, et al. Assessing teamwork in the trauma bay: Introduction of a modified "NOTECHS" scale for trauma. The Am J Surg. 2012; 203(1):69-75. doi: http://dx.doi.org/10.1016/j.amjsurg.2011.08.004
  » https://doi.org/10.1016/j.amjsurg.2011.08.004
• ²¹
  Walker S, Brett S, McKay A, Lambden S, Vincent C, Sevdalis N. Observational skill-based clinical assessment tool for resuscitation (OSCAR): Development and validation. Resuscitation. 2011; 82(7):835-844. doi: http://dx.doi.org/10.1016/j.resuscitation.2011.03.009
  » https://doi.org/10.1016/j.resuscitation.2011.03.009
• ²²
  Pires S, Monteiro S, Pereira A, Chaló D, Melo E, Rodrigues A. Non-technical skills assessment for prelicensure nursing students. An integrative review. Nurse Educ Today. 2017; 58:19-24. http://dx.doi.org/10.1016/j.nedt.2017.07.015
  » http://dx.doi.org/10.1016/j.nedt.2017.07.015
• ²³
  Field A. Discovering Statistics Using SPSS, Sage. [Internet]. 2005 [cited April 5, 2017]. Available from: http://www.soc.univ.kiev.ua/sites/default/files/library/elopen/andy-field-discovering-statistics-using-spss-third-edition-20091.pdf
  » http://www.soc.univ.kiev.ua/sites/default/files/library/elopen/andy-field-discovering-statistics-using-spss-third-edition-20091.pdf

• 1
  Apoio financeiro do Fundo Europeu de Desenvolvimento Rural (FEDER), operação POCI-01-0145-FEDER-007746, pelo Programa Operacional Competitividade e Internacionalização (COMPETE2020) e pelo National Funds through da Fundação para a Ciência e a Tecnologia (FCT) em parceria com CINTESIS, R&D Unit, Referência UID/IC/4255/2013.

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  19 Jul 2017
• Aceito
  31 Maio 2018