Acessibilidade / Reportar erro

Evidências de validade da Escala de Competências das Ações do Enfermeiro em Emergências* * Artigo extraído da tese de doutorado “Competência profissional do enfermeiro de urgência e emergência: Desenvolvimento do processo de avaliação”, apresentada à Escola Paulista de Enfermagem, Universidade Federal de São, São Paulo, SP, Brasil. Apoio financeiro do Conselho Nacional de Desenvolvimento Cientifico e Tecnológico (CNPq), Brasil, processo nº 483.449/2013-0.

RESUMO

Objetivo:

avaliar evidências de validade da Escala de Competências das Ações do Enfermeiro em Emergências com base na estrutura interna, na consistência interna e no critério externo.

Métodos:

estudo metodológico para verificação de novas evidências de validade da Escala, com conteúdos previamente validados. A Escala com 81 ações mensuráveis em cinco níveis de competências pode ser realizada tanto para o enfermeiro se autoavaliar como outros o avaliarem.

Resultados:

participaram 407 enfermeiros assistenciais e 41 gestores das cinco regiões do Brasil, atuantes em emergências pré-hospitalar móvel, fixa ou hospitalar. A dimensionalidade foi evidenciada mediante análise fatorial exploratória dos 81 itens, apontando sete fatores que explicaram 66,5% da variância total dos dados. O alfa de Cronbach variou de 0,79 a 0,98. O Kaiser- Meyer-Olkin 0,988 indicou que as correlações entre os itens foram significantes. No critério externo, correlações de Pearson entre escores de competências de heteroavaliação e classificação subjetiva do gestor foram significantes (p<0,001), bem como diferenças das médias dessas competências por grupo critério. Adicionalmente, avaliaram-se escores por características, verificando-se médias estatisticamente distintas.

Conclusão:

por meio dos Procedimentos Estatísticos adotados, com multimétodos e multi-informantes, analisaram-se diferentes propriedades psicométricas, gerando um sumário de evidências, demostrando que a Escala é válida e confiável.

Descritores:
Avaliação de Desempenho Profissional; Competência Profissional; Escala de Avaliação de Comportamento; Enfermagem em Emergência; Psicometria; Validade dos Testes

ABSTRACT

Objective:

to evaluate the validity of the Competence Scale of Actions of Nurses in Emergencies based on internal structure, internal consistency, and external criteria.

Methods:

methodological study to verify new evidence of validity of the Scale, with contents previously validated. The Scale has 81 measurable actions at five levels of competence and can be applied both for self- and/or hetero-evaluation.

Results:

one hundred and forty seven nursing assistants and 41 managers from the five regions of Brazil participated in the study. They were linked to mobile prehospital emergency service, fixed prehospital emergency service, or hospital emergencies. Dimensionality was evidenced by exploratory factorial analysis of the 81 items, pointing out seven factors that explained 66.5% of the total data variance. Cronbach’s alpha ranged from 0.79 to 0.98. The Kaiser-Meyer-Olkin 0.988 indicated that the correlations between the items were significant. In the external criterion, Pearson’s correlations between hetero-evaluation competence scores and the manager’s subjective classification were significant (p < 0.001), as well as differences in the means of these competencies by criterion group. In addition, scores by characteristics were evaluated to detect statistically different means.

Conclusion:

through the adopted Statistical Procedures, with multi-methods and multi-informants, different psychometric properties were analyzed. A summary of evidence was generated showing that the Scale is valid and reliable.

Descriptors:
Employee Performance Appraisal; Professional Competence; Behavior Rating Scale; Nursing in Emergency; Psychometrics; Validity of Tests

RESUMEN

Objetivo:

evaluar evidencias de validez de la Escala de Competencias de las Acciones del Enfermero en Emergencias con base en la estructura interna, en la consistencia interna y en el criterio externo.

Métodos:

estudio metodológico para verificación de nuevas evidencias de validez de la Escala, con contenidos previamente validados. La Escala con 81 acciones mensurables en cinco niveles de competencias puede ser realizada tanto para que el enfermero se autoevalúe como otros lo evalúen.

Resultados:

participaron 407 enfermeros asistenciales y 41 gestores de las cinco regiones de Brasil, actuantes en emergencias pre-hospitalaria móvil, fija o hospitalaria. La dimensionalidad fue evidenciada mediante análisis factorial exploratoria de los 81 ítems, apuntando siete factores que explicaron 66,5% de la variancia total de los datos. El alfa de Cronbach varió de 0,79 a 0,98. El Kaiser- Meyer-Olkin 0,988 indicó que las correlaciones entre los ítems fueron significantes. En el criterio externo, correlaciones de Pearson entre puntajes de competencias de heteroevaluación y clasificación subjetiva del gestor fueron significantes (p<0,001), así como diferencias de las medias de esas competencias por grupo criterio. Adicionalmente, se evaluaron puntajes por características, verificándose medias estadísticamente distintas.

Conclusión:

por medio de los Procedimientos Estadísticos adoptados, con multimétodos y multiinformantes, se analizaron diferentes propiedades psicométricas, generando un sumario de evidencias, demostrando que la Escala es válida y confiable.

Descriptores:
Evaluación del Rendimiento de Empleados; Competencia Profesional; Escala de Evaluación de la Conducta; Enfermería en Urgencia; Psicometría; Validez de las Pruebas

Introdução

Em processo de avaliação da competência profissional, vários elementos são considerados na criação de um instrumento de pesquisa capaz de extrair dos respondentes a melhor resposta às alternativas oferecidas. Ter uma ferramenta válida para avaliar a equipe de trabalho é essencial para mensurar as competências reais, bem como para identificar a área da prática a ser desenvolvida11 Dellai M, Mortari L, Meretoja R. Self-assessment of nursing competencies-validation of the finish NCS instrument with Italian nurses. Scand J Caring Sci. [Internet] 2009[cited 2016 Dec 01];23(4):783-91. Available from: https://www.ncbi.nlm.nih.gov/pubmed/19473316
https://www.ncbi.nlm.nih.gov/pubmed/1947...
.

Em Psicometria, o conceito de validade pode ser definido genericamente quanto ao grau em que as evidências teórico-empíricas sustentam as inferências e as interpretações sobre as características psicológicas das pessoas. Isso é realizado a partir dos comportamentos observados/mensurados por meio do instrumento de medida, considerando sempre a relevância e a utilidade dos usos propostos em determinados contextos22 Messick S. Test validity and the ethics of assessment. Am Psychol. [Internet] 1980 [cited 2017 Oct 05];35(11):1012-27. Available from: http://onlinelibrary.wiley.com/doi/10.1002/j.2333-8504.1979.tb01178.x/epdf
http://onlinelibrary.wiley.com/doi/10.10...

3 Primi R, Muniz M, Nunes CHS. Definições contemporâneas de validade de testes psicológicos. In: Hutz CS. Avanços e polemicas em avaliação psicológica [Internet]. São Paulo: Casa do Psicólogo; 2009 [cited 2017 Nov 30]. Available from: http://docplayer.com.br/8475012-Definicoes-contemporaneas-de-validade-de-testes-psicologicos.html
http://docplayer.com.br/8475012-Definico...

4 Primi R, Nunes CHS. O Satepsi: desafios e propostas de aprimoramento. In: Conselho Federal de Psicologia. Avaliação psicológica: diretrizes na regulamentação da profissão [Internet]. Brasília; 2010 [cited 2017 Dec 1]. Available from: https://site.cfp.org.br/wp-content/uploads/2010/09/avaliacao_psicologica_web_30-08-10.pdf
https://site.cfp.org.br/wp-content/uploa...
-55 Conselho Federal de Psicologia. Avaliação psicológica: diretrizes na regulamentação da profissão [Internet]. Brasília: 2010 [cited 2017 Dec 1]. Available from: https://site.cfp.org.br/wp-content/uploads/2010/09/avaliacao_psicologica_web_30-08-10.pdf
https://site.cfp.org.br/wp-content/uploa...
.

Até o momento não há estudos brasileiros publicados acerca da criação de tecnologia capaz de medir competência profissional do enfermeiro que atua em emergências. Visto inexistência, faz-se indispensável a construção de uma que meça a competência profissional do enfermeiro que atua em emergências alicerçado no perfil do profissional, do cliente, da instituição e da política pública do atendimento de emergência brasileiro.

O desenvolvimento do Instrumento de Avaliação da Competência Profissional do Enfermeiro em Emergências usou o referencial psicométrico e ocorreu em três etapas, a saber: Procedimentos Teóricos, Procedimentos Empíricos/Experimentais e Procedimentos Analíticos/Estatísticos66 Pasquali L. Principles of Elaboration of Psychological Scales. Rev Psiquiatr Clin. [Internet] 1998 [cited 2016 Nov 3];25(5):206-13. Available from: http://mpet.ifam.edu.br/wp-content/uploads/2017/12/Principios-de-elaboracao-de-escalas-psicologicas.pdf
http://mpet.ifam.edu.br/wp-content/uploa...
. Primeiramente, os Procedimentos Teóricos propuseram uma Matriz de Competência Profissional (MCP) com dois tipos a serem considerados: Competência Básica (CB) ou Competência Associada (CA), bem como o número de cada uma, para a seguir, serem definidas constitutivamente77 Holanda FL, Marra CC, Cunha ICKO. Construction of a Professional Competency Matrix of the nurse in emergency services. Acta Paul Enferm. [Internet] 2014 [cited 2017 Dec 1];27(4):373-9. Available from: http://www2.unifesp.br/acta/pdf/v27/n4/v27n4a14_en.pdf
http://www2.unifesp.br/acta/pdf/v27/n4/v...
. A partir das oito Competências Básicas (CBs) e das 32 Competências Associadas (CAs) indicadas na MCP77 Holanda FL, Marra CC, Cunha ICKO. Construction of a Professional Competency Matrix of the nurse in emergency services. Acta Paul Enferm. [Internet] 2014 [cited 2017 Dec 1];27(4):373-9. Available from: http://www2.unifesp.br/acta/pdf/v27/n4/v27n4a14_en.pdf
http://www2.unifesp.br/acta/pdf/v27/n4/v...
, houve a definição operacional de 56 atitudes/comportamentos representados por ações nomeadas de Questões Identificadoras (QIs), que resultaram no Perfil de Competências Profissional (PCP)88 Holanda FL, Marra CC, Cunha ICKO. Professional competency profile of nurses working in emergency services. Acta Paul Enferm. [Internet] 2015 [cited 2017 Dec 1];28(4):308-14. Available from: http://www.scielo.br/pdf/ape/v28n4/en_1982-0194-ape-28-04-0308.pdf
http://www.scielo.br/pdf/ape/v28n4/en_19...
. Posteriormente, através da Técnica Delphi, verificou-se a evidência de validade com base no conteúdo das (QIs) por enfermeiros experts no assunto com 90% de concordância e 98,61 do Índice de Validade de Conteúdo99 Holanda FL, Marra CC, Cunha ICKO. Professional competence of nurses in emergency services: evidence of content validity. Rev Bras Enferm. 2019;72(Suppl 1). doi: http://dx.doi.org/10.1590/0034-7167-2017-0436. (No prelo).
http://dx.doi.org/10.1590/0034-7167-2017...
. Sequencialmente, separou--se essas 56 QIs em 81 ações únicas, compondo o Instrumento piloto1010 Holanda FL, Marra CC, Cunha ICKO. Assessment of professional competence of nurses in emergencies: created and validated instrument. Rev Bras Enferm [Internet]. 2018 [cited 2018 Sep 30];71(4):1865-74. Available from: http://www.scielo.br/pdf/reben/v71n4/0034-7167-reben-71-04-1865.pdf. Referenced in doi: http://dx.doi.org/10.1590/0034-7167-2016-0595.
http://www.scielo.br/pdf/reben/v71n4/003...
.

Esse Instrumento teve como conteúdo dados de caracterização pessoal, acadêmica e profissional, Escala de Classificação do Grau/Nível de Competência Profissional, três casos fictícios para apreciação do nível de competência e uma planilha com 81 ações mensuráveis em cinco níveis de competências. Esse conjunto de ações mensuráveis formou a Escala de Competências das Ações do Enfermeiro em Emergências (ECAEE), entendida como um instrumento capaz de medir as atitudes/comportamentos decorrentes do exercício profissional e informados pelo próprio enfermeiro ou identificados por outrem, de acordo com a grau/nível de competência devido/estabelecido em escala própria. Pode ser usado tanto para a autoavaliação como heteroavaliação.

A autoavaliação compreende em o enfermeiro avaliar as próprias atitudes/comportamentos inerentes as suas práticas assistenciais diárias do enfermeiro, segundo o grau/nível de competência por ele atribuído a cada uma delas. Já a heteroavaliação é realizada por um gestor para obter-se uma avaliação externa do enfermeiro assistencial em seu cotidiano, de acordo com o grau/nível de competência identificado na ótica desse gestor.

Embora a validade do conteúdo dessas atitudes/comportamentos seja uma fonte importante, não é suficiente, pois a demonstração de evidências de validade para utilizar um instrumento de medida é um processo contínuo e cumulativo de estudos que agregam um conjunto de evidências científicas33 Primi R, Muniz M, Nunes CHS. Definições contemporâneas de validade de testes psicológicos. In: Hutz CS. Avanços e polemicas em avaliação psicológica [Internet]. São Paulo: Casa do Psicólogo; 2009 [cited 2017 Nov 30]. Available from: http://docplayer.com.br/8475012-Definicoes-contemporaneas-de-validade-de-testes-psicologicos.html
http://docplayer.com.br/8475012-Definico...
-44 Primi R, Nunes CHS. O Satepsi: desafios e propostas de aprimoramento. In: Conselho Federal de Psicologia. Avaliação psicológica: diretrizes na regulamentação da profissão [Internet]. Brasília; 2010 [cited 2017 Dec 1]. Available from: https://site.cfp.org.br/wp-content/uploads/2010/09/avaliacao_psicologica_web_30-08-10.pdf
https://site.cfp.org.br/wp-content/uploa...
,66 Pasquali L. Principles of Elaboration of Psychological Scales. Rev Psiquiatr Clin. [Internet] 1998 [cited 2016 Nov 3];25(5):206-13. Available from: http://mpet.ifam.edu.br/wp-content/uploads/2017/12/Principios-de-elaboracao-de-escalas-psicologicas.pdf
http://mpet.ifam.edu.br/wp-content/uploa...
,1111 Pasquali L. Psychometrics. Rev Esc Enferm USP. [Internet] 2009 [cited 2016 Nov 16]:43(esp):992-9. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a02v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...

12 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
-1313 Figueiredo DB Filho, Silva JA Junior. Visão além do alcance: uma introdução à análise fatorial. Opin Publica. [Internet] 2010 [cited 2016 Mar 18];16(1):160-85. Available from: http://dx.doi.org/10.1590/S0104-62762010000100007
http://dx.doi.org/10.1590/S0104-62762010...
.

Para dar continuidade aos processos de criação, aplicação e obtenção de um sumário de evidências de validade, buscaram-se fontes de informações que as fortalecessem mediante Procedimentos Empíricos/Experimentais e Procedimentos Analíticos/Estatísticos66 Pasquali L. Principles of Elaboration of Psychological Scales. Rev Psiquiatr Clin. [Internet] 1998 [cited 2016 Nov 3];25(5):206-13. Available from: http://mpet.ifam.edu.br/wp-content/uploads/2017/12/Principios-de-elaboracao-de-escalas-psicologicas.pdf
http://mpet.ifam.edu.br/wp-content/uploa...
.

Diante do exposto, pode-se questionar: A Escala criada com base na MCP e no PCP possui outras fontes de evidências de validade? Para responder, buscou-se avaliar evidências de validade da Escala de Competências das Ações do Enfermeiro em Emergências com base na estrutura interna, na consistência interna e no critério externo, segundo a Psicometria. Assim, o estudo partiu da hipótese que as competências profissionais se distribuem em uma estrutura multifatorial, que as heteroavaliações se correlacionam e que o desempenho competente do sujeito em um determinado item é explicado pelo sentido das respostas dadas em função do traço latente.

Método

Tratou-se de estudo metodológico, integrante de uma pesquisa maior realizada desde 2013 em uma universidade pública situada na cidade de São Paulo, Brasil. Nesta fase, utilizou a Psicometria, especificamente os Procedimentos Empíricos e Estatísticos66 Pasquali L. Principles of Elaboration of Psychological Scales. Rev Psiquiatr Clin. [Internet] 1998 [cited 2016 Nov 3];25(5):206-13. Available from: http://mpet.ifam.edu.br/wp-content/uploads/2017/12/Principios-de-elaboracao-de-escalas-psicologicas.pdf
http://mpet.ifam.edu.br/wp-content/uploa...
, como referencial para verificar a representação comportamental do construto construído.

Nos Procedimentos Empíricos, testou-se o instrumento piloto criado1010 Holanda FL, Marra CC, Cunha ICKO. Assessment of professional competence of nurses in emergencies: created and validated instrument. Rev Bras Enferm [Internet]. 2018 [cited 2018 Sep 30];71(4):1865-74. Available from: http://www.scielo.br/pdf/reben/v71n4/0034-7167-reben-71-04-1865.pdf. Referenced in doi: http://dx.doi.org/10.1590/0034-7167-2016-0595.
http://www.scielo.br/pdf/reben/v71n4/003...
, definindo-se e calculando-se a amostra e os procedimentos da coleta dos dados. Como o instrumento proposto pode ser usado, tanto para o enfermeiro assistencial se autoavaliar, independentemente do tempo de atuação em emergência, quanto para outros profissionais o avaliarem, foi testado em um hospital universitário. Esse tipo de hospital dispõe de uma equipe composta por enfermeiros recém-formados ou não, com ou sem especialização ou que estão se especializando em emergências ou em outras áreas, caracterizando a variabilidade da amostra.

Depois de testá-lo em abril de 2015, foi devidamente adequado e se calculou o número amostral. Definiu-se o mínimo de cinco enfermeiros assistenciais para cada um dos 81 itens, totalizando 405 respondentes. Quanto ao número de enfermeiros gestores, não se pôde definir previamente por desconhecer o contingente exato que faria a heteroavaliação. Esse dado não afetou o resultado, pois o gestor só poderia fazer a heteroavaliação dos enfermeiros sob sua responsabilidade.

Assim sendo, a amostra foi intencional, formada por enfermeiros assistenciais e enfermeiros gestores responsáveis pelos assistenciais. O assistencial fez a autoavaliação, e o gestor, além de realizar a heteroavaliação dos assistenciais, também fez outra heteroavaliação subjetiva. Ambos os enfermeiros trabalhavam em serviços ligados à Rede de Urgência e Emergência (RUE), que funcionam integrados com diferentes pontos de atendimento: Hospitais, Serviços de Atendimento Pré-hospitalar (APH), tanto o Móvel de Urgência como o Fixo. A escolha desses três pontos se justificou, visto que o atendimento do cliente com quadros agudos ou agudizados no Sistema Único de Saúde (SUS) deve ser prestado em um deles.

Quanto ao ponto hospitalar, escolheram-se 12 hospitais de referência na área, participantes do 1º Ciclo do S.O.S. Emergências. Esses hospitais possuíam serviços de urgência com “porta aberta”, atendimento nas 24 horas todos os dias da semana, com demanda espontânea e referenciada de urgência clínica, pediátrica, cirúrgica ou traumatológica. Relacionado ao Serviço de Atendimento Móvel de Urgência (SAMU), optou-se pelas bases situadas em São Paulo por ser a cidade mais populosa do país e com atendimento em diferentes níveis de complexidade. O Serviço de APH Fixo foi a Assistência Médica Ambulatorial (AMA), componente de complexidade intermediária que possibilita integração entre atenção primária, SAMU e hospital. Elegeu-se uma AMA próxima de um hospital de sua referência. Cabe destacar que a AMA equivale à Unidade de Pronto Atendimento (UPA), mas em São Paulo, por questões políticas, foi nomeada diferentemente das outras cidades.

A escolha da amostra segundo grupos, tipos de avaliações e contextos diferentes se justifica, pois, segundo Pasquali (2009), o escore observado é igual ao escore verdadeiro mais o erro1111 Pasquali L. Psychometrics. Rev Esc Enferm USP. [Internet] 2009 [cited 2016 Nov 16]:43(esp):992-9. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a02v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
. Portanto, a avalição que envolve um raciocínio mais amplo, combinando multimétodos e multi-informantes, resolvendo inconsistência, provavelmente chegará às informações mais verdadeiras sobre a pessoa avaliada.

A partir disso, estabeleceram-se contatos com as instituições por telefone e correio eletrônico, sendo que um hospital não respondeu, excluindo-o do estudo.

A coleta de dados ocorreu entre maio de 2015 e janeiro de 2016, com os enfermeiros que concordaram em participar da pesquisa, assinando o Termo de Consentimento Livre Esclarecido (TCLE). Excluíram-se os enfermeiros em licenças, férias e os pós-graduandos lato sensu.

Para coletar os dados, a pesquisadora se valeu de uma rotina preestabelecida, seguindo passos específicos de acordo com o perfil da instituição e da amostra: apresentação, convite verbal, agradecimento, concordância em participar, acompanhamento à sala de coleta, entrega e recebimento do TCLE e do Instrumento de Competência Profissional. Primeiramente, o enfermeiro assistencial e o gestor preencheram a parte que continha os dados de caracterização e avaliaram os casos. Na sequência, realizou-se a autoavaliação ou a heteroavaliação do Grau de Competência, utilizando a Escala de Competências das Ações do Enfermeiro em Emergências. E por último, após o gestor fazer todas as heteroavaliações, a pesquisadora solicitava a sua opinião sobre quem era o enfermeiro mais competente, o mediano e o menos competente, entre os avaliados. Para avaliar esse grupo controle, o gestor deveria usar como referencial métrico de 1 a 5, segundo a Escala de Classificação do Grau/Nível de Competência Profissional.

Quanto aos Procedimentos Analíticos, como todo o conjunto de dados colhidos durante a aplicação do Instrumento ofereceu condições relativas aos multimétodos e aos multi-informantes, organizaram-se sequencialmente os instrumentos preenchidos por enfermeiros dos Serviços de Emergências Hospitalares, da AMA e, por último, do SAMU. As informações foram digitadas em planilhas no programa Microsoft Excel 2007®. A seguir, verificou-se a existência de erros e de dados perdidos com Missing Values Analysis (MVA). Os efeitos piso/floor e teto/ceiling também foram analisados, objetivando identificar os valores mínimos e máximos das respostas1212 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
.

A análise da ECAEE foi do tipo descritiva e inferencial. A primeira propiciou descrever, resumir e obter uma visão geral dos dados, e a segunda, por meio da avaliação de um grande conjunto de dados, permitiu tirar conclusões a partir da amostra do estudo e demonstrar estatisticamente evidências de validade da Escala.

Embora na literatura seja muito usada a análise fatorial confirmatória (AFC) para escalas que possuem evidências de validade anteriormente demonstradas, essa análise pode ser empregada também para verificar a plausibilidade de um modelo teórico ou esperado, com base na experiência do pesquisador. A AFC corresponde a um modelo particular do Structural Equation Modeling (SEM)1212 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
.

A ECAEE foi analisada quanto a sua dimensionalidade, relacionada à AFC e à análise fatorial exploratória (AFE). Também se avaliou o critério externo.

Usou-se AFC para avaliar a plausibilidade da Escala inicial das Competências das Ações do Enfermeiro com 81 itens, conceitualmente distribuída em oito dimensões: CB1. Desempenho assistencial (20 itens); CB2. Trabalho em Equipe (13 itens); CB3. Liderança (15 itens); CB4. Humanização (12 itens); CB5. Relacionamento Interpessoal (10 itens); CB6. Tomada de Decisão (13 itens); CB7. Direcionamento para Resultado (14 itens); e CB8. Proatividade (15 itens). As adequacidades dos modelos foram verificadas via índices como RMSEA, CFI, TLI e Qui-Quadrado normalizado (X2/d.f.).

Como os índices de adequacidade, após o ajuste da AFC, não confirmaram a estrutura teórica, procedeu-se à AFE com a finalidade de se avaliar a dimensionalidade sugerida pelos dados da Escala. A AFE foi realizada pelo método de componentes principais e rotação ortogonal VARIMAX. O critério para a seleção do número de fatores foi de autovalores acima do valor um. Foram utilizados como critério de exclusão dos itens aqueles cujas comunalidades foram inferiores a 0,5 e cargas fatoriais inferiores a 0,5. Foram apresentados coeficiente de adequação da amostra de Kaiser- Meyer-Olkin (KMO) e o teste de esfericidade Bartlett para avaliar a significância global de todas as correlações entre os itens da escala considerados.

Já as propriedades psicométricas dos fatores resultantes da AFE foram verificadas através da consistência interna global e por subdimensão foi analisada via coeficiente Alpha de Cronbach. O coeficiente Alpha normalmente varia entre 0 e 1. Quanto mais próximo de 1, maior é a consistência entre os itens de uma escala ou subescala.

No critério externo, analisou-se com Pearson a correlação entre a heteroavaliação e a heteroavaliação subjetiva sobre enfermeiro mais competente, o mediano e o menos competente, segundo a Escala do Grau de Competência. Também se compararam as médias dos fatores da heteroavaliação com as médias resultantes do número de enfermeiros mais competentes, medianos e os menos competentes, segundo avaliação holística do gestor.

Cabe destacar que, independentemente do tipo da análise fatorial utilizada, agregaram-se os escores tanto da auto quanto da heteroavaliação para gerar uma única estrutura de competência. Dado o fato de que, para assistir um cliente em situação de emergência, o enfermeiro deve realizar ações de excelência de acordo com o esperado para o exercício profissional competente em emergências. As competências avaliadas por meio das ações devem ser as mesmas, independentemente se foi auto ou heteroavaliação. A AFE foi conduzida com as informações dos dois grupos de enfermeiros, admitindo-se que o construto das competências das ações do enfermeiro seja único, livremente da ótica assistencial ou gerencial, portanto não existem motivos para que a competência seja distinta por tipo de avaliador.

Para análise psicométrica, utilizou-se o programa estatístico SPSS 20 e o Stata 12.0. O SPSS foi usado para a realização de análises descritivas e o Stata estimou os modelos de AFC com nível de significância de 5%, p<0,05.

Esta pesquisa seguiu normas nacionais e internacionais de ética em pesquisa e obteve consentimento do Comitê de Ética em Pesquisa, com o número do parecer 220.513.

Resultados

Participaram desta pesquisa dois grupos de enfermeiros: 407 assistenciais e 41 gestores, que trabalhavam em 11 hospitais situados nas cinco regiões do Brasil e, ainda, em uma AMA e em um SAMU, ambos localizados em São Paulo. Os assistenciais responderam a 407 autoavaliações, e os gestores, a 407 heteroavaliações, totalizando 814 protocolos válidos, com baixo percentual de casos perdidos e de erros decorrentes da digitação (0,18%).

Entre os 407 enfermeiros assistenciais, 314 (77,1%) eram mulheres e 93 (22,9%) homens com idade entre 22 e 66 anos, média de 36,3, Desvio Padrão (DP) igual a 8,0 e mediana de 35. Destes, 194 (47,8%) eram da geração Y, 185 (45,6%) da X e 27 (6,7%) de baby boomers. Relativo ao local da atuação, 376 (92,4%) eram do ponto hospitalar, 22 (5,4%) SAMU e nove (2,2%) AMA. A graduação variou entre 1978 e 2015. Já a qualificação, 18 (4,4%) concluíram pós stricto sensu e 304 (74,7) lato sensu; destes, 120 (29,4%) em urgências/emergências. Nos últimos dois anos, 67,8% fizeram cursos em emergências; destes, 36,1% em protocolo para classificação de pacientes. Verificou-se que 35,1% trabalhavam em outra instituição.

Entre os 41 gestores, 32 (78%) eram mulheres e nove (22%) homens com idade entre 27 e 57 anos, média de 38,7 (DP=8,5) e mediana de 36. Destes, 16 (40%) eram da geração Y, 19 (47,5%) da X e cinco (12,5%) de baby boomers. Relativo ao local da atuação, 36 (87%) eram do ponto hospitalar, quatro (9,7%) SAMU e um (2,4%) AMA. A graduação variou entre 1980 e 2011. Já quanto à qualificação, três (7,3%) concluíram pós stricto sensu e 35 (85,4%) lato sensu; destes, 12 (29,2%) em urgências/emergências. Nos últimos dois anos, 63,4% fizeram cursos em emergências; destes, 26,8% em protocolo para classificação de pacientes. Verificou-se que 29,3% trabalhavam em outra instituição.

Na distribuição das respostas dadas aos 81 itens do instrumento original, notou-se que, na autoavaliação, com exceção dos itens i(item)6 “Participa de simulação realística em emergências periodicamente” e i12 “Faz diagnóstico de enfermagem para o cliente conforme referencial teórico adotado na instituição”, praticamente não houve a resposta “Nada competente”, diferentemente da heteroavaliação. Acerca dos itens, na autoavaliação, 70 dos 81 itens tiveram a resposta “extremamente competente” e, na heteroavaliação, em 15 dos 81 itens o mesmo ocorreu, indicando presença de efeito teto (ceiling). Isso aconteceu quando mais de 15% das respostas estavam concentradas no ponto máximo da escala1212 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
,1414 Terwee CB, Bot SD, Boer MR, Windt DA, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. [Internet] 2007 [cited 2017 Aug 1];60(1):34-42. Available from: https://www.ncbi.nlm.nih.gov/pubmed/17161752
https://www.ncbi.nlm.nih.gov/pubmed/1716...
.

Na AFE inicial com os 81 itens, sete fatores explicaram a variância total dos itens em 66,1%. Nas análises subsequentes, foram eliminados i17, i15 e i13 cujas cargas fatoriais apresentaram valores inferiores a 0,4 ou comunalidades inferiores a 0,5. Com a exclusão destes, aplicou-se outra AFE, resultando em sete fatores que explicaram 66,5% da variância total dos dados. A escolha desse número de fatores deu-se a partir do número de autovalores da matriz de correlação maior do que 1, já que um autovalor pequeno sugere uma pequena contribuição do fator (F) na explicação das variações das variáveis originais. Na Tabela 1 está a análise dos itens.

Tabela 1
Cargas fatoriais, autovalores, porcentagem da variância explicada e o grau de competência. São Paulo, SP, Brasil, 2016

Os resultados da análise fatorial podem ser interpretados através das “cargas fatoriais”. Cada uma das “cargas fatoriais” representa a medida de correlação entre o fator derivado da análise e os itens originais, podendo ser interpretada como se faz com um coeficiente de correlação de Pearson. A partir das cargas fatoriais, do referencial teórico77 Holanda FL, Marra CC, Cunha ICKO. Construction of a Professional Competency Matrix of the nurse in emergency services. Acta Paul Enferm. [Internet] 2014 [cited 2017 Dec 1];27(4):373-9. Available from: http://www2.unifesp.br/acta/pdf/v27/n4/v27n4a14_en.pdf
http://www2.unifesp.br/acta/pdf/v27/n4/v...
-88 Holanda FL, Marra CC, Cunha ICKO. Professional competency profile of nurses working in emergency services. Acta Paul Enferm. [Internet] 2015 [cited 2017 Dec 1];28(4):308-14. Available from: http://www.scielo.br/pdf/ape/v28n4/en_1982-0194-ape-28-04-0308.pdf
http://www.scielo.br/pdf/ape/v28n4/en_19...
, da análise do conteúdo dos itens por fator (Tabela 1) e sua correspondência para as Competências Básicas (CBs) e as Competências Associadas (CAs), os fatores foram nomeados em:

  • Fator 1: Prática profissional - Ter procedimentos provenientes dos saberes de enfermagem aprendidos para realizar ações relacionadas ao exercício da profissão cada vez mais aperfeiçoadas nos âmbitos técnico, científico e, inclusive, de relacionamento humano no trabalho.

  • Fator 2: Relações no trabalho - Possuir habilidades de comunicação com as pessoas em reconhecimento de suas próprias potencialidades e deficiências e, também, da não existência de verdades absolutas, atingindo melhor qualidade de vida profissional e de alcance de resultados profícuos.

  • Fator 3: Desafio positivo - Ter proposições eficientes e eficazes diante das dificuldades que se apresentam no dia a dia de trabalho para a criação de um ambiente laboral otimista pelas soluções propostas e executadas que agregam contribuições à prática da profissão.

  • Fator 4: Ação direcionada - Atuar efetivamente para atingir as metas e objetivos propostos nos planos de trabalho com o encontro de soluções certas em atendimento aos vários níveis de decisões disponíveis no ambiente profissional.

  • Fator 5: Conduta construtiva - Ser assertivo de forma constante no ambiente de trabalho em reconhecimento das várias possibilidades que se apresentam no cotidiano para resultados mais efetivos.

  • Fator 6: Excelência profissional - Ter atuação qualificada reconhecida pelo mercado de trabalho para destacar-se dos demais profissionais de sua área pela agregação de valor aos seus atos cotidianos.

  • Fator 7: Adaptação à mudança - Reconhecer as mudanças e agir de forma adequada com os recursos disponíveis no trabalho por ser capaz de entendê-las e gerar soluções proveitosas pelos seus novos conhecimentos e desenvolvimento técnico.

Conforme Figura 1, as médias dos escores das competências dos assistenciais relativas a cada fator foram superiores aos dos gestores, indicando que a percepção entre eles é diferente em todos os aspectos e, ainda, o assistencial se considera mais competente. Também há diferença de médias entre fatores, tanto em assistenciais (p<0,001) como em gestores (p<0,001). Entre enfermeiros assistenciais, as médias dos fatores 1, 2, 4 e 5 foram similares entre si, demonstrando que estes se percebem mais competentes em Prática profissional, Relações no trabalho, Ação direcionadora e Conduta construtiva, secundariamente competentes nos fatores Desafio positivo e Adaptação à Mudança e pouco competentes no fator 6 “Excelência profissional”. Esse padrão também se reflete na percepção dos gestores, ou seja, a percepção do nível de competência por fator entre enfermeiro assistencial e gestor é a mesma, o que difere é que o enfermeiro assistencial se julga mais competente do que seu gestor.

Figura 1
Média dos escores por Fator segundo tipo de avaliação. São Paulo, SP, Brasil, 2016

Para interpretar a Figura 1, consideraram-se dois elementos: área da figura e a forma dessa área. Quanto à área, quanto maior, maior a média dos escores em cada um dos aspectos. Quanto à forma dessa área, quanto mais regular for o polígono, mais homogêneos serão os valores das médias entre os aspectos das competências. Assim, um gráfico com polígono muito irregular indica que, em média, os indicadores não foram similares nos sete aspectos, apontando níveis de competências diferentes.

A Tabela 2 apresenta as correlações entre os fatores dos escores nos dois grupos. De forma geral, essas correlações foram fortes e positivas, apontando que, quanto maior o valor de um fator, maior o valor do outro. Observaram-se correlações mais fortes entre os fatores dos escores dos gestores do que as dos assistenciais. Adicionalmente, verificaram-se correlações mais fracas entre Conduta Construtiva e Excelência profissional e entre Excelência profissional e Adaptação à mudança, tanto para assistenciais quanto para gestores. Ainda conforme Tabela 2, notam-se correlações bastante fortes entre os fatores, sugerindo, em estudos futuros, avaliar outros métodos de rotação na AFE não ortogonais.

Tabela 2
Correlação de Pearson entre os fatores dos escores dos enfermeiros e dos gestores. São Paulo, SP, Brasil, 2016

Já na Tabela 3, não houve correlações significantes entre autoavaliação e heteroavaliação, exceto para o F6 “Excelência profissional”, que, apesar de significante (p<0,001), apresentou uma magnitude fraca. Assim, segundo a funcionalidade do escore, os enfermeiros se avaliam melhor do que seus gestores, excluindo Excelência profissional, ambos concordam, mas de maneira muito dispersa. Por outro lado, na avaliação do gestor, utilizando o escore, notam-se as correlações positivas moderadas significantes em todos os fatores na sua heteroavaliação com ECAEE e a classificação subjetiva com valores de 1 a 5. Essas duas formas diferentes de avaliações dos gestores se correlacionam e caminham para o mesmo sentido.

Tabela 3
Correlações de Pearson e de Spearman entre escores de competências de autoavaliação, heteroavaliação e classificação subjetiva do gestor. São Paulo, SP, Brasil, 2016

Na Tabela 4, apresentaram-se as médias de cada fator por características segundo o tipo de enfermeiro nos quais se observaram diferenças.

Tabela 4
Medidas-resumo dos sete fatores segundo características dos enfermeiros assistenciais e gestores. São Paulo, SP, Brasil, 2016

Discussão

A análise descritiva mostrou que menos de um quarto dos enfermeiros participou de simulação realística (i6) nos últimos dois anos, apontando um percentual baixo de treinamento em cenários com estações de habilidades, usando manequins e casos reais ou fictícios. Essa informação é preocupante e causou estranheza, pois são serviços de referência do SUS, onde há política de capacitação continuada para as urgências/emergências. Outro item chamou a atenção, o i12 “Faz diagnóstico de enfermagem...”, esperava-se que este tivesse sido feito pelo enfermeiro a tempo e a hora durante atendimento do cliente, uma vez que é utilizado para nortear as etapas subsequentes da Sistematização da Assistência de Enfermagem (SAE). Ademais, quando o enfermeiro realiza o Diagnóstico de Enfermagem (DE), no momento da classificação, otimiza o cuidado na emergência, favorece a tomada de decisão e prioriza o cuidado do cliente logo após sua entrada, reduzindo os efeitos negativos nos prognósticos associados à demora1515 Souza CC, Mata LRF, Carvalho EC, Chianca TCM. Nursing diagnoses in patients classified as priority level I and II according to the Manchester protocol. Rev Esc Enferm USP. [Internet] 2013 [cited 2017 Nov 5];47(6):1318-24. Available from: http://www.scielo.br/pdf/reeusp/v47n6/en_0080-6234-reeusp-47-6-01318.pdf
http://www.scielo.br/pdf/reeusp/v47n6/en...
. Estudos brasileiros apresentam inúmeras ações de cuidados realizadas por enfermeiros, mas não há menção da SAE1616 Luchtemberg MN, Pires DEP. Nurses from the Mobile Emergency Service: profile and developed activities. Rev Bras Enferm. [Internet] 2016 [cited 2016 Oct 5];69(2):194-201. Available from: http://www.scielo.br/pdf/reben/v69n2/en_0034-7167-reben-69-02-0213.pdf
http://www.scielo.br/pdf/reben/v69n2/en_...
, o DE só é identificado a partir da análise de outros registros dos enfermeiros1515 Souza CC, Mata LRF, Carvalho EC, Chianca TCM. Nursing diagnoses in patients classified as priority level I and II according to the Manchester protocol. Rev Esc Enferm USP. [Internet] 2013 [cited 2017 Nov 5];47(6):1318-24. Available from: http://www.scielo.br/pdf/reeusp/v47n6/en_0080-6234-reeusp-47-6-01318.pdf
http://www.scielo.br/pdf/reeusp/v47n6/en...
,1717 Lins TH, Lima AXBC, Veríssimo RCSS, Oliveira JM. Nursing diagnoses and interventions in trauma victims during prehospital care using the ICNP®. Rev Eletr Enferm. [Internet] 2013 [cited 2017 Oct 02];15(1):34-43. Available from: https://www.fen.ufg.br/fen_revista/v15/n1/pdf/ v15n1a04.pdf
https://www.fen.ufg.br/fen_revista/v15/n...
-1818 Cyrillo RMZ, Dalri MCB, Canini SRMS, Carvalho EC, Lourencini RR. Nursing diagnoses in trauma victims attended in a mobile advanced pre-hospital care service. Rev Eletr Enferm. [Internet] 2009 [cited 2017 Nov 11];11(4):811-9. Available from: http://www.fen.ufg.br/revista/v11/ n4/pdf/v11n4a06.pdf
http://www.fen.ufg.br/revista/v11/ n4/pd...
e, embora estes considerem primordial a realização da SAE, do qual o DE é uma fase, sentem dificuldades para fazê-lo por falta de tempo, alta demanda e rotatividade dos clientes, conhecimento teórico não suficiente e resistência dos próprios enfermeiros na sua execução1919 Felix NN, Rodrigues CDS, Oliveira VDC. Challenges on application of Standardized Nursing Assistance at the emergency room. Arq Ciênc Saúde. [Internet] 2009 [cited 2017 Oct 1];16(4):155-60. Available from: http://repositorio-racs.famerp.br/racs_ol/vol-16-4/IDK2_out-dez_2010.pdf
http://repositorio-racs.famerp.br/racs_o...
. Esses resultados causam preocupações em relação ao que está acontecendo, pois a SAE é o alicerce e a identidade profissional para uma prática de excelência.

Na análise inferencial, para avaliar as evidências de validade com base na estrutura interna, na consistência interna e nos critérios externos da ECAEE, tentou-se reproduzir a estrutura pensada teoricamente por meio da AFC. Mediante um ajustamento pobre, procurou-se identificar a estrutura dos dados com a AFE, na qual os itens propostos foram separados em sete fatores cujo resultado da variância total dos dados foi bom e evidenciou a validade baseada na estrutura interna da ECAEE1212 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
-1313 Figueiredo DB Filho, Silva JA Junior. Visão além do alcance: uma introdução à análise fatorial. Opin Publica. [Internet] 2010 [cited 2016 Mar 18];16(1):160-85. Available from: http://dx.doi.org/10.1590/S0104-62762010000100007
http://dx.doi.org/10.1590/S0104-62762010...
.

Com essa AFE, percebeu-se que houve diferença entre a construção teórica proposta e a realidade prática, dada a baixa correlação identificada entre três itens no agrupamento por fator. Em relação ao item i17 “Forma vínculos com as pessoas no trabalho”, a experiência das autoras considerou que existe a possibilidade de esse vínculo ser pouco observável na prática. No i15 “Faz escolhas compatíveis com a liberdade de ação que possui”, embora a maioria dos enfermeiros tenha liberdade de ação na enfermagem, esse grupo se sente cerceado ou não se julga autônomo. Em relação ao i13 “Percebe claramente as potencialidades das pessoas no trabalho”, deduziu-se que os envolvidos não percebem o potencial de cada um, inclusive em situação de liderança, na qual é essencial influenciar o outro. Um item é excluído quando todos o fazem ou ninguém o realiza. Diante dos resultados, optou-se por excluí-los.

Ao conceber o modelo de regressão logística para essa Escala, pensou-se em medir o grau/nível de competência do enfermeiro descrita por ações e por dados relacionados a seu traço latente. Para tanto, utilizou-se a AFE pelo método dos componentes principais, mas não a análise de componentes principais2020 Johnson RA, Wichern DW. Applied Multivariate Statistical Analysis [Internet]. 6th ed. Upper Saddle River: Pearson Prentice Hall; 2007. Available from: https://www1.udel.edu/oiss/pdf/617.pdf
https://www1.udel.edu/oiss/pdf/617.pdf...
. Com a avaliação da propriedade psicométrica de alfa de Cronbach, demonstrou-se que, entre os sete fatores, há consistência interna dos 78 itens e quatro fatores tiveram valores muito próximos de 1, indicando boa consistência interna.

Esses resultados apontam que a estrutura dimensional é internamente consistente, pois houve diferença no padrão de respostas obtidas entre os enfermeiros por possuírem estes diferentes níveis de construtos latentes, supostamente mensuráreis pela Escala. Sendo assim, apesar de a estrutura teórica pensada com 81 itens ter sido reduzida para 78, esses resultados puderam ser arranjados em uma estrutura dimensional com sete fatores que explicam seu agrupamento. Essa estrutura unidimensional contemplou todas as oito CBs e as 32 CAs da MCP originalmente proposta.

Mediante esses dados, realizou-se uma transposição da teoria para a realidade cujo resultado confirmou que a MCP é o arcabouço essencial para originar as ações, pois sugere a natureza dos itens usados para interpretar os fatores gerados da AFE, derivados das competências propostas. Também se pôde afirmar que, embora esse resultado fatorial tenha uma dimensão teórica própria, a interdependência e a inter-relação das competências criadas na MCP foram mantidas e confirmadas, uma vez que, na realocação das competências por fator, demonstrou-se a correlação.

Com a AFE, verificou-se que, como na teoria, embora as CBs sejam diferentes, elas estão tão inter-relacionadas que fica difícil gerar um único fator puro com apenas um tipo de Competência Básica (CB). A análise com CBs e CAs permitiu uma compreensão mais detalhada sobre cada item/fator, uma vez que estes se agrupam em resultado de suas correlações com todos os outros. A pertinência dos itens na Escala, mais a combinação destes, segundo a carga fatorial, fez com que a forma de estruturá-los se diferenciasse da MCP teórica concebida. Essas inferências ocorreram após a conceituação e a análise de cada dimensão teórica fatorial, a partir da recomposição da matriz e de seus respectivos itens, em um grande mapa de significados.

Pesquisas realizadas no exterior sobre validação de instrumento de avaliação da competência de enfermeiros tiveram valores psicométricos próximos aos do presente estudo2121 Meretoja R. Nurse competence scale: development and psychometric testing. J Adv Nurs. [Internet] 2004 [cited 2017 Aug 3];47(2):124-33. doi:10.1111/j.1365-2648.2004.03071.x
https://doi.org/10.1111/j.1365-2648.2004...

22 Slåtten K, Hatlevik O, Fagerström L. Validation of a new instrument for self-assessment of nurses: core competencies in palliative care. Nurs Res Pract. [Internet] 2014. Available from: https://www.hindawi.com/journals/nrp/2014/615498/
https://www.hindawi.com/journals/nrp/201...
-2323 Bahreini M, Moattari M, Ahmadi F, Kaveh MH, Hayatdavoudy P, Mirzaei M. Comparison of head nurses and practicing nurses in nurse competence assessment. Iran J Nurs Midwifery Res. [Internet] 2011 [cited 2017 Oct 2];16(3):227-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3249804/
https://www.ncbi.nlm.nih.gov/pmc/article...
.

Nesta pesquisa sobre as análises de correlação entre a auto e a heteroavaliação, as autoras não encontram diferença estatisticamente significativa entre a feita pelo enfermeiro assistencial e a realizada pelo gestor sobre o nível de competência do assistencial. O primeiro se avaliou com um nível de competência mais alto do que a avaliação do seu gestor. Isso pode ocorrer uma vez que as percepções entre as pessoas, no processo de avaliação, são diferentes e há limitações. Na autoavaliação, ao olhar para si, embora seja um momento de introspecção, a pessoa pode achar que há uma implicação negativa, tendendo a aumentar o nível de competência, tanto para si quanto para sua visibilidade. Já, na heteroavaliação, o gestor é um observador do outro, e essa tendência diminui, mas pode ocorrer com os prediletos. Embora seja uma avaliação díspar, ela é comumente observada em estudos dessa natureza.

Em pesquisas internacionais contendo auto e heteroavaliação, os enfermeiros foram melhor avaliados por si mesmos do que por seus gestores, corroborando os resultados da presente investigação. Em estudo comparativo realizado entre 330 enfermeiros assistenciais e seus respectivos 19 gestores, houve diferença estatisticamente significativa entre a auto e a heteroavaliação quanto à Escala de Competência Clínica (NCS)2323 Bahreini M, Moattari M, Ahmadi F, Kaveh MH, Hayatdavoudy P, Mirzaei M. Comparison of head nurses and practicing nurses in nurse competence assessment. Iran J Nurs Midwifery Res. [Internet] 2011 [cited 2017 Oct 2];16(3):227-34. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3249804/
https://www.ncbi.nlm.nih.gov/pmc/article...
. Em outra pesquisa publicada em 2015, uma matriz construída na Suécia foi traduzida e adaptada culturalmente para a Noruega. As autoras, valendo-se de ferramentas estatísticas, como AFE e análise de componentes principais, afirmaram que é difícil saber o grau em que a competência atribuída pelo enfermeiro em sua autoavaliação está relacionada com o seu comportamento real2424 Finnbakk E, Wangensteen S, Skovdahl K, Fagerstrom L. The professional nurse self-assessment scale: psychometric testing in Norwegian long term and home care context. BMC Nurs. [Internet] 2015 [cited 2017 Nov 8];14:58. Available from: https://bmcnurs.biomedcentral.com/articles/10.1186/s12912-015-0109-3
https://bmcnurs.biomedcentral.com/articl...
. Em estudo hospitalar comparativo, realizado com 81 autoavaliações e suas respectivas heteroavaliações, identificou-se que o nível de competência se relaciona à intensidade da prática desta2525 Meretoja R, Leino-Kilpi H. Comparison of competence assessments made by nurse managers and practicing nurses. J Nurs Manag. [Internet] 2003 [cited 2017 Nov 3;11(6):404-9. Available from: http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2834.2003.00413.x/epdf
http://onlinelibrary.wiley.com/doi/10.10...
.

Além da análise entre a auto e a heteroavaliação, as autoras consideraram a avaliação do gestor com dois métodos diferentes. Ao comparar o grau de competência atribuído pelo gestor, usando a ECAEE com uma avaliação paralela subjetiva, na qual o mesmo indicou verbalmente um escore de 1 a 5, ao enfermeiro mais competente, ao mediano e ao menos competente, entre todos os heteroavaliados, houve correlação estatística significativa, ou seja, embora sejam duas formas diferentes aplicadas, os resultados indicaram que a avaliação do gestor se mantém. Esses dados constatam que a ECAEE converge com a avaliação subjetiva do gestor por ser uma variável externa relevante e associada ao construto avaliado, portanto demonstram evidência com base em critério externo.

Em suma, ao cruzar a autoavaliação com a heteroavaliação, com exceção da Excelência profissional, não houve correlação, demonstrando, assim, que o gestor é mais rigoroso do que o enfermeiro assistencial. Já entre a heteroavaliação usando a ECAEE com a heteroavaliação subjetiva do gestor houve correlação, demonstrando que através da ECAEE é possível qualificar em qual aspecto o enfermeiro é mais competente.

Além da avaliação da estrutura da ECAEE por meio da dimensionalidade, também considerou a sensibilidade desta para as variáveis observáveis, como perfil pessoal e profissional, bem como aprendizagem ao longo da vida relacionada ao aperfeiçoamento.

O enfermeiro assistencial do sexo masculino se considerou mais competente em todos os fatores, enquanto, para o gestor, o gênero do assistencial não faz diferença. Quanto à idade, não houve diferença entre as três gerações ao se autoavaliarem; entretanto, ocorreu uma pequena diferença numérica entre baby boomers ao se considerarem mais competentes que os outros. Já os gestores indicaram uma maior excelência profissional para os enfermeiros assistenciais da geração X e Y. Em estudo realizado com 2052 enfermeiros finlandeses, verificaram-se diferenças significativas entre essas três gerações ligadas às competências2626 Meretoja R, Numminen O, Isoaho H, Leino-Kilpi H. Nurse competence between three generational nurse cohorts: a cross-sectional study. Int J Nurs Pract. [Internet] 2015 [cited 2017 Nov 11];21(4):350-8. Available from: http://www.ncbi.nlm.nih.gov/pubmed/24689751
http://www.ncbi.nlm.nih.gov/pubmed/24689...
.

Em relação ao período da formatura, os assistenciais, que concluíram o curso de graduação após a implantação das Diretrizes Curriculares Nacionais, julgaram-se mais competentes no fator “Excelência profissional” do que aqueles que se formaram antes de sua instituição. Isso pode ter ocorrido porque competências nortearam o processo de formação.

Quanto ao atendimento, os assistenciais que atuavam no SAMU se consideraram mais competentes e os que trabalhavam na AMA se autoavaliaram menos competentes. Esse dado não foi evidenciado nas heteroavaliações dos gestores. Infere-se, desse modo, o fato de o assistencial do SAMU se perceber mais competente por estar associado à maior liberdade que possui nos atendimentos para salvaguardar a vida das pessoas em ambientes diversos, dispondo de recursos limitados, o que o faz enfrentar desafios com muita frequência. Em estudo com enfermeiros em SAMU paulistano para verificar a opinião sobre os conhecimentos teóricos e as habilidades necessárias no exercício profissional, entre 23 itens relacionados ao conteúdo teórico e às habilidades, 21 (91,30%) foram considerados básicos ou necessários para sua prática profissional em APH móvel2727 Gentil RC, Ramos LH, Whitaker IY. Nurses’ training in prehospital care. Rev. Latino-Am. Enfermagem. [Internet] 2008 [cited 2017 Oct 5];16(2):192-7. Available from: http://www.scielo.br/pdf/rlae/v16n2/04.pdf
http://www.scielo.br/pdf/rlae/v16n2/04.p...
. Em outra pesquisa, afirmou-se que o enfermeiro deve ter uma formação sólida em áreas básicas para atuação, experiência clínica e observação desenvolvida para detecção precoce das alterações que ocorrem em traumatizados1818 Cyrillo RMZ, Dalri MCB, Canini SRMS, Carvalho EC, Lourencini RR. Nursing diagnoses in trauma victims attended in a mobile advanced pre-hospital care service. Rev Eletr Enferm. [Internet] 2009 [cited 2017 Nov 11];11(4):811-9. Available from: http://www.fen.ufg.br/revista/v11/ n4/pdf/v11n4a06.pdf
http://www.fen.ufg.br/revista/v11/ n4/pd...
.

Sobre a pós-graduação lato sensu, os assistenciais, que fizeram especialização na modalidade residência, consideraram-se mais competentes no fator “Adaptação à mudança”. Eles controlam as emoções perante as adversidades e alterações no trabalho diário e adaptam-se rapidamente às situações inesperadas sem ultrapassar limites mentais e físicos, quando comparados aos que fizeram outro tipo de especialização. Associa-se esse dado à residência em emergência por conta do intenso programa de desenvolvimento integral com atividades práticas e teórico-práticas2828 Barros ALBL, Michel JLM. Nursing specialization program - a model of residence: experience of setting up it in a school-hospital. Rev. Latino-Am. Enfermagem. [Internet] 2000 [cited 2017 Oct 12];8(1):5-11. Available from: http://www.scielo.br/pdf/rlae/v8n1/12428.pdf
http://www.scielo.br/pdf/rlae/v8n1/12428...
, com simulação em laboratório em diferentes cenários, situações e complexidades, enfocando relações humanas e psicomotoras. O emprego da simulação em laboratório é um aliado vantajoso no preparo das emoções do profissional2929 Carvalho EC. A glance at the non-technical skills of nurses: simulation contributions. Rev. Latino-Am. Enfermagem. [Internet] 2016 [cited 2017 Sept 30];24:e2791. Available from: http://www.scielo.br/pdf/rlae/v24/0104-1169-rlae-24-02791.pdf
http://www.scielo.br/pdf/rlae/v24/0104-1...
.

Quanto à especialização, os assistenciais especialistas foram considerados mais competentes pelos gestores, no fator “Excelência profissional”. Essa Excelência também foi apontada pelo gestor naquele enfermeiro que realizou o Suporte Avançado de Vida (SAV), em Cardiologia, ou SAV, em Pediatria, em comparação aos que não fizeram simulação. Portanto, aquele que se atualiza continuamente tem uma qualidade maior na entrega do cuidado.

Em síntese, as medidas-resumo dos sete fatores segundo as características evidenciaram que os enfermeiros formados após DCN, especialistas, atualizados em cursos com simulação realística e do SAMU, foram avaliados como sendo os mais competentes.

Com todos esses elementos que compõem a ECAEE, é possível ter uma visão do conjunto de atributos/traços que cada enfermeiro tem ou precisa desenvolver.

Embora todas as hipóteses tenham se confirmado, esta pesquisa teve como limitações: primeiramente, impossibilidade de compará-la com outras escalas semelhantes validadas no Brasil devido à inexistência. Além disso, como a amostra foi nacional e a coleta foi presencial e realizada por uma única pesquisadora, não foi possível fazer o teste-reteste, uma vez que este deve se feito com a mesma amostra e com curto espaço de tempo. Segundo a literatura, o teste/reteste é uma forma de confiabilidade pelo qual a consistência é medida. Entretanto, a medida mais comumente usada para verificar essa confiabilidade é a consistência interna1212 Hair JF Jr, Black WC, Babin BJ, Anderson RE. Multivariate data analysis [Internet]. 7th ed. Upper Saddle River: Pearson Prentice-Hall; 2010 [cited 2018 Mar 9]. Available from: https://www.4shared.com/postDownload/G16LXwOKce/Multivariate_Data_Analysis_7th.html
https://www.4shared.com/postDownload/G16...
. Diante do exposto, neste estudo, optou-se pela consistência interna, que foi verificada pelo KMO alto, evidenciando que os itens da escala proposta medem o mesmo construto e estão inter-relacionados. Ademais, houve itens com médias nos valores máximo do grau de competência. Todavia, tomou-se cuidado de interpretar o conjunto de dados, buscando sentido às respostas dadas pelos sujeitos, de tal forma que, combinadas, pudessem evidenciar as informações mais verdadeiras possíveis sobre o avaliado. Talvez careça de alguns ajustes mais específicos, segundo ponto de atenção da Rede de Emergência, uma vez que, no APH, a pesquisa ocorreu apenas em São Paulo. Recomenda-se que, em estudos futuros, faça-se o ajuste da AFC, tendo como referência o resultado do ajuste da AFE deste, porém em outra amostra, conforme é recomendado.

Cabe destacar que a ECAEE não tem somente o modelo de opiniões e de elaborações teóricas, mas também está alicerçada em estudo empírico com diferentes evidências de validade.

A ECAEE pode ser utilizada para avaliar enfermeiros assistenciais tanto na autoavaliação como na heteroavaliação, bem como para diagnosticar, acompanhar, avaliar, quanto para planejar o desenvolvimento técnico-científico dos mesmos. Acredita-se que a metodologia criada para criar uma Escala de medida, tendo como arcabouço uma Matriz e um Perfil, poderá resultar no desenvolvimento de novas tecnologias como a ECAEE.

Conclusão

Os procedimentos estatísticos realizados permitiram concluir que a escala ECAEE proposta, a partir da MCP e do PCP, apresenta evidências de validade com base na estrutura interna, consistência interna e nos critérios externos, sendo considerada confiável e válida para medir a real competência profissional do enfermeiro assistencial que atua em emergências brasileiras.

References

  • *
    Artigo extraído da tese de doutorado “Competência profissional do enfermeiro de urgência e emergência: Desenvolvimento do processo de avaliação”, apresentada à Escola Paulista de Enfermagem, Universidade Federal de São, São Paulo, SP, Brasil. Apoio financeiro do Conselho Nacional de Desenvolvimento Cientifico e Tecnológico (CNPq), Brasil, processo nº 483.449/2013-0.

Datas de Publicação

  • Publicação nesta coleção
    2019

Histórico

  • Recebido
    05 Jul 2016
  • Aceito
    12 Nov 2018
Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br