Acessibilidade / Reportar erro

Tradução e adaptação transcultural do Creighton Competency Evaluation Instrument para o Brasil

Traducción y adaptación transcultural del Creighton Competency Evaluation Instrument para Brasil

Resumo

Objetivo:

Traduzir para a língua portuguesa e adaptar transculturalmente para o Brasil o Creighton Competency Evaluation Instrument.

Métodos:

Pesquisa metodológica que adotou o referencial de Beaton para o processo de tradução e adaptação transcultural, que ocorreu em seis etapas: tradução, síntese das traduções, retrotradução, submissão ao comitê de especialistas, pré-teste e parecer do autor original. Participaram dois tradutores, dois retrotradutores e oito membros no comitê de especialistas. O pré-teste foi realizado com 32 participantes.

Resultados:

Após ajustes linguísticos, a versão final obteve concordância de 100% pelo Índice de Validade de Conteúdo. A confiabilidade (Alfa de Cronbach) foi de 0,897, considerado um ótimo resultado. O instrumento foi classificado como de fácil utilização por 84,4% dos experts.

Conclusão:

A tradução e a adaptação transcultural disponibiliza para a comunidade acadêmica brasileira um instrumento objetivo e prático, com possibilidade de feedback imediato aos estudantes nas avaliações durante a atividade clínica simulada.

Descritores
Ensino; Competência clínica; Simulação; Estudos de avaliação

Resumen

Objetivo:

Traducir al idioma portugués y adaptar transculturalmente para Brasil el Creighton Competency Evaluation Instrument.

Métodos:

Investigación metodológica que adoptó el marco referencial de Beaton para el proceso de traducción y adaptación transcultural, realizada en seis etapas: traducción, síntesis de las traducciones, retrotraducción, presentación al comité de especialistas, prueba piloto y opinión del autor original. Participaron dos traductores, dos retrotraductores y ocho miembros del comité de especialistas. La prueba piloto fue realizada con 32 participantes.

Resultados:

Después de los ajustes lingüísticos, la versión final obtuvo una concordancia del 100 % mediante el Índice de Validez de Contenido. La fiabilidad (Alfa de Cronbach) fue de 0,897, considerado un excelente resultado. El instrumento fue clasificado como fácil de utilizar por el 84,4 % de los especialistas.

Conclusión:

La traducción y la adaptación transcultural pone a disposición de la comunidad académica brasileña un instrumento objetivo y práctico, con posibilidad de feedback inmediato a los estudiantes en las evaluaciones durante la actividad clínica simulada.

Descriptores
Enseñanza; Competencia clínica; Simulación; Estudio de evaluación

Abstract

Objective:

To translate and adapt the Creighton Competency Evaluation Instrument for Brazil.

Methods:

A methodological research that adopted Beaton's framework for the process of translation and cross-cultural adaptation, which took place in six stages: translation, synthesis of translations, back-translation, submission to the expert committee, pre-test and opinion of the original author. Two translators, two back-translators and eight members of the expert committee participated. Pre-test was carried out with 32 participants.

Results:

After linguistic adjustments, the final version obtained 100% agreement by the Content Validity Index. Reliability (Cronbach's alpha) was 0.897, which is considered an excellent result. The instrument was classified as easy to use by 84.4% of experts.

Conclusion:

Translation and cross-cultural adaptation provide the Brazilian academic community with an objective and practical tool, with the possibility of immediate feedback to students in assessments during simulated clinical activities.

Keywords
Teaching; Clinical competence; Simulation technique; Evaluation studies

Introdução

O ensino de enfermagem na prática clínica é um grande desafio em qualquer nível de formação. Para tornar o processo de ensino mais agradável e produtivo, cada vez mais têm sido adotados novos métodos com recursos inovadores.(11. Silva AC, Bernardes A, Évora YD, Dalri MC, Silva AR, Sampaio CS. Development of a virtual learning environment for cardiorespiratory arrest training. Rev Esc Enferm USP. 2016;50(6):990–7.) Dentre estes, a simulação clínica tem se destacado por sua potencialidade no desenvolvimento de habilidades e competências de comunicação, psicomotoras, cognitivas, tomada de decisão, raciocínio e julgamento clínico. Ademais, propicia o aumento da autoconfiança e da satisfação do estudante além da melhora da aprendizagem.(22. Gaba DM. The future vision of simulation in health care. Qual Saf Health Care. 2004;13(1):i2-10.,33. Bortolato-Major C, Arhur JP, Silva ÂTM, Mantovani MF, Felix JVC, Boostel R. Contributions of the Simulation for Undergraduate Nursing Students. Rev Enferm UFPE online. 2018;12(6):1751-62.)

Essa estratégia permite avaliar os estudantes individualmente ou em grupos, replicando cenários de atendimento ao paciente. A capacidade de controlar e manipular encontros clínicos possibilita uma avaliação mais homogênea da aprendizagem e pode favorecer a adequação do ensino com correção de possíveis falhas na formação.(44. Adamson KA, Parsons ME, Hawkins K, Manz JA, Todd M, Hercinger M. Reliability and internal consistency findings from the C-SEI [Internet]. J Nurs Educ. 2011;50(10):583–6.)

Todavia, é necessário que os formadores possuam instrumentos confiáveis e validados capazes de mensurar o desenvolvimento de competências durante a aplicação da simulação clínica.(55. Hayden J, Keegan M, Kardong-Edgren S, Smiley RA. Reliability and validity testing of the Creighton Competency Evaluation Instrument for use in the NCSBN national simulation study [Internet]. Nurs Educ Perspect. 2014;35(4):244–52.

6. Rutherford-Hemming T, Lioce L, Kardong-Edgren S, Jeffries PR, Sittner B. After the national council of state boards of nursing simulation study - recommendations and next steps. Clin Simul Nurs. 2016;12(1):2–7.
-77. Presado MH, Colaço S, Rafael H, Baixinho CL, Félix I, Saraiva C, et al. Learning with high fidelity simulation. Ciên Saúde Coletiva. 2018; 23(1): 51-9.)

Competências são processos contínuos que envolvem avaliações dinâmicas, em um saber agir responsável, reconhecido, que mobilizam e integram conhecimentos, habilidades, atitudes, valores sociais e afetivos, entre outros.(88. Furukawa PO, Cunha IC. From management competencies to nurse managerial competencies. Rev Bras Enferm. 2010;63(6):1061–6.) Atualmente, na saúde, o modelo de competência mais utilizado inclui conhecimentos, capacidade de utilizá-los, habilidades, atitudes e a aquisição da identidade profissional, traduzida pelos valores, comportamentos, ações e aspirações profissionais.(99. Cruess RL, Cruess SR, Steinert Y. Amending Miller's pyramid to include professional identity formation. Acad Med. 2016; 91(2):180-5.,1010. Al-Eraky M, Marei H. A fresh look at Miller's pyramid: assessment at the ‘Is’ and ‘Do’ levels. Med Educ. 2016; 50(12):1253-57.)

No Brasil, avaliar objetivamente a aquisição de competências clínicas pelos estudantes de enfermagem em ambiente simulado, com instrumentos fidedignos e que gerem resultados passíveis de serem comparados com estudos internacionais, ainda é um desafio no ensino de enfermagem.(1111. Adamson KA, Kardong-Edgren S, Willhaus J. An updated review of published simulation evaluation instruments. Clin Simul Nurs. 2013;9(9):e393–400.) Nesse contexto, em 2008, a Universidade de Creighton nos Estados Unidos propôs o Simulation Evaluation Instrument (SEI) para avaliação de competências, desenvolvido para ser eficaz e prático na experiência clínica simulada.(1212. Todd M, Manz JA, Hawkins KS, Parsons ME, Hercinger M. The Development of a quantitative evaluation tool for simulations in nursing education. Int J Nurs Educ Scholarsh. 2008; 5(1).)

Em 2014, o SEI foi revisado e denominado Creighton Competency Evaluation Instrument (CCEI). Nele, as competências são mensuradas em quatro categorias: avaliação, comunicação, julgamento clínico e segurança do paciente.(1313. Parsons ME, Hawkins KS, Hercinger M, Todd M, Mans JA, Fang X. Improvement in scoring consistency for the Creighton Simulation Evaluation Instrument. Clin Simul Nurs. 2012;8(6):e233–8.,1414. McDermott DS, Sarasnick J, Timcheck P. Using the INACSL simulation design standard for novice learners. Clin Simul Nurs. 2017;13(6):249–53.)

Assim, considerando a necessidade de instrumentos para a avaliação de competências dos discentes de graduação em enfermagem, este estudo objetivou traduzir para a língua portuguesa e adaptar transculturalmente para o Brasil o instrumento CCEI.

Métodos

Estudo metodológico de tradução e adaptação transcultural realizado no período de janeiro de 2018 a janeiro de 2019. Utilizou-se o referencial metodológico de Beaton (2000, 2007) com as seguintes etapas: tradução, síntese, retrotradução, revisão, pré-teste e submissão ao autor original.(1515. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.,1616. Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health. 2007. 45p.) O processo de tradução e adaptação transcultural requer o uso rigoroso de uma metodologia para manter a equivalência entre os idiomas de origem e o de destino, para que sejam preservadas as qualidades de confiabilidade e validade na nova versão.(1515. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.)

O CCEI contempla quatro categorias: avaliação, comunicação, julgamento clínico e segurança do paciente, cada categoria é composta por itens característicos que permitem avaliar se o estudante demonstra ou não competência, totalizando 23 comportamentos essenciais, aplicável a todos os tipos de cenários. Os critérios de pontuação são: 0 = não demonstra competência; 1 = demonstra competência e NA = não se aplica. Na utilização do instrumento é importante definir os objetivos e quais itens serão avaliados. Itens aplicáveis deverão ter os comportamentos mínimos definidos e descritos na planilha de discussão, permitindo que o estudante seja avaliado objetivamente. Servirá também de guia para os avaliadores, sobre as competências mínimas esperadas. Itens que exigem pensamento crítico e reflexão podem ser melhor avaliados no debriefing.

A nota é obtida pela soma dos itens pontuados, dividida pelo total de itens válidos. Essa fórmula resulta na porcentagem da nota referente à avaliação. A pontuação mínima aceitável deve ser estabelecida pelos docentes considerando os objetivos do cenário e o nível de formação dos estudantes.(44. Adamson KA, Parsons ME, Hawkins K, Manz JA, Todd M, Hercinger M. Reliability and internal consistency findings from the C-SEI [Internet]. J Nurs Educ. 2011;50(10):583–6.,1313. Parsons ME, Hawkins KS, Hercinger M, Todd M, Mans JA, Fang X. Improvement in scoring consistency for the Creighton Simulation Evaluation Instrument. Clin Simul Nurs. 2012;8(6):e233–8.) Supondo que dos 23 itens do instrumento três não se apliquem aos objetivos, teremos 20 itens que serão avaliados. Se ao executar o cenário o estudante demonstrar competência em 18 itens, será aplicado o seguinte cálculo 18÷20 = 0,9 ou seja, atingiu 90% da nota atribuída à avaliação.

Para orientar a utilização do instrumento, a Universidade de Creighton recomenda que sejam visualizados os vídeos disponibilizados online.(44. Adamson KA, Parsons ME, Hawkins K, Manz JA, Todd M, Hercinger M. Reliability and internal consistency findings from the C-SEI [Internet]. J Nurs Educ. 2011;50(10):583–6.)

Etapa de Tradução: realizada por dois tradutores brasileiros nativos, com domínio da língua inglesa. O recrutamento ocorreu por correio eletrônico após análise do Currículo Lattes; um dos tradutores possuía familiaridade com o tema e objetivos da pesquisa e o outro era de área afim, identificados como Tradutor 1 (T1) e Tradutor 2 (T2).

Síntese das traduções: o T1, T2 e o pesquisador realizaram um encontro por videoconferência, utilizando a plataforma do Google Hangouts® versão 24.0, para comparar as traduções. O debate prosseguiu até a obtenção da versão de consenso identificada como Tradução 12 (T12).

Retrotradução: realizada por dois tradutores independentes, nativos da língua inglesa, com domínio do idioma português, alheios aos objetivos da pesquisa. O recrutamento ocorreu por busca simples no banco de dados do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) observando o critério de serem nativos dos EUA, com formação em línguas estrangeiras, proficientes em português. Currículos desatualizados há mais de três anos foram excluídos. Treze selecionados receberam convite por e-mail para colaborarem no processo de retrotradução. Dois finalizaram o processo. As traduções da versão T12 foram denominadas retrotradução 1 (BT1) e retrotradução 2 (BT2).

Reunião com o Comitê de Especialistas: Todas as versões foram analisadas e revisadas pelo comitê, respeitando a equivalência semântica, idiomática, experiencial e conceitual. Compuseram o comitê: um profissional com experiência em estudos metodológicos, um profissional linguista, três enfermeiros especialistas em simulação clínica e três pesquisadores da área da enfermagem, todos com conhecimento do idioma inglês. Os integrantes do comitê foram convidados de forma intencional no Grupo de Estudos Multiprofissional em Saúdo do Adulto (GEMSA) e no Centro de Línguas e Interculturalidade (CELIN) da Universidade Federal do Paraná (UFPR).

Nesta etapa foram tomadas decisões na área semântica, idiomática, experiencial e conceitual. Para registro da opinião de cada membro, quanto à adequação transcultural de cada item traduzido, foi utilizado um roteiro estruturado com uma escala do tipo Likert de quatro pontos: 1 = não equivalente; 2 = impossível avaliar a equivalência sem que o item seja revisto; 3 = equivalente, mas necessita de alterações menores e 4 = absolutamente equivalente.

Para o cálculo do Índice de Validade de Conteúdo (IVC), adotou-se a fórmula da média do desempenho total dos critérios de avaliação: somatória do Índice de Validade de Conteúdo por Itens (IVC-I), dividida pelo número total de itens avaliados, mantendo o foco na qualidade média do instrumento. As informações do IVC-I são importantes na revisão, pois uma baixa concordância permite ao pesquisador excluir ou substituir termos.(1717. Coluci MZO, Alexandre NMC, Milani C. Construction of measurement instruments in the area of health. Cien Saúde Coletiva. 2015; 20(3): 925-36.) Nas situações de concordância inferior a 80% foram revistos e readequados até a obtenção de consenso igual ou superior a 80% para produção de um documento compreensível na língua-alvo.

Pré-teste: nesta fase o instrumento deve ser testado por 30 a 40 indivíduos membros da população-alvo, professores que fazem uso da simulação clínica aos quais se destina o instrumento, denominados juízes.(1515. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.,1818. Ferreira L, Neves NA, Campana MB, Tavares MC. Guia da AAOS/IWH: Sugestões para adaptação transcultural de escalas. Avaliação Psicológica. 2014; 13(21):457-41.) Os participantes foram recrutados intencionalmente por convite enviado via e-mail. Foram observadas a experiência prática na área de interesse, conhecimentos e habilidades com produção científica relacionada ao tema do estudo.(1919. Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? Critique and recommendations. Res Nurs Health. 2006; 29(5):489-97.)

Os juízes do pré-teste responderam aos questionários sobre: compreensão do instrumento, objetividade, simplicidade, pertinência, acessibilidade e precisão de cada item, disponibilizados com auxílio do programa Google Forms®. Classificaram os itens quanto à relevância em escala do tipo Likert de 4 pontos: 1- não é relevante, 2- pouco relevante, 3- bastante relevante e 4- altamente relevante. Emitiram ainda parecer quanto à adequação linguística, pertinência e compreensão do instrumento, sugerindo alterações quando necessárias.

A confiabilidade foi avaliada pelo Alfa de Cronbach, parâmetro amplamente utilizado nas pesquisas relacionadas à área da saúde. Um ótimo resultado para o Alfa de Cronbach está entre 0,85 e 0,95, sendo considerado aceitável Alfa >0,70.(1919. Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? Critique and recommendations. Res Nurs Health. 2006; 29(5):489-97.)

As sugestões advindas do pré-teste foram debatidas e apreciadas pelos pesquisadores. A versão final do instrumento foi encaminhada ao autor correspondente juntamente com o relatório de todas as etapas.

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa do Setor de Ciências da Saúde da UFPR, parecer número 2.387.308. Houve autorização e concordância da autora correspondente, professora Drª Mary Tracy, da Universidade de Creighton.

Resultados

Na primeira etapa, em todo o conteúdo textual houve concordância em 17 frases (48,6%), havendo necessidade de adequações em 18 frases (51,4%) na etapa de síntese. Em relação ao título, o T1 utilizou “Instrumento Creighton para avaliação de competências” enquanto o T2 optou pela tradução: “Instrumento de Avaliação de Competências Creighton”. Na síntese decidiu-se pela tradução 2 por apresentar o objetivo do instrumento alocando o nome da instituição ao final da frase. O item de identificação “Staff Nurse Instructor Name” foi traduzido e adaptado para “Nome do enfermeiro facilitador” observando o referencial teórico. No item 04 os tradutores relataram a não familiaridade com as siglas“TeamSTEPPS, SBAR, Written Read Back Order” sendo consenso que o comitê de especialistas e demais pesquisadores poderiam optar com melhor juízo sobre a utilização ou substituição dos termos.

O item 05 “Communicates Effectively with Patient and Significant Other (verbal, nonverbal, teaching)” foi traduzido e adaptado com a inserção do termo: “de forma significativa” por entenderem que a ênfase deveria recair sobre a comunicação e não sobre a pessoa. No item 06 o termo “Accurately” foi traduzido por “acurado” T1 e por “preciso” T2, sendo acatado o termo acurado por apresentar maior proximidade à versão original. O item 18 “Uses Patient Identifiers”, por não existir apenas uma forma de identificar o paciente, foi aceita a tradução: “Utiliza identificadores de paciente”.

Ao final da reunião de síntese foi elaborada a versão T12, que foi traduzida para o idioma original pelos retrotradutores. Em comparação ao instrumento original, a versão do BT1 teve 11 (47,8%) de concordância com os 23 itens do instrumento original, enquanto a BT2 teve 7 (30,4%). Pequenas diferenças nas traduções foram percebidas pela utilização de termos sinônimos, mantendo o sentido original dos itens.

O IVC para a escala geral foi de 0,89 conforme demonstrado na tabela 1.

Tabela 1
Avaliação de conteúdo pelo comitê de especialistas

Quatro itens classificados com notas “1” e “2” foram revisados, sendo necessária a reformulação e adequação estrutural das frases para atingirem equivalência conceitual. O termo “Circule todos os critérios que se aplicam” foi substituído por: “Circule a pontuação de cada um dos critérios que se aplicam”, por ser uma orientação mais objetiva e de fácil interpretação.

A versão pré-final foi avaliada no pré-teste por 32 juízes/experts em simulação clínica, 23 (72,8%) do sexo feminino e 9 (28,2%) do sexo masculino, a média de idade foi de 37,6 anos, 27 (84,4%) possuíam mestrado ou níveis superiores de formação. Houve participantes das regiões: Norte (1), Nordeste (4), Sul (18), Sudeste (7) e Centro-Oeste (1), um participante não identificou o local.

Com relação à compreensão dos itens, 21 (65,6%) juízes consideraram ter compreendido perfeitamente os 23 critérios de avaliação. Quanto à facilidade para aplicação 27 (84,4%) consideraram de fácil aplicação e cinco (15,6%) mencionaram dificuldades para a sua utilização.

Os itens 1, 2 e 3: “Obtém dados pertinentes”; “Realiza avaliação e acompanhamento conforme necessário” e “Avalia o ambiente de forma organizada” foram considerados subjetivos, sendo sugerida uma redação mais clara. O item 4: “Comunica-se efetivamente com equipe intra/interprofissional” recebeu uma sugestão de adaptação do termo “intra/interprofissional” para “a equipe”. Os termos “efetivamente, adequadamente e apropriadamente”, presentes nos itens 4, 5, 7 e 21, foram apontados como dúbios e subjetivos. Houve uma sugestão quanto à importância de alinhamento conceitual para utilização dos itens com esses termos.

Dois juízes pontuaram que o item 5: “Comunica-se efetivamente com o paciente e acompanhante (verbal, não verbal, fornece orientações)” pode dificultar a avaliação pela quantidade de situações avaliadas em um único item. No item 12: “Prioriza de forma adequada”, dois juízes referiram que a frase deveria ser mais específica quanto ao que se deve priorizar. Um juíz propôs a revisão quanto à necessidade do item 13: “Executa intervenções baseadas em evidências”. Foi ponderada reavaliação sobre a importância do item 15 por parecer repetitivo: “Avalia as intervenções baseadas em evidências e resultados”. Item 16: “Faz reflexão sobre a experiência clínica”, não foi entendido por um dos avaliadores. Um juíz sugeriu readequação da redação no item 17: “Delega apropriadamente” para “atribui e delega funções adequadamente”. Um expert argumentou sobre a forma de pontuação.

A consistência interna global foi calculada utilizando o coeficiente Alfa de Cronbach com valor de 0,897, considerado um ótimo resultado. O Alfa de Cronbach se item excluído, permite identificar se algum item tem maior ou menor relevância para o cálculo da confiabilidade do instrumento. Dos 23 itens, 20 (86,9%) mantiveram retenção da confiabilidade, resultando em uma diminuição do Alfa se item excluído. As exceções foram os itens 9, 16 e 18 que aumentariam para 0,898, valor não significativo para justificar a exclusão ou sua substituição. A versão final do instrumento (Anexo 1 Anexo 1 Instrumento Creighton para Avaliação de Competências Clínicas versão Brasileira (CCEI-br) Nome do estudante: 0 = Não demonstra competência Data: ____/____/____ DIA / MÊS / ANO 1 = Demonstra competência NA = Não se aplica Circule uma pontuação para todos os critériosque se aplicam - Caso não se aplique, circule NA AVALIAÇÃO COMENTÁRIOS 1. Obtém dados pertinentes 0 1 NA 2. Realiza avaliação e acompanhamento conforme necessário 0 1 NA 3. Avalia o ambiente de forma organizada 0 1 NA COMUNICAÇÃO 4. Comunica-se efetivamente com equipe intra/interprofissional 0 1 NA 5. Comunica-se efetivamente com o paciente e acompanhante (verbal, não verbal, fornece orientações) 0 1 NA 6. Documenta de forma clara, concisa e precisa 0 1 NA 7. Responde apropriadamente a achados anormais 0 1 NA 8. Atua de forma profissional 0 1 NA JULGAMENTO CLÍNICO 9. Interpreta Sinais Vitais (T, PA, FR, FC, Dor) 0 1 NA 10. Interpreta resultados laboratoriais 0 1 NA 11. Interpreta dados objetivos/subjetivos (distingue entre dados relevantes e irrelevantes) 0 1 NA 12. Prioriza as ações de forma adequada 0 1 NA 13. Executa intervenções baseadas em evidências 0 1 NA 14. Apresenta fundamentação baseada em evidências para as intervenções 0 1 NA 15. Avalia as Intervenções baseadas em evidências e seus resultados 0 1 NA 16. Faz reflexão sobre a experiência clínica 0 1 NA 17. Delega apropriadamente 0 1 NA SEGURANÇA DO PACIENTE 18. Utiliza identificadores de paciente 0 1 NA 19. Utiliza práticas padronizadas e precauções, incluindo a higienização das mãos 0 1 NA 20. Administra medicamentos com segurança 0 1 NA 21. Utiliza tecnologia e equipamentos adequadamente 0 1 NA 22. Executa procedimentos corretamente 0 1 NA 23. Reflete sobre potenciais erros e riscos 0 1 NA COMENTÁRIOS ) foi encaminhada ao autor correspondente, que sugeriu a realização de trabalhos conjuntos para garantir que a confiabilidade seja mantida. A tradução do CCEI-br possibilita a utilização da planilha de discussão (Anexo 2 Anexo 2 Planilha de discussão CCEI-br AVALIAÇÃO 1. Obtém dados pertinentes 2. Realiza avaliação e acompanhamento conforme necessário 3. Avalia o ambiente de forma organizada COMUNICAÇÃO 4. Comunica-se efetivamente com equipe intra/interprofissional 5. Comunica-se efetivamente com o paciente e acompanhante (verbal, não verbal, fornece orientações) 6. Documenta de forma clara, concisa e precisa 7. Responde apropriadamente a achados anormais 8. Atua de forma profissional JULGAMENTO CLÍNICO 9. Interpreta Sinais Vitais (T, PA, FR, FC, DOR) 10. Interpreta resultados laboratoriais 11. Interpreta dados objetivos/subjetivos (distingue entre dados relevantes e irrelevantes) 12 Prioriza as ações de forma adequada 13. Executa intervenções baseadas em evidências 14. Apresenta fundamentação baseada em evidências para as intervenções 15. Avalia as Intervenções baseadas em evidências e seus resultados 16. Faz reflexão sobre a experiência clínica 17. Delega apropriadamente SEGURANÇA DO PACIENTE 18. Utiliza identificadores de paciente 19. Utiliza práticas padronizadas e precauções, incluindo a higienização das mãos 20. Administra medicamentos com segurança 21. Utiliza tecnologia e equipamentos adequadamente 22. Executa procedimentos corretamente 23. Reflete sobre potenciais erros e riscos ).

Discussão

A literatura aponta que existe uma dificuldade de compreensão entre os termos “habilidades técnicas” e “competência profissional”. E que há uma frequência no uso de checklist para avaliar habilidades e conhecimentos de estudantes de enfermagem.(2020. Siqueira LD, Caliri MH, Kalisch B, Dantas RA. Cultural adaptation and internal consistency analysis of the MISSCARE Survey for use in Brazil. Rev Lat Am Enfermagem. 2013; 21(2): 610-17.,2121. Miranda FB, Mazzo A, Pereira Junior GA. Assessment of individual and interprofessional skills of health professionals in simulated clinical activities: a scoping review. Interface. 2016; 22(67):1221-34.)

Originária do latim, habilidade habilitate possui como significado a qualidade de ser hábil, inteligente, de demostrar aptidão, astúcia, destreza. Não equivale a competência, mas na maioria das vezes, caracteriza-se como pré-requisito. Porém, nem sempre uma pessoa hábil é uma pessoa competente.(2222. Graveto JM, Taborda JM. Simulação e desenvolvimento habilidades. In: Martins JC, Mazzo A, Mendes IA, Rodrigues MA, editors. A simulação no ensino de enfermagem. Ribeirão Preto: SOBRACEN; 2014.) Na enfermagem, as competências avaliadas geralmente estão associadas à segurança e à qualidade dos cuidados centrados no paciente, no gerenciamento, na gestão do serviço e do cuidado de saúde e na comunicação.(2323. Bodamer C, Feldman M, Kushinka J, Brock E, Dow A, Evans JA, et al. An internal medicine simulated practical examination for assessment of clinical competency in third year medical students. Simul Healthc. 2015;10(6):345–51.

24. Eun K, Kim HY. Effects of multi-mode simulation learning on nursing students'critical thinking disposition, problem solving process, and clinical competence. Korean J Adult Nurs. 2014;26(1):107–16.
-2525. Kubota Y, Yano Y, Seki S, Takada K, Sakuma M, Morimoto T, et al. Assessment of pharmacy students' communication competence using the Roter Interaction Analysis System during objective structured clinical examinations. Am J Pharm Educ. 2011;75(3):43.)

Os resultados estatísticos demonstraram medidas confiáveis para a versão adaptada do CCEI. O valor de confiabilidade permite inferir que ele é capaz de medir as competências clínicas propostas.(2020. Siqueira LD, Caliri MH, Kalisch B, Dantas RA. Cultural adaptation and internal consistency analysis of the MISSCARE Survey for use in Brazil. Rev Lat Am Enfermagem. 2013; 21(2): 610-17.) Em estudo realizado nos EUA, o Alfa de Cronbach do CCEI foi maior que 0,90 quando aplicado a 31 avaliadores especialistas em simulação.(55. Hayden J, Keegan M, Kardong-Edgren S, Smiley RA. Reliability and validity testing of the Creighton Competency Evaluation Instrument for use in the NCSBN national simulation study [Internet]. Nurs Educ Perspect. 2014;35(4):244–52.)

Estudo de tradução do C-SEI para a língua espanhola apresentou Alfa de Cronbach de 0,839. Considerado útil, de fácil aplicação e rápido para avaliação de competências em simulação clínica.(2626. Roldán-Merino J, Farrés-Tarafa M, Estrada-Masllorens JM, Hurtado-Pardos B, Miguel-Ruiz D, Nebot-Bergua C, et al. Reliability and validity study of the Spanish adaptation of the “Creighton Simulation Evaluation Instrument (C-SEI)”. Nurse Educ Pract. 2019;35:14–20.)

A versão elaborada na etapa 4 apresentou divergências quanto aos significados e aspectos gramaticais das palavras “TeamSTEPPS, SBAR e Written Read Back Order”. Após os devidos esclarecimentos, o comitê considerou que, apesar de muito úteis, essas ferramentas ainda são pouco difundidas e utilizadas no Brasil e poderiam causar dificuldades no uso do instrumento CCEI-br. Foram então retirados da versão final. Contudo, seu uso não está restringido desde de que os avaliadores definam no planejamento do cenário.

O critério de pontuação foi discutido na primeira versão do C-SEI, no qual utilizaram uma escala de três pontos: 0 = não demonstra competência mínima, 1 = demonstra competência mínima e 2 = excede as expectativas mínimas, considerando que alguns procedimentos poderiam ser parcialmente executados corretamente. Após as primeiras experiências, os autores consideraram que um comportamento, como resultado de um atendimento ao paciente, não pode ser parcialmente atendido. Optou-se então pela pontuação: 0 = não demonstra competência, 1 = demonstra competência e N/A = não se aplica.(99. Cruess RL, Cruess SR, Steinert Y. Amending Miller's pyramid to include professional identity formation. Acad Med. 2016; 91(2):180-5.)

Os juízes sugeriram melhor alinhamento conceitual e questionaram a subjetividade dos itens. No entanto, a característica genérica do instrumento viabiliza sua utilização em diferentes cenários da prática clínica simulada. A sugestão de adaptação do termo “intra/interprofissional” para “a equipe” no item 4 não foi acatada, pois os pesquisadores entenderam que o termo original não é excludente.

Ao contemplar as categorias: avaliação, comunicação, julgamento clínico e segurança do paciente, o CCEI-br vem ao encontro das principais competências necessárias na formação do profissional enfermeiro. Ele não avalia somente habilidades técnicas, mas também a capacidade do estudante em interpretar as alterações clínicas, sua capacidade de comunicação, organização e desenvolvimento do plano de cuidados.

O enfermeiro deve ser capaz de realizar uma anamnese e exame físico corretos, estes dados serão a base para o julgamento clínico, pois na prática ele precisará monitorar, antecipar e intervir. Devendo ser capaz de avaliar as condições necessárias para a realização do atendimento. A ausência dessa competência pode comprometer todo o processo de cuidado.(2727. Santos N, Veiga P, Andrade R. Importance of history and physical examination for the care of nurses. Rev Bras Enferm. 2011;64(2):355–8.)

Para tanto, o uso da comunicação se torna imprescindível, dado que tem impacto direto nos resultados do cuidado de enfermagem e quando ineficaz pode levar a eventos adversos.(2828. Pena MM, Melleiro MM. Adverse events caused by communication failure: considerations about a model for care handover. Revista de Enfermagem da UFSM. 2018;8(3):616–25.) Com o CCEI-br, esta competência pode ser avaliada antes do estudante entrar em contato com o paciente, o professor poderá trabalhar os pontos frágeis, o que ajudará o estudante a ter confiança e melhor desempenho.

Ao considerarmos a complexidade do cuidado de enfermagem e a imprevisibilidade das situações clínicas apresentadas pelos pacientes e suas gravidades, é fundamental que os profissionais sejam capacitados e avaliados em relação ao julgamento clínico, visto que é a partir dele que as intervenções serão realizadas.(2929. Lasater K. High-fidelity simulation and the development of clinical judgment: students' experiences. J Nurs Educ. 2007;46(6):269–76.) Desta forma, a categoria Julgamento Clínico contribui para a avaliação do desenvolvimento desta competência pelo estudante.

A formação de profissionais competentes que realizem um atendimento seguro é relevante, visto os elevados índices de eventos adversos documentados.(3030. Maia CS, Freitas DR, Gallo LG, Araújo WN. Registry of adverse events related to health care that results in deaths in Brazil, 2014-2016 [Internet]. Epidemiol Serv Saude. 2018;27(2):e2017320.) Estudo recente demonstrou a ausência de cuidados básicos relacionados à segurança do paciente, entre eles, a falta de identificação adequada do paciente, soluções sem identificação, ausência de avaliação e sinalização do risco para quedas e desenvolvimento de lesão por pressão.(3131. Paixão DP, Batista J, Maziero EC, Alpendre FT, Amaya MR, Cruz ED. Adhesion to patient safety protocols in emergency care units. Rev Bras Enferm. 2018;71(1 Suppl 1):577–84.) Estes itens são contemplados no CCEI-br, o que favorece a formação da cultura de segurança para o futuro enfermeiro.

Ao considerar a extensão territorial e as diferenças culturais no Brasil, mesmo tendo atingido o número recomendado de 32 participantes, consideramos um fator limitante o número reduzido de experts das regiões norte, nordeste e centro oeste que colaboraram com a pesquisa. Um maior número de participantes destas regiões poderia ter contribuído para um refinamento dos itens avaliados.

Conclusão

A tradução e a adaptação transcultural do CCEI para a língua portuguesa no Brasil apresentaram excelente confiabilidade e trazem uma importante contribuição no contexto formativo atual por ser específico para avaliação de competências clínicas na simulação. O uso do CCEI-br possibilita dar ao estudante uma resposta imediata do seu desempenho com orientações para as melhorias necessárias na sua formação profissional. Por se tratar de um instrumento equivalente ao original, dados de pesquisas poderão ser comparados com estudos internacionais. Estudos adicionais para validação da versão final do CCEI-br estão em andamento.

Referências

  • 1
    Silva AC, Bernardes A, Évora YD, Dalri MC, Silva AR, Sampaio CS. Development of a virtual learning environment for cardiorespiratory arrest training. Rev Esc Enferm USP. 2016;50(6):990–7.
  • 2
    Gaba DM. The future vision of simulation in health care. Qual Saf Health Care. 2004;13(1):i2-10.
  • 3
    Bortolato-Major C, Arhur JP, Silva ÂTM, Mantovani MF, Felix JVC, Boostel R. Contributions of the Simulation for Undergraduate Nursing Students. Rev Enferm UFPE online. 2018;12(6):1751-62.
  • 4
    Adamson KA, Parsons ME, Hawkins K, Manz JA, Todd M, Hercinger M. Reliability and internal consistency findings from the C-SEI [Internet]. J Nurs Educ. 2011;50(10):583–6.
  • 5
    Hayden J, Keegan M, Kardong-Edgren S, Smiley RA. Reliability and validity testing of the Creighton Competency Evaluation Instrument for use in the NCSBN national simulation study [Internet]. Nurs Educ Perspect. 2014;35(4):244–52.
  • 6
    Rutherford-Hemming T, Lioce L, Kardong-Edgren S, Jeffries PR, Sittner B. After the national council of state boards of nursing simulation study - recommendations and next steps. Clin Simul Nurs. 2016;12(1):2–7.
  • 7
    Presado MH, Colaço S, Rafael H, Baixinho CL, Félix I, Saraiva C, et al. Learning with high fidelity simulation. Ciên Saúde Coletiva. 2018; 23(1): 51-9.
  • 8
    Furukawa PO, Cunha IC. From management competencies to nurse managerial competencies. Rev Bras Enferm. 2010;63(6):1061–6.
  • 9
    Cruess RL, Cruess SR, Steinert Y. Amending Miller's pyramid to include professional identity formation. Acad Med. 2016; 91(2):180-5.
  • 10
    Al-Eraky M, Marei H. A fresh look at Miller's pyramid: assessment at the ‘Is’ and ‘Do’ levels. Med Educ. 2016; 50(12):1253-57.
  • 11
    Adamson KA, Kardong-Edgren S, Willhaus J. An updated review of published simulation evaluation instruments. Clin Simul Nurs. 2013;9(9):e393–400.
  • 12
    Todd M, Manz JA, Hawkins KS, Parsons ME, Hercinger M. The Development of a quantitative evaluation tool for simulations in nursing education. Int J Nurs Educ Scholarsh. 2008; 5(1).
  • 13
    Parsons ME, Hawkins KS, Hercinger M, Todd M, Mans JA, Fang X. Improvement in scoring consistency for the Creighton Simulation Evaluation Instrument. Clin Simul Nurs. 2012;8(6):e233–8.
  • 14
    McDermott DS, Sarasnick J, Timcheck P. Using the INACSL simulation design standard for novice learners. Clin Simul Nurs. 2017;13(6):249–53.
  • 15
    Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.
  • 16
    Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health. 2007. 45p.
  • 17
    Coluci MZO, Alexandre NMC, Milani C. Construction of measurement instruments in the area of health. Cien Saúde Coletiva. 2015; 20(3): 925-36.
  • 18
    Ferreira L, Neves NA, Campana MB, Tavares MC. Guia da AAOS/IWH: Sugestões para adaptação transcultural de escalas. Avaliação Psicológica. 2014; 13(21):457-41.
  • 19
    Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? Critique and recommendations. Res Nurs Health. 2006; 29(5):489-97.
  • 20
    Siqueira LD, Caliri MH, Kalisch B, Dantas RA. Cultural adaptation and internal consistency analysis of the MISSCARE Survey for use in Brazil. Rev Lat Am Enfermagem. 2013; 21(2): 610-17.
  • 21
    Miranda FB, Mazzo A, Pereira Junior GA. Assessment of individual and interprofessional skills of health professionals in simulated clinical activities: a scoping review. Interface. 2016; 22(67):1221-34.
  • 22
    Graveto JM, Taborda JM. Simulação e desenvolvimento habilidades. In: Martins JC, Mazzo A, Mendes IA, Rodrigues MA, editors. A simulação no ensino de enfermagem. Ribeirão Preto: SOBRACEN; 2014.
  • 23
    Bodamer C, Feldman M, Kushinka J, Brock E, Dow A, Evans JA, et al. An internal medicine simulated practical examination for assessment of clinical competency in third year medical students. Simul Healthc. 2015;10(6):345–51.
  • 24
    Eun K, Kim HY. Effects of multi-mode simulation learning on nursing students'critical thinking disposition, problem solving process, and clinical competence. Korean J Adult Nurs. 2014;26(1):107–16.
  • 25
    Kubota Y, Yano Y, Seki S, Takada K, Sakuma M, Morimoto T, et al. Assessment of pharmacy students' communication competence using the Roter Interaction Analysis System during objective structured clinical examinations. Am J Pharm Educ. 2011;75(3):43.
  • 26
    Roldán-Merino J, Farrés-Tarafa M, Estrada-Masllorens JM, Hurtado-Pardos B, Miguel-Ruiz D, Nebot-Bergua C, et al. Reliability and validity study of the Spanish adaptation of the “Creighton Simulation Evaluation Instrument (C-SEI)”. Nurse Educ Pract. 2019;35:14–20.
  • 27
    Santos N, Veiga P, Andrade R. Importance of history and physical examination for the care of nurses. Rev Bras Enferm. 2011;64(2):355–8.
  • 28
    Pena MM, Melleiro MM. Adverse events caused by communication failure: considerations about a model for care handover. Revista de Enfermagem da UFSM. 2018;8(3):616–25.
  • 29
    Lasater K. High-fidelity simulation and the development of clinical judgment: students' experiences. J Nurs Educ. 2007;46(6):269–76.
  • 30
    Maia CS, Freitas DR, Gallo LG, Araújo WN. Registry of adverse events related to health care that results in deaths in Brazil, 2014-2016 [Internet]. Epidemiol Serv Saude. 2018;27(2):e2017320.
  • 31
    Paixão DP, Batista J, Maziero EC, Alpendre FT, Amaya MR, Cruz ED. Adhesion to patient safety protocols in emergency care units. Rev Bras Enferm. 2018;71(1 Suppl 1):577–84.

Anexo 1 Instrumento Creighton para Avaliação de Competências Clínicas versão Brasileira (CCEI-br)

Nome do estudante: 0 = Não demonstra competência Data: ____/____/____ DIA / MÊS / ANO 1 = Demonstra competência NA = Não se aplica Circule uma pontuação para todos os critériosque se aplicam - Caso não se aplique, circule NA AVALIAÇÃO COMENTÁRIOS 1. Obtém dados pertinentes 0 1 NA 2. Realiza avaliação e acompanhamento conforme necessário 0 1 NA 3. Avalia o ambiente de forma organizada 0 1 NA COMUNICAÇÃO 4. Comunica-se efetivamente com equipe intra/interprofissional 0 1 NA 5. Comunica-se efetivamente com o paciente e acompanhante (verbal, não verbal, fornece orientações) 0 1 NA 6. Documenta de forma clara, concisa e precisa 0 1 NA 7. Responde apropriadamente a achados anormais 0 1 NA 8. Atua de forma profissional 0 1 NA JULGAMENTO CLÍNICO 9. Interpreta Sinais Vitais (T, PA, FR, FC, Dor) 0 1 NA 10. Interpreta resultados laboratoriais 0 1 NA 11. Interpreta dados objetivos/subjetivos (distingue entre dados relevantes e irrelevantes) 0 1 NA 12. Prioriza as ações de forma adequada 0 1 NA 13. Executa intervenções baseadas em evidências 0 1 NA 14. Apresenta fundamentação baseada em evidências para as intervenções 0 1 NA 15. Avalia as Intervenções baseadas em evidências e seus resultados 0 1 NA 16. Faz reflexão sobre a experiência clínica 0 1 NA 17. Delega apropriadamente 0 1 NA SEGURANÇA DO PACIENTE 18. Utiliza identificadores de paciente 0 1 NA 19. Utiliza práticas padronizadas e precauções, incluindo a higienização das mãos 0 1 NA 20. Administra medicamentos com segurança 0 1 NA 21. Utiliza tecnologia e equipamentos adequadamente 0 1 NA 22. Executa procedimentos corretamente 0 1 NA 23. Reflete sobre potenciais erros e riscos 0 1 NA COMENTÁRIOS

Anexo 2 Planilha de discussão CCEI-br

AVALIAÇÃO 1. Obtém dados pertinentes 2. Realiza avaliação e acompanhamento conforme necessário 3. Avalia o ambiente de forma organizada COMUNICAÇÃO 4. Comunica-se efetivamente com equipe intra/interprofissional 5. Comunica-se efetivamente com o paciente e acompanhante (verbal, não verbal, fornece orientações) 6. Documenta de forma clara, concisa e precisa 7. Responde apropriadamente a achados anormais 8. Atua de forma profissional JULGAMENTO CLÍNICO 9. Interpreta Sinais Vitais (T, PA, FR, FC, DOR) 10. Interpreta resultados laboratoriais 11. Interpreta dados objetivos/subjetivos (distingue entre dados relevantes e irrelevantes) 12 Prioriza as ações de forma adequada 13. Executa intervenções baseadas em evidências 14. Apresenta fundamentação baseada em evidências para as intervenções 15. Avalia as Intervenções baseadas em evidências e seus resultados 16. Faz reflexão sobre a experiência clínica 17. Delega apropriadamente SEGURANÇA DO PACIENTE 18. Utiliza identificadores de paciente 19. Utiliza práticas padronizadas e precauções, incluindo a higienização das mãos 20. Administra medicamentos com segurança 21. Utiliza tecnologia e equipamentos adequadamente 22. Executa procedimentos corretamente 23. Reflete sobre potenciais erros e riscos

Datas de Publicação

  • Publicação nesta coleção
    05 Maio 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    22 Nov 2019
  • Aceito
    08 Jun 2020
Escola Paulista de Enfermagem, Universidade Federal de São Paulo R. Napoleão de Barros, 754, 04024-002 São Paulo - SP/Brasil, Tel./Fax: (55 11) 5576 4430 - São Paulo - SP - Brazil
E-mail: actapaulista@unifesp.br