Reflexões após 3 anos: relatando o desabrochar de reumatologistas através de atividades profissionais confiabilizadoras.RESUMO
Introdução: As 14 atividades profissionais confiabilizadoras (entrustable professional activities -EPA) aprovadas pelo American College of Rheumatology (ACR) foram desenvolvidas para serem “o conjunto abrangente de tarefas ou responsabilidades que qualquer reumatologista deve ser capaz de executar”. Nosso objetivo foi apresentar e discutir a experiência de três anos de avaliação regular de residentes de reumatologia pelas EPA aprovadas pelo ACR.
Relato de experiência: Nessa série de casos, todos os residentes de reumatologia do primeiro e do segundo ano foram avaliados a cada mês de maio e novembro (a residência começa em março) por meio de formulários anônimos on-line. Para a avaliação por EPA, os preceptores escolheram um de cinco níveis de confiabilidade. A prática não supervisionada foi definida como níveis 4 (“Tive que fornecer orientação menor”) e 5 (“Não precisei fornecer orientação para um cuidado seguro e independente”) combinados. Os relatórios individuais foram discutidos pelo supervisor do programa em reuniões de feedback separadas. Entre 2021 e 2023, analisaram-se 276 relatórios de 11 residentes avaliados por dez preceptores. O número de EPA com mais de 90% de classificação de prática não supervisionada nos semestres 1, 2, 3 e 4 foi, respectivamente, 1, 0, 2 e 11. A progressão geral foi estatisticamente significativa para 13 EPA e maior entre os semestres 2 e 3. Reuniões de feedback com uma agenda para os residentes e para o supervisor do programa contribuíram para o aprimoramento individual e a qualificação da formação.
Discussão: A implementação de EPA na residência de reumatologia foi uma oportunidade para aumentar os feedbacks e qualificar o programa. A autonomia dos residentes era praticamente inexistente antes da última avaliação. Embora seja um valioso instrumento formativo na residência, a avaliação baseada em EPA necessita de uma discussão cuidadosa antes da adoção de pontos de corte para fins somativos.
Conclusão: A avaliação de residentes de reumatologia pelas EPA aprovadas pelo ACR estabelece uma cultura de feedback regular, proporcionando oportunidade para a melhoria dos pós-graduandos e para a qualificação do programa. A prática não supervisionada foi conseguida majoritariamente no final da formação, e um maior incremento coincidiu com a mudança de ano de treinamento.
Palavras-chave:
Educação Médica; Residência Médica
ABSTRACT
Introduction: The 14 entrustable professional activities (EPAs) approved by the American College of Rheumatology (ACR) were developed to be “the comprehensive set of tasks or responsibilities that any practicing rheumatologist should be capable of performing”. Our goal was to originally present and discuss the 3-year experience of regularly assessing rheumatology residents through ACR-approved EPAs.
Experience report: In this case series, all first-year and second-year rheumatology residents were assessed every May and November (the residency program starts in March) via online anonymous forms. For the EPA assessment, preceptors chose 1 of 5 levels of entrustability. Unsupervised practice was defined as levels 4 (“I had to provide minor directions”) and 5 (“I did not need to provide directions for safe and independent care”) combined. Individual reports were discussed by the program supervisor in separate feedback meetings. Between 2021 and 2023, 276 EPA reports from 11 residents assessed by 10 preceptors were analyzed. The number of EPAs with over 90% of unsupervised practice rating in semesters 1, 2, 3 and 4 were, respectively, 1, 0, 2 and 11. Overall progression was statistically significant for 13 EPAs and greater between semesters 2 and 3. Feedback meetings with an agenda for residents and for the program supervisor contributed to individual improvement and training qualification.
Discussion: Implementing EPAs in rheumatology residency was an opportunity to increase feedbacks and to qualify the program. The residents’ autonomy was practically nonexistent before the last assessment. Although a valuable formative instrument in residency, the entrustable professional activity-based assessment needs careful discussion before the adoption of cut-off values for summative purposes.
Conclusions: Assessing rheumatology residents through the ACR-approved EPAs establishes a regular feedback culture, providing opportunity for graduate students’ improvement and program qualification. Unsupervised practice was mostly achieved by the end of the training and a greater increment coincided with the change in the year of residency.
Keywords:
Medical education; medical residency
INTRODUÇÃO
Na educação médica baseada em competências, espera-se que os estagiários adquiram competências que incluem conhecimentos, habilidades e atitudes, e uma única atividade profissional confiabilizadora (EPA, do inglês entrustable professional activity) pode exigir múltiplas competências integradas do aprendiz1. As 14 atividades profissionais confiabilizadoras (EPAs) endossadas pelo American College of Rheumatology (ACR) de acordo com as competências essenciais do Accreditation Council for Graduate Medical Education (ACGME) foram desenvolvidas para serem “o conjunto abrangente de tarefas ou responsabilidades que qualquer reumatologista praticante deve ser capaz de realizar”2.
Um residente para ser considerado “confiável” precisa de experiência suficiente para fazer as escolhas certas quando submetido a desafios imprevistos, e espera-se que os educadores infiram a autonomia dos estagiários com base em uma gama limitada de observações3. A prática não supervisionada é endossada pela autonomia e níveis de supervisão apropriados no treinamento4. Curiosamente, parece haver uma lacuna entre o que se espera que os residentes realizem e o que os preceptores percebem como estar pronto para a prática5.
No Brasil, a residência de reumatologia consiste em um treinamento de 2 anos após pelo menos 6 anos de graduação em medicina e 2 anos de residência em clínica médica. Recentemente, uma resolução nacional recomendou EPAs como uma possível base para verificar o preparo dos médicos residentes para progressão a níveis de prática autônoma.6 Entretanto, o que deve ser considerado satisfatório por ano de pós-graduação não foi definido e a progressão da autonomia dos residentes de reumatologia através de uma avaliação baseada em EPAs durante o treinamento não foi relatada até o momento. Portanto, este estudo tem como objetivo apresentar e discutir uma experiência de 3 anos de avaliação regular de residentes pelas EPAs aprovadas pelo ACR.
RELATO DE EXPERIÊNCIA
Esta série de casos seguiu a diretriz STROBE (STrengthening the Reporting of Observational Studies in Epidemiology) e foi aprovada pelo conselho de ética institucional com consentimento informado por escrito obtido dos residentes de Reumatologia entre 2021 e 2023. Durante este período, todos os residentes do primeiro e segundo anos foram avaliados todos os meses de maio e novembro (a residência começa em março) através de formulários on-line preenchidos anonimamente por todos os preceptores com perguntas objetivas para as EPAs e uma pergunta de resposta aberta para comentários sobre habilidades e atitudes, principalmente agência, confiabilidade, integridade, capacidade e humildade (sigla “A RICH”).7 Em cada questão das EPAs, os preceptores foram instruídos a escolher, para cada residente, 1 dos 5 níveis de confiabilidade (1. “Eu tive que fazer”; 2. “Eu tive que dar orientações passo-a-passo”; 3. “Eu tive que incentivá-los”; 4. “Eu tive que fornecer poucas orientações”; 5. “Não precisei fornecer orientações para cuidados seguros e independentes”)8.
Os dados quantitativos e qualitativos foram compilados em relatórios individuais apresentados pelo supervisor do programa em reuniões presenciais de feedback isoladas. As porcentagens dos níveis de confiabilidade por semestre foram apresentadas em uma tabela e os comentários foram adicionados anonimamente. Após uma discussão criteriosa do relatório, foi criada uma agenda consensual com tarefas para o residente e sugestões para o programa.
As variáveis aqui apresentadas foram descritas por frequências absolutas e relativas e comparadas entre os semestres através do teste qui-quadrado de tendência linear. As mudanças entre os semestres foram comparadas através do modelo linear generalizado com distribuição binomial e teste complementar de Bonferroni. O nível de significância adotado foi de 5% (p<0,05) e as análises foram realizadas no programa SPSS versão 27.0.
Entre 2021 e 2023, houve 276 relatórios da EPA de 11 residentes (1 residente desistiu para ingressar em outra especialidade e foi excluído das análises) avaliados por 10 preceptores. Ao longo dos 2 anos de residência, a porcentagem de classificação de prática não supervisionada aumentou significativamente para 13 das 14 EPAs (Tabela 1). Quando colocado em um gráfico de radar, o incremento geral de prontidão de todos os residentes ao longo do curso se assemelha a uma flor desabrochando e também foi utilizado para ilustrar o progresso individual em cada relatório (Figura 1). Além disso, houve um grande incremento da autonomia percebida entre os semestres 2 e 3, como observado em 6 das 14 EPAs (Tabela 2).
Gráfico de radar com as porcentagens gerais dos níveis 4 e 5 combinados para cada EPA de 2021 a 2023.
Em relação à agenda de qualificação do programa criada durante as reuniões de feedback, exemplos de mudanças implementadas foram o maior número de sessões de treinamento de exame físico, mais seminários em sala de aula invertida e maior interface com outras especialidades básicas em discussões de casos e seminários.
DISCUSSÃO
Nossa avaliação baseada em EPAs de residentes de reumatologia incluiu uma análise quantitativa e qualitativa. A combinação de ambos ampliou a perspectiva de desempenho dos residentes e estabeleceu reuniões regulares de feedback, criando um espaço protegido para lidar com as expectativas de residentes e educadores. Curiosamente, a prontidão esperada era praticamente inexistente antes da avaliação final, realizada 3 meses antes do término do treinamento. Além desse padrão de crescimento não linear, o incremento mais pronunciado entre dois semestres consecutivos foi observado quando os residentes tornaram-se estagiários do segundo ano.
As escalas de confiabilidade têm sido relatadas em diferentes programas de residência e são consideradas uma ferramenta de avaliação intuitiva que fornece aos avaliadores elementos das decisões clínicas do dia-a-dia, ajudando-os a reconhecer a prontidão para a prática autônoma com base em julgamentos do mundo real8)-(12. Para a medir a progressão dos residentes, consideramos os níveis 4 e 5 de confiabilidade combinados como um resultado alcançável, uma vez que os residentes estavam frequentemente sob supervisão em nosso programa e reconhecemos a necessidade de uma curva de aprendizado para que os preceptores considerem o nível 5 isoladamente como prática não supervisionada. Como relatado anteriormente, a prática não supervisionada na residência variou amplamente de acordo com as EPAs e foi alcançada por 90% dos residentes pediátricos em apenas 8 de 17 EPAs5. Embora não tenhamos analisado a porcentagem de residentes que alcançaram o nível 5 de confiabilidade, nossos resultados mostram um comportamento heterogêneo semelhante entre as EPAs aprovadas pelo ACR (11 de 14 com mais de 90% de classificação de prática não supervisionada).
Originalmente, nossa intenção não era usar EPAs para fins somativos. Decidimos implementar uma avaliação baseada em EPA na formação em reumatologia, porque queríamos nutrir a cultura de feedback entre preceptores e estagiários, e porque sentimos que precisávamos estar mais próximos de nossos estagiários, considerando os graves impactos educacionais da pandemia de COVID-19. Ao longo da experiência, reconhecemos que a EPA também poderia ajudar a monitorar o progresso dos conhecimentos, habilidades e atitudes dos estagiários ao longo do programa. Portanto, não vemos a avaliação baseada em EPA como puramente somativa com pontos de corte para cada etapa do treinamento mas, em vez disso, um instrumento para melhorar o desenvolvimento de competências, identificando oportunamente os pontos fracos e expandindo a prática de feedback.
Uma das limitações da nossa experiência é o fato de realizarmos a avaliação apenas duas vezes por ano. Acreditamos que, como uma oportunidade para feedback e identificação de problemas de aprendizagem individuais, a avaliação baseada em EPA poderia ser realizada com mais frequência. Muito provavelmente, uma avaliação mais frequente poderia acompanhar o progresso dos estagiários e fornecer aos preceptores dados mais consistentes e oportunos para intervenções pedagógicas. Para uma avaliação mais fácil, ad libitum, com pontos de aprendizagem, os questionários on-line podem ser disponibilizados permanentemente e os preceptores podem ser regularmente lembrados de preenchê-los conforme sua própria conveniência. Além disso, ao aumentar a frequência das avaliações, o impacto de outros fatores de confusão, como viés de memória, pode ser mitigado.
Diferente do cenário da Faculdade de Medicina, onde os alunos geralmente são avaliados por vários professores após períodos mais curtos de observação, em nossa residência, os estagiários são acompanhados de perto por todo o grupo de preceptores ao longo dos 2 anos de treinamento. Uma vez que a classificação de um estagiário com menor confiabilidade pode constituir uma falha dos próprios preceptores, uma abordagem multifacetada, como o feedback de 360 graus, pode otimizar a precisão da medida da prontidão para a prática13),(14. Ao incluir estagiários de outros programas, supervisores, funcionários administrativos, pacientes e familiares, espera-se que o escopo das perspectivas melhore a precisão e compreenda uma orientação mais abrangente. Além disso, considerando que o maior incremento entre os semestres 2 e 3 poderia representar a influência do ano de pós-graduação na percepção dos avaliadores (primeiro versus segundo ano de residência), a criação de EPAs variáveis no tempo poderia oferecer uma alternativa interessante para medir o desenvolvimento contínuo dos estagiários em todas as etapas do curso15.
Nosso pequeno tamanho amostral deve ser reconhecido como uma limitação para a generalização dos resultados aqui apresentados. A implementação de uma avaliação baseada em EPA em um programa maior provavelmente ofereceria maiores desafios, incluindo menor adesão dos preceptores, menor proximidade entre preceptores e residentes e maior variabilidade de dilemas pessoais vivenciados pelos residentes ao longo do curso de treinamento. Por outro lado, uma experiência maior poderia adicionar às nossas descobertas uma perspectiva mais rica em termos de diversidade de cenários de prática e a experiência cultural, por exemplo.
Devido ao seu tamanho amostral limitado, nosso estudo não permite tirar conclusões definitivas sobre o estabelecimento de valores de corte para a prática não supervisionada nas diferentes etapas do treinamento. Pelo contrário, a prontidão baseada em EPA na formação de pós-graduação parece ser um resultado heterogêneo, ainda aquém das expectativas dos educadores5),(12),(16. Portanto, entendemos que a avaliação baseada em EPA na formação de pós-graduação constitui uma abordagem formativa valiosa, merecedora de pesquisas futuras para esclarecer seu papel como instrumento somativo. Notavelmente, nossos resultados precisam ser validados em diferentes programas de reumatologia. Além disso, outras especialidades médicas podem demonstrar a aplicabilidade das EPAs em diferentes contextos, principalmente explorando o impacto de avaliações mais frequentes ou abordagens de feedback multidimensional para enriquecer a conversa sobre o progresso contínuo na educação médica.
CONCLUSÕES
A avaliação de residentes de reumatologia pelas EPAs aprovadas pelo ACR estabelece uma cultura de feedback regular, proporcionando oportunidade de aprimoramento e qualificação do programa. A prática não supervisionada foi alcançada principalmente no final do treinamento e um incremento maior coincidiu com a mudança no ano de residência. Embora seja um valioso instrumento formativo na residência, a avaliação profissional baseada em atividades necessita de uma discussão cuidadosa antes da adoção de valores de corte para fins somativos.
AGRADECIMENTOS
Os autores reconhecem e agradecem a orientação e apoio do Prof. Danilo Blank, Prof. Cristina Neumann e Prof. Francisco Arsego do Hospital de Clínicas de Porto Alegre, Universidade Federal do Rio Grande do Sul.
REFERÊNCIAS
-
1 ten Cate O. An Updated Primer on Entrustable Professional Activities (EPAs). Rev bras educ med 2019;43(1 suppl 1):721-730. doi:10.1590/1981-5271v43suplemento1-20190238.ING
» https://doi.org/10.1590/1981-5271v43suplemento1-20190238.ING -
2 Brown CR, Criscione-Schreiber L, O’Rourke KS, et al. What Is a Rheumatologist and How Do We Make One? Arthritis Care Res 2016;68(8):1166-1172. doi:10.1002/acr.22817
» https://doi.org/10.1002/acr.22817 -
3 Ten Cate O, Carraccio C, Damodaran A, et al. Entrustment Decision Making: Extending Miller’s Pyramid. Acad Med 2021;96(2):199-204. doi:10.1097/ACM.0000000000003800
» https://doi.org/10.1097/ACM.0000000000003800 -
4 Schumacher DJ, Bria C, Frohna JG. The Quest Toward Unsupervised Practice: Promoting Autonomy, Not Independence. JAMA 2013;310(24):2613-2614. doi:10.1001/jama.2013.282324
» https://doi.org/10.1001/jama.2013.282324 -
5 Schumacher DJ, West DC, Schwartz A, et al. Longitudinal Assessment of Resident Performance Using Entrustable Professional Activities. JAMA Netw Open 2020;3(1):1-14. doi:10.1001/jamanetworkopen.2019.19316
» https://doi.org/10.1001/jamanetworkopen.2019.19316 - 6 CARVALHO DP DE. RESOLUÇÃO No 4, DE 1o DE NOVEMBRO DE 2023. DIÁRIO Of DA UNIÃO 2023;203(1):23-26.
-
7 ten Cate O, Chen HC. The ingredients of a rich entrustment decision. Med Teach 2020;42(12):1413-1420. doi:10.1080/0142159X.2020.1817348
» https://doi.org/10.1080/0142159X.2020.1817348 -
8 Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE): A Tool to Assess Surgical Competence. Acad Med . 2012;87(10). https://journals.lww.com/academicmedicine/fulltext/2012/10000/the_ottawa_surgical_competency_operating_room.24.aspx
» https://journals.lww.com/academicmedicine/fulltext/2012/10000/the_ottawa_surgical_competency_operating_room.24.aspx -
9 Rekman J, Gofton W, Dudek N, Gofton T, Hamstra SJ. Entrustability Scales: Outlining Their Usefulness for Competency-Based Clinical Assessment. Acad Med 2016;91(2). https://journals.lww.com/academicmedicine/fulltext/2016/02000/entrustability_scales__outlining_their_usefulness.18.aspx
» https://journals.lww.com/academicmedicine/fulltext/2016/02000/entrustability_scales__outlining_their_usefulness.18.aspx -
10 Rose S, Fix OK, Shah BJ, Jones TN, Szyjkowski RD. Entrustable professional activities for gastroenterology fellowship training. Gastroenterology 2014;147(1):233-242. doi:10.1053/j.gastro.2014.04.038
» https://doi.org/10.1053/j.gastro.2014.04.038 -
11 ten Cate O. Transforming primary care training - Patient-centered medical home entrustable professional activities for internal medicine residents. J Gen Intern Med 2013;28(6):801-809. doi:10.1007/s11606-012-2193-3
» https://doi.org/10.1007/s11606-012-2193-3 -
12 Weiss PG, Schwartz A, Carraccio CL, et al. Achieving entrustable professional activities during fellowship. Pediatrics 2021;148(5). doi:10.1542/peds.2021-050196
» https://doi.org/10.1542/peds.2021-050196 -
13 Cousar M, Huang J, Sebro R, Levin D, Prabhakar H. Too Scared to Teach? The Unintended Impact of 360-Degree Feedback on Resident Education. Curr Probl Diagn Radiol 2020;49(4):239-242. doi:https://doi.org/10.1067/j.cpradiol.2019.04.006
» https://doi.org/https://doi.org/10.1067/j.cpradiol.2019.04.006 -
14 Lim SY, Bolster MB. Challenges in Optimizing Medical Education for Rheumatologists. Rheum Dis Clin North Am 2019;45(1):127-144. doi:10.1016/j.rdc.2018.09.008
» https://doi.org/10.1016/j.rdc.2018.09.008 -
15 Karpinski J, Frank JR. The Role of EPAs in Creating a National System of Time-Variable Competency-Based Medical Education. Acad Med . 2021;96(7):S36-S41. doi:10.1097/ACM.0000000000004087
» https://doi.org/10.1097/ACM.0000000000004087 -
16 Hanson MN, Pryor AD, Jeyarajah DR, et al. Implementation of entrustable professional activities into fellowship council accredited programs: a pilot project. Surg Endosc 2023;37(4):3191-3200. doi:10.1007/s00464-022-09502-5
» https://doi.org/10.1007/s00464-022-09502-5
Fonte: elaborado pelos autores.