Avaliação baseada em procedimentos (PBA) em uma residência de urologia: experiência inicial

Resumo:

Introdução:

Mudanças na sociedade e nas práticas da medicina têm demandado melhorias no processo de ensino cirúrgico nas residências médicas, levando ao surgimento de novos modelos de ensino-aprendizagem e de avaliação baseados em competências. Nesse processo, o Procedure Based Assessment (PBA) se destaca como uma ferramenta de avaliação em ambiente de trabalho, amparada na avaliação de competências e no feedback estruturado.

Objetivo:

Este estudo tem o objetivo de apresentar a elaboração e implantação de protocolos de PBA em um programa de residência médica de urologia.

Método:

Trata-se de estudo prospectivo, do tipo pesquisa-ação, realizado de julho de 2019 a julho de 2020, envolvendo dez preceptores e seis residentes de urologia. Utilizou-se a metodologia de consenso de grupo para a elaboração dos protocolos, além de capacitação dos participantes para avaliação por competência. Elaboraram-se seis protocolos de PBA, correspondentes aos procedimentos prevalentes na formação do residente/ano. Em seguida, esses protocolos foram implantados. Além da análise descritiva dos dados, utilizou-se o coeficiente de Spearman (r_R) para análise inferencial de correlação entre tempo de treinamento e o desempenho do residente avaliado pelo PBA.

Resultado:

A elaboração de dois instrumentos de PBA para cada um dos três anos de formação permitiu a avaliação de todos os residentes. Foram realizados 31 encontros avaliativos, com média de cinco avaliações por residente. Houve correlação positiva entre o maior tempo de treinamento e melhor desempenho do residente na prostatectomia radical laparoscópica, na nefrolitotripsia percutânea, na nefrectomia laparoscópica e no conjunto dos seis procedimentos (r_R = 0,97, 0,55, 0,42 e 0,31, respectivamente). Relatamos a primeira utilização do PBA em residência de urologia no Brasil. A metodologia de consenso de grupo associada a um processo de capacitação mostrou-se como opção para elaboração desse tipo de instrumento. A correlação positiva entre melhora do desempenho no PBA e o tempo de treinamento corrobora estudos que resultaram em consolidação da validade e confiabilidade da ferramenta.

Conclusão:

A elaboração de protocolos de PBA por consenso de grupo é factível e resultou na primeira utilização dessa ferramenta em residência de urologia no Brasil. O PBA pode representar uma estratégia de avaliação de ensino cirúrgico mais moderno e adequado ao treinamento em cenários reais.

Palavras-chave:
Internato e Residência; Educação Baseada em Competências; Procedimentos Cirúrgicos Urológicos; Avaliação Educacional; Urologia

Abstract:

Introduction:

Changes in society and in medical practice have demanded improvements in the surgical teaching process in Medical Residency, leading to the emergence of new teaching-learning and assessment models based on competencies. In this process, the Procedure Based Assessment (PBA) stands out as an assessment tool in the workplace, supported by the assessment of competencies and structured feedback.

Objective:

This study aims to present the development and implementation of PBA protocols in an Urology Medical Residency Program.

Method:

This is a prospective, action-research study, carried out from July/2019 to July/2020, involving 10 preceptors and six urology residents. The group consensus methodology was used to create the protocols, in addition to training participants for competency assessment. Six PBA protocols were created, corresponding to the prevalent procedures in the training of the resident/year, followed by their implementation. In addition to the descriptive data analysis, Spearman’s coefficient (r_R) was used for inferential analysis of the correlation between training time and the resident’s performance assessed by the PBA.

Result:

The development of two PBA instruments for each of the three years of training allowed the assessment of all residents. Thirty-one evaluation meetings were held, with an average of five evaluations per resident. There was a positive correlation between longer training time and better resident performance in laparoscopic radical prostatectomy, percutaneous nephrolithotomy, laparoscopic nephrectomy and in the set of the six procedures (r_R = 0.97, 0.55, 0.42 and 0.31, respectively). We report the first use of PBA in Urology Residency in Brazil. The methodology of group consensus associated with a training process proved to be an option for developing this type of instrument. The positive correlation between improved performance in the PBA and training time corroborates studies that resulted in the consolidation of the tool’s validity and reliability.

Conclusion:

The creation of PBA protocols by group consensus is feasible and resulted in the first use of this tool in Urology Residency in Brazil. The PBA may represent a more modern surgical teaching assessment strategy, suitable for training in real scenarios.

Keywords:
Internship and Residency; Competency-Based Education; Urologic Surgical Procedures; Educational Measurement; Urology

INTRODUÇÃO

O ensino da técnica cirúrgica nas residências médicas segue, historicamente, o modelo de Halstead: veja uma, faça uma e ensine uma¹. Trata-se de um modelo baseado na experiência cirúrgica, em que a proficiência é determinada pelo número de cirurgias realizadas em procedimentos-chave², com pouca ênfase em detalhes ou habilidades técnicas³.

Apesar de esse modelo de ensino-aprendizagem ser amplamente predominante no Brasil e na maior parte do mundo, a relação entre proficiência e experiência é controversa, reforçada por estudos que questionaram a utilidade do número de cirurgias executadas como um marcador de competência⁴. Algumas pessoas demandam uma exposição menor a uma série de desafios para que sejam capazes de assimilar as habilidades necessárias para uma boa desenvoltura cirúrgica, enquanto outras requerem maior tempo de treinamento⁵.

Alguns fatores têm pressionado por mudanças, como uma maior preocupação acerca da ética e segurança do paciente, a cobrança da sociedade por maior eficiência e qualidade dos serviços de saúde e a limitação da carga horária de trabalho do residente em alguns países^3),(5),(6.

Nesse cenário, o ensino da técnica cirúrgica tem sido amplamente discutido, passando por mudanças significativas, especialmente em alguns países de Primeiro Mundo. O modelo de ensino baseado na aquisição de competências vem substituindo, gradativamente, o modelo tradicional de Halstead. Nesse novo modelo, os alunos não podem progredir e não podem completar seu treinamento se não demonstrarem competência em áreas predefinidas do currículo⁷.

A demonstração de competência no contexto da formação cirúrgica demanda a avaliação de vários atributos, como conhecimento, habilidades técnicas, integridade, comunicação, liderança e trabalho em equipe^8),(9. Deve, portanto, ser inferida a partir da análise de desempenho, ou seja, da maneira como a pessoa realiza e se comporta na prática do dia a dia¹⁰.

Uma classe de instrumentos de avaliação baseada em competências vem se destacando no âmbito do treinamento médico especializado: Workplace-Based Assessment (WBA). Com o objetivo de avaliar as atividades exercidas rotineiramente no ambiente de trabalho, o WBA oferece várias vantagens, como a possibilidade de focar uma área particular de ensino ou habilidade, uma melhor mensuração da própria progressão e a identificação do residente com baixa performance, permitindo melhor planejamento de medidas que possam corrigir o curso do aprendizado¹¹.

Um dos instrumentos mais relevantes pertencente a essa classe é o Procedure Based Assessment (PBA), amplamente utilizado no Reino Unido, onde, desde 2007, tem sido adotado como o principal método de avaliação de habilidades cirúrgicas¹².

No PBA, o residente é observado diretamente durante a execução do ato cirúrgico, sendo avaliado em relação a um checklist de competências e recebendo feedback imediato.

O PBA é desenhado para apoiar o desenvolvimento das habilidades técnicas e profissionais, incorporando o feedback construtivo, e permite a avaliação de competências durante o exercício profissional¹³. Por essas características, pode cumprir um duplo propósito como método de avaliação: somativo e formativo¹⁴.

Este estudo tem por objetivo apresentar a experiência inicial na elaboração e implementação do PBA em um programa de residência médica de urologia no Brasil.

MATERIAIS E MÉTODOS

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário Onofre Lopes (HUOL): Certificado de Apresentação para Apreciação Ética (CAAE) nº 16950719.0.0000.5292 e Parecer nº 3.532.085.

Entre julho de 2019 e julho de 2020, foi desenvolvido um estudo prospectivo, exploratório, do tipo pesquisa-ação, envolvendo dez preceptores e seis residentes, sendo dois residentes de cada ano-calendário, do Programa de Residência Médica de Urologia do Hospital Universitário Onofre Lopes (PRMUro-HUOL).

O objetivo primário foi a elaboração de seis protocolos de PBA por consenso de grupo. Os objetivos secundários foram a capacitação da equipe e a análise de desempenho a partir da aplicação do PBA. Para tanto, o estudo foi desenvolvido em duas etapas principais: 1. capacitação do grupo e elaboração dos protocolos de PBA e 2. implantação do PBA.

Capacitação dos participantes

A capacitação ocorreu em duas fases: a primeira destinada à apresentação dos conteúdos relevantes para a avaliação de desempenho e feedback, e a segunda voltada à aplicação supervisionada dos PBAs. Ambas foram presenciais e integraram os preceptores e residentes do PRMUro-HUOL.

Na primeira etapa, que teve quatro horas de duração, abordaram-se temas relacionados à avaliação do estudante, com destaque para os métodos de avaliação na prática médica, o PBA e a importância do feedback. A metodologia utilizada foi ensino mediado por vídeos apresentando situações reais para avaliação, discussão em formato de roda de conversa para explorar vivências anteriores dos participantes, bem como breve exposição dialogada para introduções e fechamentos dos conteúdos abordados.

Na segunda fase da capacitação, ocorreu a aplicação dos protocolos de PBA sob supervisão de dois dos autores, que atuaram como instrutores. Os objetivos dessa fase foram promover a familiarização com o PBA, dirimir dúvidas e aperfeiçoar a aplicação do método. Nessa fase, aplicaram-se dez PBAs durante as atividades cotidianas da residência, conforme apresentado na Figura 1.

Figura 1
Desenho esquemático do processo de capacitação associado à elaboração dos PBAs.

Elaboração dos protocolos de PBA

A elaboração dos protocolos de PBA ocorreu por meio da metodologia de consenso de grupo, em que se intercalaram rodadas de interação e feedback presenciais e a distância, como mostra resumidamente a Figura 2.

Figura 2
Resumo das etapas do processo de elaboração dos PBAs por consenso de grupo.

As etapas desse processo foram as seguintes:

1. Definição, pelos autores, dos seis procedimentos cirúrgicos urológicos mais relevantes do programa de residência, sendo dois relativos a cada ano-calendário. Os procedimentos escolhidos foram: ureterolitotripsia rígida e prostatectomia a céu aberto, referentes ao residente do primeiro ano; ressecção endoscópica da próstata e nefrectomia laparoscópica, correspondentes ao residente do segundo ano; e nefrolitotripsia percutânea e prostatectomia radical laparoscópica, relativas ao terceiro ano de residência.

2. Elaboração de seis PBAs-piloto pelos autores a partir de protocolos já existentes no exterior. Dos seis protocolos, quatro dispunham de modelo em língua estrangeira e dois foram originalmente elaborados pelos autores.

3. Divisão do grupo de especialistas em seis subgrupos. Cada subgrupo desenvolveu um modelo de PBA, a partir do PBA-piloto, no prazo de uma semana, e disponibilizou para avaliação do grupo completo. Além dos especialistas, cada subgrupo contou com um residente.

4. Por meio do aplicativo Google Formulário, cada subgrupo pôde opinar e sugerir mudanças nos protocolos desenvolvidos pelos outros subgrupos, pelo período de uma semana.

5. Implementação das mudanças pelos autores, resultando em novas versões dos protocolos, que foram apresentadas aos participantes.

6. Aplicação do PBA na prática, sob supervisão de dois dos autores.

7. Rodada final de interação e feedback presencial, com todos os participantes, após a aplicação supervisionada dos PBAs. Ajustes adicionais foram discutidos e inseridos nos protocolos, encerrando o processo.

Principais características dos PBAs desenvolvidos

• Divisão do checklist de competências em quatro domínios principais: planejamento pré-operatório, preparo pré-operatório, técnica intraoperatória e cuidados pós-operatórios.

• As opções de avaliação de cada item do checklist de competências são: “não se aplica”, “insuficiente”, “bom/regular” e “excelente”.

• Após o checklist de competências, deve ser atribuída uma nota de “avaliação geral”, com as opções: “insuficiente”, “bom/regular” e “excelente”.

• O instrumento é finalizado com a “Avaliação do nível de competência”, uma referência à avaliação do Intercollegiate Surgical Curriculum Programme (ISCP - Reino Unido) denominada “Escore de Sumário Global”, uma escala progressiva que está relacionada ao nível de autonomia de execução do procedimento pelo residente.

Como exemplo, o protocolo de PBA da prostatectomia radical laparoscópica está demonstrado na Figura 3. Os outros cinco protocolos de PBA podem ser acessados de maneira on-line, no endereço eletrônico https://doi.org/10.6084/m9.figshare.c.5560734.v1.

Figura 3
Formulário de PBA da prostatectomia radical laparoscópica (Parte 1).

Figura 3
Formulário de PBA da prostatectomia radical laparoscópica (Parte 2).

Implantação dos PBAs

A implantação dos PBAs ocorreu em dois momentos: na capacitação dos participantes, durante a qual essa atividade foi supervisionada pelos autores; e após a capacitação, de maneira não supervisionada.

Análise dos resultados de desempenho nas avaliações

Além da análise descritiva dos dados, a análise de desempenho dos residentes foi realizada a partir da avaliação do checklist de competências. Convencionou-se o cálculo do Escore Geral Excelente (EGexc), que corresponde ao percentual de itens pontuados como “excelente” dentre os que foram avaliados.

Nessa análise de dados, buscou-se avaliar a correlação entre o desempenho mensurado no PBA e o tempo de treinamento para verificar se os residentes apresentaram uma melhora do desempenho mensurável pelo PBA ao longo do tempo, ou seja, na medida em que acumulavam mais tempo de treinamento, tendo em vista os 148 dias transcorridos entre a primeira e a última avaliação.

Os dados foram analisados em planilha do Excel 2016 e registrados em gráficos de dispersão (Gráfico 1). A intensidade da correlação entre as variáveis foi determinada pelo cálculo do coeficiente de Spearman.

Gráfico 1
Gráfico de dispersão do Escore Geral Excelente em diferentes cenários.

RESULTADOS

Foram capacitados para utilização dos seis PBAs todos os residentes e 77% dos preceptores do programa (n = 10), sendo todos homens. Dentre os preceptores, 40% tinham titulação de mestre, porém nenhum relatou experiência anterior com o PBA.

No total, 31 PBAs foram aplicados, sendo dez durante a fase de capacitação e 21 após. O tempo transcorrido entre a primeira e a última avaliação foi de 148 dias. Todos os residentes foram avaliados, sendo realizadas de quatro a seis avaliações por residente, uma média de 5,2 PBAs/residente.

Demonstrou-se uma correlação positiva entre o tempo de treinamento e o desempenho no PBA na prostatectomia radical laparoscópica, na nefrolitotripsia percutânea, na nefrectomia laparoscópica e no conjunto dos seis procedimentos, com coeficiente de Spearman de 0,97, 0,55, 0,42 e 0,31, respectivamente. Nos gráficos de dispersão desses procedimentos (Gráfico 1), foi incluída uma linha de tendência para melhor visualização.

DISCUSSÃO

A modernização do treinamento cirúrgico com a introdução do modelo de ensino baseado na aquisição de competências demandou o desenvolvimento e a implementação de mecanismos de acompanhamento e avaliação das competências pretendidas¹⁵.

Ocupando espaço central nesse processo, os WBAs são designados para integrar ensino, aprendizado, avaliação e feedback, avaliando habilidades e comportamentos, em vez de apenas o conhecimento¹⁶.

O uso de WBAs que abordem as competências cirúrgicas tem se mostrado bastante limitado nas residências médicas no Brasil, não se encontrando publicações consistentes acerca do assunto.

Além de não vivenciar um ambiente de intenso debate do modelo de ensino cirúrgico, outros fatores podem impactar negativamente as iniciativas de mudança no Brasil. Destacam-se a escassez de ferramentas de avaliação validadas em língua portuguesa e a dificuldade de acesso aos instrumentos de outras línguas.

Neste estudo, descreveu-se a primeira experiência com a utilização do PBA - uma ferramenta de avaliação de competências cirúrgicas em ambiente de trabalho - em um programa de residência médica de urologia no Brasil.

Com a utilização de uma metodologia de consenso de grupo, todos os participantes tiveram oportunidade de contribuir e opinar em igualdade de condições, a partir de várias rodadas de interação e feedback, construindo protocolos que foram finalizados com a aprovação do grupo.

A capacitação é um passo importante nesse processo, pois melhora o entendimento do grupo sobre os conceitos do processo de ensino-aprendizagem e avaliação do estudante, bem como aumenta a eficiência e a qualidade da aplicação do instrumento.

A estratégia de elaboração dos instrumentos por consenso de grupo, inclusive agregando os residentes do serviço no processo, aliada ao processo de capacitação, mostrou-se uma boa opção para a introdução dessa ferramenta de avaliação. Além dos benefícios já citados, essa estratégia refletiu a preocupação em se criar um ambiente de integração e engajamento da equipe em torno de uma atividade completamente nova na rotina do PRMUro-HUOL. Esse é um ponto particularmente importante, porque a falta de engajamento da equipe é apontada como um dos principais fatores de insucesso na utilização de WBAs^16),(17.

Na aplicação dos PBAs, evidenciou-se uma tendência de melhora do desempenho no PBA em três dos seis procedimentos cirúrgicos e na avaliação conjunta dos seis procedimentos, considerando-se o intervalo aproximado de cinco meses entre a primeira e última avaliações.

Esse achado está de acordo com a literatura, em que se demonstrou que os escores de PBA estão relacionados ao tempo de treinamento cirúrgico¹² e que o uso sequencial do PBA deve demonstrar progressão em direção à competência¹³.

A utilização em larga escala do PBA no Reino Unido permitiu a validação dessa ferramenta em diferentes trabalhos, os quais também reportaram a confiabilidade do método^12),(13. Outro aspecto avaliado foi a viabilidade, e, nesse sentido, concluiu-se que o PBA é viável e valorizado pelos alunos como meio de feedback construtivo e direcionamento do treinamento¹⁸.

Limitações do estudo

Este trabalho foi impactado negativamente pela pandemia da coronavirus disease 2019 (Covid-19), em razão da limitação do agendamento de cirurgias eletivas em determinados períodos do estudo, resultando em um número menor de aplicação de PBAs do que estava previsto inicialmente. Isso dificultou a obtenção de resultados mais significativos em relação à análise de desempenho.

CONCLUSÕES

A elaboração e implementação de protocolos de avaliação baseados no PBA a partir de um consenso de grupo de especialistas são factíveis e se alinham aos conceitos mais modernos do modelo de treinamento cirúrgico baseado em aquisição de competências.

O PBA é parte importante desse modelo de treinamento em alguns países, podendo ser validado em território nacional à medida que outros programas de residência passem a adotá-lo.

REFERENCES

• ¹
  Tennent D, Pitts D, Foote J. Procedure-based assessment in shoulder and elbow surgery. Shoulder Elbow. 2013;5:73-7.
• ²
  Torsney KM, Cocker DM, Slesser AAP. The modern surgeon and competency assessment: are the Workplace-Based Assessments Evidence-Based? World J of Surg. 2015;39:623-33.
• ³
  Hurreiz H. The evolution of surgical training in the UK. Adv Med Educ Pract. 2019;10:163-8.
• ⁴
  Hopkins L, Robinson DBT, Brown C, Egan R, Iorwerth A, Holt M, et al. Trauma and orthopedic surgery curriculum concordance: an operative learning curve trajectory perspective. J Surg Educ. 2019;76(6):1569-78.
• ⁵
  De Siqueira JR, Gouch MJ. Correlation between experience targets and competence for general surgery certification. BJS Open. 2016;103:921-7.
• ⁶
  Beard J, Rowley D, Bussey M, Pitts D. Workplace-based assessment: assessing technical skill throughout the continuum of surgical training. ANZ J Surg. 2009;79:148-53.
• ⁷
  Evgeniou E, Peter L, Tsironi M, Iyer S. Assessments methods in surgical training in the United Kingdom. J Educ Eval Health Prof. 2013;10(2):1-7.
• ⁸
  Bindal T, Wall D, Goodyear HM. Trainee doctors’ views on workplace-based assessments: are they just a tick box exercise? Med Teach. 2011;33:919-27.
• ⁹
  Moorthy K, Munz Y, Sarker SK, Darzi A. Objective assessment of technical skills in surgery. BMJ. 2003;327:1032-7.
• ¹⁰
  Swanwick T, Chana N. Workplace assessment for licensing in general practice. Brit J Gen Pract. 2005:55;461-7.
• ¹¹
  Eardley I, Bussey M, Woodthorpe A, Munsch C, Beard J. Workplace-based assessment in surgical training: experiences from the Intercollegiate Surgical Curriculum Programme. ANZ J Surg . 2013;83:448-53.
• ¹²
  Marriott J, Purdie H, Crossley J, Beard JD. Evaluation of procedure-based assessment for assessing trainees’ skills in the operating theatre. Br J Surg. 2011;98(3):450-7.
• ¹³
  Awad Z, Hayden L, Robson AK. Reliability and validity of Procedure-Based Assessments in otolaryngology training. Laryngoscope. 2015;125:1328-35.
• ¹⁴
  Abdelaal A. Procedure-based assessments: the past, the present and the future. Postgrad Med J. 2020;96:7-8.
• ¹⁵
  Shalhoub J, Marshall DC, Ippolito K. Perspectives on procedure-based assessments: a thematic analysis of semistructured interviews with 10 UK surgical trainees. BMJ Open. 2017;7:1-8.
• ¹⁶
  Ali JM. Getting lost in translation? Workplace based assessments in surgical training. Surgeon. 2013;11(5):286-9.
• ¹⁷
  Hunter AR, Maird EJ, Reed MR. Procedure-based assessments in trauma and orthopaedic training - the trainees’ perspective. Med Teach. 2015;37:444-9.
• ¹⁸
  James K, Cross K, Lucarotti ME, Fowler AL, Cook TA. Undertaking procedure-based assessment is feasible in clinical practice. Ann R Coll Surg Engl. 2009;91:110-2.

• 7
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editora-chefe: Rosiane Viana Zuza Diniz. Editor associado: Jorge Carvalho Guedes.

Datas de Publicação

• Publicação nesta coleção
  13 Dez 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  21 Ago 2021
• Aceito
  03 Out 2021