Versão brasileira da ferramenta Assessing Competencies in Evidence-Based Medicine (ACE): um estudo de validação

Resumo:

Introdução:

A ferramenta Assessing Competencies in Evidence-Based Medicine (ACE) é um questionário recentemente proposto para avaliação de competências em Medicina Baseada em Evidências. Este estudo teve como objetivo validar a versão brasileira da ferramenta ACE.

Método:

Trata-se de um estudo transversal de validação realizada em duas fases. Na primeira fase, traduziu-se o questionário. Na segunda fase, estudantes de graduação e professores/preceptores do curso de Medicina responderam ao questionário. As propriedades avaliadas foram validade, consistência e confiabilidade internas.

Resultado:

Incluíram-se 76 estudantes de graduação e 12 professores/preceptores. A média dos professores/preceptores foi significativamente mais alta que a dos alunos (10,25 ± 1,71 versus 8,73 ± 1,80, diferença média de 1,52, IC95% 0,47-2,57, p = 0,005), demonstrando a validade de construto. A versão brasileira da ferramenta ACE obteve consistência (alfa de Cronbach = 0,61) e confiabilidade internas (correlação item-total ≥ 0,15 em 14 dos 15 itens) adequadas.

Conclusão:

A versão brasileira da ferramenta ACE demonstra propriedades psicométricas aceitáveis e pode ser usada como instrumento para a avaliação de competências para a Medicina Baseada em Evidências em estudantes de Medicina brasileiros.

Palavras-chave:
Educação Médica; Estudo de Validação; Medicina Baseada em Evidências

Abstract:

Introduction:

The ACE (Assessing Competencies in Evidence-Based Medicine) Tool is a recently developed questionnaire to assess competencies in Evidence-Based Medicine. The aim of this study is to validate the Brazilian version of ACE Tool.

Methods:

This is a cross-sectional validation study carried out in two phases. In the first phase, the questionnaire was translated. In the second phase, the questionnaire was applied to undergraduate students and teachers/preceptors of the medical course. The evaluated properties were internal validity, consistency and reliability.

Results:

76 medical undergraduate students and 12 teachers/preceptors were included. The mean of teachers/preceptors was significantly higher than that of students (10.25±1.71 vs 8.73±1.80, mean difference of 1.52, 95%CI 0.47-2.57, p=0.005), demonstrating construct validity. The Brazilian version of the ACE Tool obtained adequate internal consistency (Cronbach’s alpha = 0.61) and reliability (item-total correlation ≥ 0.15 in 14 of the 15 items).

Conclusion:

The Brazilian version of the ACE Tool shows acceptable psychometric properties and can be used as an instrument to assess competencies for Evidence-Based Medicine in Brazilian medical students.

Key words:
Medical Education; Validation Study; Evidence-Based Medicine

INTRODUÇÃO

No ano de 1991, em um editorial do periódico ACP Journal Club, Gordon Guyatt utilizou pela primeira vez na literatura médica a expressão Medicina Baseada em Evidências (MBE) para descrever uma nova forma de se pensar e praticar a medicina, privilegiando habilidades de pesquisa na literatura, avaliação crítica de artigos científicos e síntese de informação para a tomada de decisões clínicas individualizadas, em detrimento do apelo à autoridade dos profissionais mais experientes e dos livros-texto¹.

David Sackett, um dos pioneiros da epidemiologia clínica, definiu a MBE como “o uso consciente, explícito e judicioso da melhor evidência para a tomada de decisões no cuidado a pacientes individuais” ⁽². A prática da MBE incorpora, portanto, a melhor evidência científica, a experiência e expertise do profissional e as particularidades, incluindo valores e preferências do paciente, para uma melhor escolha².

A prática de MBE e, portanto, o seu ensino e a sua avaliação devem compreender cinco passos (ou domínios), como sumarizado pela Sicily Statement: perguntar (ask), pesquisar (search), avaliar criticamente (appraise), integrar (integrate) e avaliar a prática (evaluate), conforme demonstrado no Quadro 1 ³.

Quadro 1
Passos para a prática baseada em evidências

Perguntar (ask)	Compreender o cenário clínico e desenvolver uma pergunta estruturada que possa ser respondida.
Pesquisar (search)	Construir uma sintaxe de busca apropriada, com descritores e operadores booleanos, e identificar as bases de dados apropriadas.
Avaliar criticamente (appraise)	Avaliar criticamente a metodologia e os resultados de um artigo em relação às suas validades interna e externa.
Integrar (integrate)	Integrar os resultados da pesquisa avaliada criticamente ao cuidado de um paciente específico.
Avaliar a prática (evaluate)	Avaliar mudanças em sua prática médica atual e identificar oportunidades para melhoria.

• Fonte: Adaptado de Daes et al. ⁽3.

A ferramenta Assessing Competencies in Evidence-Based Medicine (ACE) é um questionário para avaliação de competências para a MBE, proposto e validado por Ilic et al.⁴, no qual os respondentes são apresentados a um cenário clínico, uma pergunta clínica, uma estratégia de busca e um resumo de um artigo hipotéticos. Em seguida, apresentam-se 15 perguntas fechadas, que devem ser respondidas com “sim” ou “não”, abordando quatro das cinco etapas para a prática baseada em evidências: a construção da pergunta clínica (questões 1 e 2); a pesquisa de literatura científica em bancos de dados (questões 3 e 4); a análise crítica da evidência encontrada (questões de 5 a 11); e a aplicação da evidência ao cenário clínico específico (questões de 12 a 15) ⁽⁴.

O objetivo deste estudo foi validar a versão brasileira da ferramenta ACE.

MÉTODOS

Desenho, participantes e ética

Trata-se de um estudo transversal de validação. Estudantes do curso de Medicina da Universidade Federal do Rio Grande do Norte (UFRN), matriculados em uma disciplina complementar ou em um curso de extensão sobre MBE, foram convidados a responder ao questionário após a primeira aula. Convidaram-se também professores e preceptores do curso de Medicina, identificados, segundo os pesquisadores, com a temática, a fim de avaliar a capacidade discriminatória do questionário. O protocolo de pesquisa foi revisado e aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário Onofre Lopes (Huol-UFRN) com Certificado de Apresentação para Apreciação Ética nº 30445120.0.0000.5292 e Parecer nº 4.074.739.

Tradução e adaptação do questionário de avaliação

Dois pesquisadores com experiência no tema e fluência em língua inglesa realizaram a tradução inicial do questionário de forma independente, e estabeleceu-se uma versão única. Essa versão consensual, em português, foi submetida à retrotradução para o inglês por um tradutor profissional, que não participou das etapas prévias. Comparou-se então a versão retrotraduzida com a versão original do questionário em inglês, e novos ajustes foram realizados até a obtenção de uma versão final consensual entre os pesquisadores e o tradutor. No Quadro 2, constam os itens do questionário final, e a versão completa traduzida e adaptada da ferramenta ACE em português é apresentada no material suplementar.

Quadro 2
Itens do questionário - versão traduzida da ferramenta ACE

Fazendo uma pergunta passível de resposta	Sim	Não
1. Todos os elementos PICO estão descritos no cenário do paciente?
2. A questão construída após o cenário produz uma pergunta objetiva e direcionada?
Buscando na literatura
3. A estratégia de busca (a ser utilizada no Medline) encontrará estudos relevantes relacionados à pergunta?
4. A estratégia de pesquisa utiliza descritores em saúde (MeSH/DeCS), palavras-chave e operadores booleanos de forma co/rreta e efetiva?
Avaliando a evidência
5. Há informações suficientes para determinar a representatividade dos pacientes do estudo?
6. O método de alocação dos participantes para a intervenção/exposição e a comparação foi adequado?
7. Alguma forma de ajuste foi necessária?
8. Todos os participantes estavam cegos para o tratamento/exposição?
9. Todos os pesquisadores estavam cegos para o tratamento/exposição?
10. Todos os avaliadores dos desfechos estavam cegos para o tratamento/exposição?
11. Todos os pacientes foram analisados nos grupos para os quais foram randomizados?
Aplicando a evidência
12. O paciente do cenário compartilha características/circunstâncias semelhantes às dos participantes no estudo?
13. O tratamento/terapia é factível no contexto do cenário clínico proposto?
14. Todos os desfechos relevantes foram considerados?
15. Os benefícios do tratamento/terapia superam os potenciais danos e custos?

• Fonte: Traduzido e adaptado de Ilic et al.4.

Aplicação do questionário

O questionário foi aplicado por meio de plataforma on-line para ser respondido em tentativa única sem limite de tempo. Todos os participantes forneceram consentimento livre e esclarecido para participação.

Análise estatística

Coletaram-se as seguintes variáveis: grupo (estudantes e professores/preceptores); período cursado pelo aluno; respostas a cada item do questionário ACE; número total de acertos. Foi estimado um tamanho amostral de 75 estudantes (cinco participantes por item do questionário). Avaliaram-se a dificuldade dos itens do questionário, a consistência interna e a confiabilidade. A dificuldade dos itens foi avaliada pela porcentagem de candidatos que responderam corretamente à questão. Avaliou-se a consistência interna do questionário por meio de alfa de Cronbach. Um alfa de Cronbach entre 0,6 e 0,7 foi considerado como consistência interna aceitável; entre 0, 7 e 0,9, como consistência interna boa; e acima de 0,9, como consistência interna excelente. Avaliou-se a confiabilidade pela correlação item-total (CTI). Uma CIT 0,15 foi considerada aceitável⁵. Os resultados dos alunos foram comparados com o resultado de professores/preceptores por meio de teste t de Student para amostras independentes. Consideraram-se estatisticamente significantes valores de p menores que 0,05.

RESULTADOS

Obtiveram-se 88 respostas, sendo 76 estudantes de graduação (distribuídos do primeiro ao décimo período do curso) e 12 professores/preceptores do curso de Medicina.

O Gráfico 1 mostra a distribuição do número de acertos na avaliação dos estudantes de acordo com o período do curso.

Gráfico 1
Box and whisker plot (mediana e intervalos interquartis) de numero de acertos na avaliação dos estudantes de acordo com o período do curso

Dificuldade e confiabilidade e consistência internas da versão traduzida da ferramenta ACE

A Tabela 1 demonstra a análise dos itens individuais.

O valor de alfa de Cronbach foi de 0,61.

Tabela 1
Análise de itens individuais: distribuição dos itens de acordo com passo, índice de dificuldade e correlação item-total

Item	Passo	Índice de dificuldade	Correlação item-total
1	Pergunta clínica	63%	0,28
2	Pergunta clínica	28,4%	0,15
3	Pesquisa na literatura	77,3%	0,36
4	Pesquisa na literatura	62,5%	0,18
5	Análise crítica	67%	0,36
6	Análise crítica	15,9%	0,28
7	Análise crítica	51,1%	-0,03
8	Análise crítica	97,7%	0,23
9	Análise crítica	80,7%	0,33
10	Análise crítica	67%	0,20
11	Análise crítica	30,7%	0,16
12	Integração	86,4%	0,21
13	Integração	69,3%	0,29
14	Integração	55,7%	0,36
15	Integração	44,3%	0,27

• Fonte: Elaborada pelos autores.

Validade de construto

Compararam-se as médias obtidas pelos alunos com as médias obtidas pelos professores/preceptores, a fim de observar a capacidade do questionário em discriminar diferentes graus de expertise. A média de número de acertos dos professores/preceptores foi significativamente maior que a média dos 76 alunos (10,25 ± 1,71 versus 8,73 ± 1,80, diferença média de 1,52, IC95% 0,47-2,57, p = 0,005).

Sumário das propriedades da versão traduzida da ferramenta ACE

O Quadro 3 sumariza as propriedades da versão traduzida da ferramenta ACE.

Quadro 3
Propriedades da versão traduzida da ferramenta ACE

Propriedade	Teste utilizado	Resultados aceitáveis	Performance da versão traduzida
Validade de conteúdo	Opinião de especialista	Avalia os passos 1-4 da prática baseada em evidências.	Aceitável.
Índice de dificuldade dos itens	Porcentagem de acertos	Amplo intervalo permite implementação em diferentes grupos de participantes.	Variou de 15,9% a 99,7%.
Consistência interna	Alfa de Cronbach	Alfa de Cronbach 0,6-0,7 é considerado aceitável; 0,7-0,9, bom; e > 0,9, considerado excelente.	Alfa de Cronbach de 0,61.
Confiabilidade interna	Correlação item-total (CIT)	CIT ≥ 0,15 é considerada aceitável.	≥ 0,15 para todos os itens, exceto para o item 7 (-0,03).
Validade de construto	Comparação entre médias de grupos com diferentes níveis de conhecimento	Diferença significativa entre professores/preceptores e alunos.	Em uma escala de 15 pontos, a média dos alunos foi de 8,73; e a dos professores, 10,25 (p = 0,005).

• Fonte: Elaborada pelos autores.

DISCUSSÃO

Os nossos resultados demonstram que a versão traduzida da ferramenta ACE mantém a capacidade discriminatória para diferentes níveis de expertise e confiabilidade e consistência internas aceitáveis, de acordo com a formulação original. Em nosso estudo, os estudantes de graduação obtiveram um número médio de acertos de 8,73, e os professores, de 10,25 pontos, comparáveis aos 8,6 do nível “iniciante” e aos 10,4 do nível “avançado” do estudo original. Os índices de confiabilidade e consistência em nosso estudo também mantiveram os resultados do estudo prévio⁴. É necessário chamar a atenção para o valor relativamente baixo de consistência interna (alfa de Cronbach entre 0,6 e 0,7), tanto em nosso trabalho quanto no estudo original de Ilic et al.⁴, considerado apenas “aceitável”. O próprio objetivo do questionário, abordando competências em domínios distintos (construção da pergunta clínica, busca na literatura, avaliação crítica e integração ao cenário clínico), contribui para um menor relacionamento entre as variáveis e, portanto, um valor numérico de alfa de Cronbach menor. Por sua vez, cada um dos 15 itens tem relevância própria, à medida que aborda uma competência específica, como identificar a adequação de randomização, de cegamento, de intenção de tratar etc., de modo que a resposta a cada pergunta tem um significado importante, mesmo quando se afasta da resposta a outras questões.

A ferramenta ACE é uma entre diversos questionários padronizados para avaliação de competências em MBE, como o questionário de Berlin⁶ e o Teste de Fresno⁷, este último também com validação brasileira⁸. O questionário de Berlin aborda apenas a avaliação crítica. O Teste de Fresno, por sua vez, avalia três domínios (“perguntar”, “pesquisar” e “avaliar criticamente”) por meio de questões abertas, mas demanda um tempo elevado para ser respondido (aproximadamente uma hora). A ferramenta ACE permite uma avaliação ampla (“perguntar”, “pesquisar”, “avaliar criticamente” e “integrar”), com estímulo ao raciocínio clínico, elevada praticidade e um tempo de resposta curto. De fato, a ferramenta ACE vem sendo utilizada internacionalmente para a avaliação de estudantes^9),(10 e de estratégias educacionais^11)-(14, embora Buljan et al.¹⁵ tenham observado uma menor “sensibilidade à mudança”, isto é, uma menor capacidade da ferramenta ACE em discriminar o conhecimento obtido após cursos, limitando seu uso como “avaliação pós-teste” em relação ao questionário de Berlin e ao teste de Fresno. É importante notar ainda que a ferramenta ACE é direcionada especificamente para uma questão terapêutica, e importantes focos da atividade clínica, como diagnóstico e prognóstico, não estão contemplados. Questionários padronizados próprios para o raciocínio diagnóstico e prognóstico baseado em evidências são uma lacuna na literatura.

As Diretrizes Curriculares Nacionais (DCN) do curso de graduação em Medicina reconhecem a necessidade de tomada de decisões com base na análise crítica e contextualizada das evidências científicas e efetivamente apontam como “ação-chave” a promoção do pensamento científico e crítico e o apoio à produção de novos conhecimentos¹⁶. A ferramenta ACE aborda quatro dos cinco passos da prática baseada em evidências e permite discriminar conhecimentos e competências específicos. Dessa forma, configura-se como uma ferramenta importante para entender o conhecimento prévio dos participantes, planejar e/ou adequar o currículo, bem como compreender necessidades educacionais particulares.

CONCLUSÃO

A versão brasileira da ferramenta ACE demonstra propriedades psicométricas aceitáveis à semelhança da versão original e pode ser usada como instrumento para avaliação de competências para a MBE em estudantes de Medicina brasileiros.

AGRADECIMENTO

Agradecemos o apoio do Mestrado Profissional em Ensino na Saúde (MPES) e do Programa de Educação Tutorial (PET) da UFRN na condução do estudo.

REFERÊNCIAS

• ¹
  Guyatt GH. Evidence-Based Medicine. ACP J Club. 1991;114:A16.
• ²
  Sackett DL, Rosenberg WMC, Gray JAM, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn’t. BMJ. 1996;312:71-2.
• ³
  Daes M, Summerskill W, Glasziou P, Cartabellotta A, Martin J, Hopayian K, et al. Sicily Statement on evidence-based practice. BMC Med Educ. 2005;5:1.
• ⁴
  Ilic D, Nordin RB, Glasziou P, Tilson JK, Villanueva E. Development and validation of the ACE tool: Assessing Medical Medical Trainees’ Competency in Evidence Based Medicine. BMC Med Educ . 2014;14:114.
• ⁵
  Kline P. The handbook of psychological testing. 2nd edition. London: Routledge; 2000.
• ⁶
  Fritsche L, Greenhalgh T, Falck-Ytter Y, Neumayer H-H, Kunz R. Do short courses in Evidence Based Medicine improve knowledge and skills? Validation of Berlin Questionnaire and before and after study of courses in Evidence Based Medicine. BMJ . 2002;325;1338-41.
• ⁷
  Ramos KD, Schafer S, Tracz SM. Validation of the Fresno Test of Competence in Evidence Based Medicine. BMJ . 2003;326:319-21.
• ⁸
  Salermo MR, Herrmann F, Debon LM, Soldatelli MD, Forte GC, Bastos MD, et al. Brazilian version of the Fresno Test of Competence in Evidence-Based Medicine: a validation study. Sci Med. 2019;29(1):e32295.
• ⁹
  Clode NJ, Danielson K, Dennett E. Perceptions of competency with Evidence-Based Medicine among medical students: changes through training and alignment with objective measures. N Z Med J. 2021;134(1531):63-75.
• ¹⁰
  Mahmoud MA, Laws S, Kamal A, Al Mohanadi D, Al Mohammed A, Mahfoud ZR. Examining aptitude and barriers to Evidence-Based Medicine among trainees at an ACGME-I Accredited Program. BMC Med Educ . 2020;20:414.
• ¹¹
  Ilic D, Nordin RB, Glasziou P, Tilson JK, Villanueva E. A randomised controlled trial of a blended learning education intervention for teaching Evidence-Based Medicine. BMC Med Educ . 2015;15:39.
• ¹²
  Yoon SH, Kim M, Tarver C, Loo LK. “ACEing” the evidence within Physical Medicine and Rehabilitation (PM&R). MedEdPortal. 2020;16:11051.
• ¹³
  Goodarzi H, Teymourzadeh E, Rahimi S, Nasiri T. Efficacy of active and passive Evidence-Based Practice training for postgraduate medical residents: a non-randomized controlled trial. BMC Res Notes. 2021;14(1):317.
• ¹⁴
  Kumaravel B, Stewart C, Ilic D. Face-to-face versus online clinical integrated EBM teaching in an undergraduate medical school: a pilot study. BMJ Evid Based Med. 2022;27:162-8.
• ¹⁵
  Buljan I, Jeroncic A, Malicki M, Marusic M, Marusic A. How to choose an evidence-based medicine knowledge test for medical students? Comparison of three knowledge measures. BMC Med Educ . 2018;18:290.
• ¹⁶
  Brasil. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e dá outras providências. Resolução nº 3, de 20 de junho de 2014. Brasília: Ministério da Educação; 2014.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Daniela Chiesa. Editora associada: Não atribuído.

Datas de Publicação

• Publicação nesta coleção
  12 Ago 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  27 Maio 2022
• Aceito
  31 Maio 2022