Avaliação do clube de revista de anestesiologia por meio de mudanças semânticas

Resumos

JUSTIFICATIVA E OBJETIVOS:

a abordagem interativa de um clube de revista foi descrita na literatura de ensino médico. O objetivo desta investigação é apresentar uma avaliação do clube de revista como uma ferramenta para discutir a questão da leitura crítica entre os residentes.

MÉTODOS:

este estudo relata o desempenho dos médicos residentes de anestesiologia do Hospital das Clínicas - Faculdade de Medicina da Universidade de São Paulo. Todos os médicos residentes foram convidados a responder a cinco perguntas derivadas de artigos discutidos. A folha de resposta consistia em uma declaração afirmativa com uma escala do tipo Likert (discordo totalmente, discordo, não tenho certeza, concordo, concordo totalmente), cada declaração relacionada a um dos artigos escolhidos. Os resultados foram avaliados por meio da análise de itens - índice de dificuldade e poder de discriminação.

RESULTADOS:

os residentes completaram 173 avaliações nos meses de dezembro de 2011 (n = 51), julho de 2012 (n = 66) e dezembro de 2012 (n = 56). O primeiro teste apresentou todos os itens com declaração direta e o segundo e terceiro testes apresentaram itens mistos. Separar "concordo totalmente" de "concordo" aumentou os índices de dificuldade, mas não melhorou o poder de discriminação.

CONCLUSÕES:

o uso de uma avaliação do clube revista com declarações diretas e inversas e com o uso de uma escala de cinco pontos para acordo mostrou aumentar a dificuldade do item e o poder de discriminação. Isso pode refletir o envolvimento com a leitura ou com a discussão durante as reuniões do clube.

Educação; Médico; Graduação; Anestesiologia; Autoavaliação; Avaliação do programa; Avaliação educacional; Periódicos como tema

BACKGROUND AND OBJECTIVES:

the interactive approach of a journal club has been described in the medical education literature. The aim of this investigation is to present an assessment of journal club as a tool to address the question whether residents read more and critically.

METHODS:

this study reports the performance of medical residents in anesthesiology from the Clinics Hospital - University of São Paulo Medical School. All medical residents were invited to answer five questions derived from discussed papers. The answer sheet consisted of an affirmative statement with a Likert type scale (totally disagree-disagree-not sure-agree-totally agree), each related to one of the chosen articles. The results were evaluated by means of item analysis - difficulty index and discrimination power.

RESULTS:

residents filled one hundred and seventy three evaluations in the months of December 2011 (n = 51), July 2012 (n = 66) and December 2012 (n = 56). The first exam presented all items with straight statement, second and third exams presented mixed items. Separating "totally agree" from "agree" increased the difficulty indices, but did not improve the discrimination power.

CONCLUSIONS:

the use of a journal club assessment with straight and inverted statements and by means of five points scale for agreement has been shown to increase its item difficulty and discrimination power. This may reflect involvement either with the reading or the discussion during the journal meeting.

Education; Medical; Graduate; Anesthesiology; Self-assessment; Program evaluation; Educational measurement; Periodicals as topic

JUSTIFICACIÓN Y OBJETIVOS:

El abordaje interactivo de un club de revista ha sido descrito en la literatura de enseñanza médica. El objetivo de esta investigación es presentar una evaluación del club de revista como una herramienta para discutir la cuestión de la lectura crítica entre los residentes.

MÉTODOS:

Este estudio relata el desempeño de los médicos residentes de anestesiología del Hospital das Clínicas de la Facultad de Medicina de la Universidad de São Paulo. Todos los médicos residentes fueron invitados a responder a 5 preguntas derivadas de artículos discutidos. La hoja de respuesta consistía en una declaración afirmativa con una escala del tipo Likert ("estoy totalmente en desacuerdo", "en desacuerdo", "no estoy seguro", "estoy de acuerdo", "estoy totalmente de acuerdo"), cada declaración relacionada con uno de los artículos escogidos. Los resultados se evaluaron por medio del análisis de los ítems: índice de dificultad y poder de discriminación.

RESULTADOS:

Los residentes completaron 173 evaluaciones en los meses de diciembre de 2011 (n = 51), julio de 2012 (n = 66) y diciembre de 2012 (n = 56). El primer test incluyó todos los títulos con declaración directa y el segundo y el tercero tuvieron títulos mezclados. Separar "estoy totalmente de acuerdo" de "estoy de acuerdo" aumentó los índices de dificultad pero no mejoró el poder de discriminación.

CONCLUSIONES:

El uso de una evaluación del club de revista con declaraciones directas e inversas y con el uso de una escala de 5 puntos para "estoy de acuerdo", mostró el aumento de la dificultad del ítem y del poder de discriminación. Eso puede reflejar el nivel de implicación en la lectura o en la discusión durante las reuniones del club.

Educación; Médico; Pregrado; Anestesiología; Autoevaluación; Evaluación del programa; Evaluación educacional; Periódicos como tema

Introdução

A abordagem interativa de um clube de revista (CR) foi descrita na literatura de educação médica. Como mencionado anteriormente, o principal objetivo da maioria dos clubes é ensinar habilidades para uma avaliação crítica da leitura. Além disso, as características iniciais ainda funcionam para a alta frequência dos participantes: presença obrigatória, disponibilidade de alimentos e a importância dada pelo diretor do programa.¹ Além disso, a atribuição de créditos para a frequência foi associada ao aumento de participação.² Há relato de que o CR é um poderoso motivador do comportamento da leitura crítica entre as equipes médicas institucionais,³ e, na verdade, um meio para desenvolver um currículo em epidemiologia, bioestatística e delineamento experimental.⁴

Os clubes de revista são parte integrante da educação em saúde, residência médica em geral e da formação em cirurgia geral, além de ser um recurso educacional que pode ajudar um programa de residência a atender os requisitos primordiais de competência.^{5 and 6} A pesquisa da Associação dos Diretores de Programas em Cirurgia mostrou que um clube de revista típico faz reuniões uma vez por mês e discute 3-6 artigos. É interessante notar, porém, que poucos programas relataram fazer qualquer avaliação sistemática ou formal.⁷ Não obstante, aqueles que a fazem usam avaliações objetivas com exames pré-teste e pós-teste,⁸ mensurações da satisfação com o CR com uma lista de verificação para revisão do artigo⁹ e uso de testes de avaliação crítica.

Ultimamente, o uso da Internet não supera o modelo de CR com moderação presencial para residentes de cirurgia.¹⁰ Considerando o sucesso do CR, parece razoável usar listas de verificação, explicitar os objetivos do aprendizado e proporcionar uma estrutura e processo de reunião formal, não muito diferente das características salientadas previamente por Alguire.^{1 and 11} Também devemos destacar que um clube de revista deve ter em foco os problemas atuais e reais do paciente de maior interesse para o grupo,¹² atual do paciente, bem como proporcionar experiências como o uso do software Critical Appraisal Tool (CAT - Ferramenta de Avaliação Crítica) para ajudar os residentes a agilizar suas apresentações, deixando a maior parte do tempo do clube de revista para discussões. ¹³

Considerando que a literatura médica continua em expansão e que os médicos precisam manter-se atualizados com a quantidade de informação disponível, o CR fornece um lugar onde os especialistas analisam abertamente a literatura com os residentes, ao mesmo tempo em que oferece um ambiente no qual ensina a avaliar os métodos científicos criticamente.¹⁴

O objetivo desta investigação é apresentar uma avaliação do CR como uma ferramenta para abordar a questão se os residentes leem mais e de forma crítica, além da apresentação do CR.

Métodos

Este estudo relata o desempenho dos médicos residentes de anestesiologia do Hospital das Clínicas - Faculdade de Medicina da Universidade de São Paulo (HCFMUSP), São Paulo, Brasil, durante três avaliações das atividades do Clube de Revista, de dezembro de 2011 a dezembro de 2012. Essas avaliações fazem parte do sistema de avaliação formal para obter o certificado profissional de anestesiologia do Programa de Residência da HCFMUSP. O estudo faz parte de um projeto permanente que pesquisa a qualidade de vida dos médicos residentes do HCFMUSP e foi aprovado pelo Comitê de Ética da Faculdade de Medicina da Universidade de São Paulo (protocolo 9017).

Os médicos residentes de 1°, 2° e 3° anos, matriculados no Programa de Residência Médica na área de Anestesiologia recebem sua formação de pós-graduação formal nos vários institutos do HCFMUSP, que inclui o Instituto do Coração, Hospital Infantil, Instituto de Cirurgia Ortopédica, Instituto do Câncer, Hospital Universitário (atendimento obstétrico normal) e Instituto Central que abrange as especialidades médicas, como cirurgia plástica, cirurgia vascular, cirurgia torácica, cirurgia de cabeça e pescoço, urologia, ginecologia e obstetrícia (patologia), neurocirurgia, cirurgia de ouvido, nariz e garganta, oftalmologia e cirurgia de emergência. Esse complexo de instituições realiza 30 mil cirurgias por ano. Além das atividades em centros cirúrgicos, os residentes ficam de plantão diariamente na Unidade de Recuperação Pós-anestesia. Recebem informações teóricas com base em duas atividades semanais regulares: palestras e reuniões rotativas - complicações, tratamento intensivo e discussão de artigos publicados (clubes de revista).

O clube de revista compreende um encontro mensal, para o qual os residentes previamente preparam e apresentam um artigo da área de anestesiologia recentemente publicado, escolhido por um instrutor de anestesiologia (JEV). A forma de escolher um artigo teve como base duas decisões: uma nova diretriz ou um problema relacionado à prática da anestesia. A maioria dos trabalhos abordou uma pesquisa original e um ou dois artigos em cada semestre abordaram diretrizes. Um segundo colega residente é responsável por criticar e destacar os pontos-chave da investigação apresentada.

Após cinco reuniões formais e pelo menos 10 artigos apresentados, todos os médicos residentes foram convidados a responder cinco perguntas derivadas de alguns dos artigos lidos e discutidos. A folha de resposta consistiu em uma declaração afirmativa com uma escala do tipo Likert (discordo totalmente, discordo, não tenho certeza, concordo, concordo totalmente), para cada declaração relacionada a um dos artigos escolhidos. O item foi estabelecido como uma resposta direta (para concordância) ou inversa (para discordância).

Os resultados foram avaliados por meio da análise dos itens para obter o índice de dificuldade e o poder de discriminação de cada item/questão. Essa análise pode dizer se o item foi muito fácil ou muito difícil e o quanto a discriminação foi bem feita entre as pontuações altas e baixas do teste. Resumidamente, para a dificuldade do item, selecionar um terço dos exames com as pontuações mais altas e o mesmo número com as pontuações mais baixas. Somar o número desses exames e somar o número entre esses exames que selecionou a resposta certa para cada item. Dividir a soma das respostas certas pelo total desses exames com pontuações altas e baixas fornecerá a dificuldade do item. Quanto menor for a porcentagem, mais difícil será o item. A discriminação do item é o resultado da subtração do número de respostas certas no grupo de menor pontuação do número de respostas certas no grupo de maior pontuação.

Este resultado é dividido pela média daqueles com um terço dos exames com as pontuações mais altas e o mesmo número com as pontuações mais baixas.¹⁵

Resultados

Os residentes preencheram 173 avaliações nos meses de dezembro de 2011 (n = 51), julho de 2012 (n = 66) e dezembro de 2012 (n = 56), quando receberam as avaliações finais do semestre. O primeiro exame (dezembro/2011) apresentou todos os itens com declarações diretas. Considerando separadamente, "concordo totalmente" fez com que os índices de discriminação e dificuldade melhorassem (apenas um tornou-se menos discriminante, o item 4) ( tabela 1).

Tabela 1
O primeiro exame apresentou itens/perguntas com declarações diretas

Índices	Concordo + concordo totalmente		Discordo totalmente
	Discriminação	Dificuldade	Discriminação	Dificuldade
Roquilly et al. em hidrocortisona após trauma (JAMA 2011;305:1201-9)	-0,24	0,82	0,12	0,06
Fast - Comitê ASA em Diretrizes e Parâmetros de Prática (Anesthesiology 2011;114:495-511)	0,35	0,65	0,71	0,35
Ingrande et al. em peso corporal e propofol (Anesth Analg 2011;113:57-62)	0,29	0,79	0,82	0,41
Kahokehr et al. em ropivacaína intraperitoneal (Ann Surg 2011;254:28-38)	0,65	0,44	0,24	0,12
Saal et al. satisfação com a nestesia (Br J Anaesth 2011;107:703-9)	0,24	0,65	0,29	0,15

• ^{Índice de dificuldade}
  : quanto menor é a porcentagem, mais difícil é o item
• ^{Índice de Discriminação}
  : médias maiores, melhor discriminação.

O segundo exame (julho/2012) foi apresentado em três formas: todos os itens com declarações diretas para serem escolhidas, os dois primeiros itens com declarações diretas mais dois itens finais com declarações inversas, e a terceira forma com os dois primeiros itens com declarações inversas mais dois itens finais com declarações diretas. A apresentação desses itens misturados resultou em um índice de dificuldade maior, embora tenha diminuído o poder de discriminação, ainda que ligeiramente. A separação de "concordo totalmente" de "concordo" aumentou os índices de dificuldade, mas não melhorou o poder de discriminação em todas as questões (tabela 2). O terceiro exame (dezembro/2012) foi apresentado em duas formas: todos os itens com declarações diretas ou todos os itens com declarações inversas. Essa apresentação resultou em maior índice de dificuldade e melhor poder de discriminação. A separação de "concordo totalmente" de "concordar"' aumentou os índices de dificuldade, mas não melhorou o poder de discriminação em todas as questões (tabela 3).

Tabela 2
O segundo exame: três modelos com todos os itens diretos, os dois primeiros itens diretos mais dois finais inversos, e os dois primeiros itens inversos mais dois finais diretos

Índices	Concordo + concordo totalmente		Concordo totalmente
	Discriminação	Dificuldade	Discriminação	Dificuldade
Gaszynski et al. em TOF com sugamadex (Br J Anaesth 2012;108:236)	-0,24	0,82	0,12	0,06
Fast - Comitê ASA em Diretrizes e Parâmetros de Prática (Anesthesiology 2011;114:495-511)	0,35	0,65	0,71	0,35
Ingrande et al. em peso corporal e propofol (Anesth Analg 2011;113:57-62)	0,29	0,79	0,82	0,41
Kahokehr et al. em ropivacaína intraperitoneal (Ann Surg 2011;254:28-38)	0,65	0,44	0,24	0,12
Saal et al. satisfação com a nestesia 2011;107:703-9)	0,24	0,65	0,29	0,15

• ^{Índice de dificuldade}
  : quanto menor é a porcentagem, mais difícil é o item
• ^{Índice de Discriminação}
  : médias maiores, melhor discriminação.

Tabela 3
O terceiro exame apresentou todos os itens/perguntas com declarações diretas ou com declarações inversas

Índices	Concordo + concordo totalmente		Concordo totalmente
	Discriminação	Dificuldade	Discriminação	Dificuldade
Angst et al. em alfentanil e hereditário (Anesthesiology 2012;117:22)	0,56	0,50	0,33	0,17
van Gulik et al. em remifentanil sobre dor crônica (Br J Anaesth 2012;109:616)	-0,11	0,72	0,67	0,33
Aldenkortt et al. em PEEP e obesidade (Br J Anaesth 2012;109:493)	0,22	0,67	0,56	0,28
Jacob et al. em metabolismo cerebral (Anesthesiology 2012;117:1062)	0,67	0,67	0,56	0,28
Walker et al. em raquianestesia em recém-nascidos (Anesth Analg 2012;115)	0,67	0,67	0,33	0,17

• ^{Índice de dificuldade}
  : quanto menor é a porcentagem, mais difícil é o item
• ^{Índice de Discriminação}
  : médias maiores, melhor discriminação.

Discussão

O uso de uma avaliação do clube de revista com declarações diretas e inversas por meio de uma escala de cinco pontos para concordância mostrou aumentar a dificuldade do item e o poder de discriminação. Isso pode refletir o envolvimento tanto com a leitura quanto com a discussão durante a reunião do clube.

Os clubes de revista (CR) têm desempenhado um papel ativo na educação médica há mais de um século e, segundo Linzer, devem ser incorporados no currículo do ensino médico.¹⁶ A organização dessas reuniões adotou as características destacadas anteriormente como associadas à alta frequência e longevidade dos clubes: presença obrigatória e menos funcionários da instituição, embora não tenha havido fornecimento de alimentos.¹⁷

Embora essa atividade de aprendizagem seja aplicada no mundo inteiro e organizada de acordo com as características descritas anteriormente, pesquisas regulares costumam avaliar as metas e monitorar a satisfação dos participantes. Por mais positivas e reconfortantes que sejam tais avaliações, elas não abordam os objetivos, entre outros, da avaliação crítica da literatura apresentada.¹⁸ O presente estudo sugere o uso de exames com perguntas específicas que repassem a literatura apresentada e com a escala de concordância de cinco pontos, como estratégia para medir a participação dos residentes e repassar as informações relevantes. Essa abordagem é diferente dos testes de múltipla escolha ou provas escritas, considerando o interesse em preservar a autoria - citando as descobertas dos autores e fornecendo opções de respostas com as quais se deve concordar ou discordar.

Os testes de múltipla escolha possuem perguntas que, geralmente, mas nem sempre têm as respostas corretas. Estes são instantâneos de um determinado momento de um pequeno subconjunto de memória, a partir do qual os avaliadores tentam fazer previsões sobre todo o conjunto de conhecimento que um estudante ou residente apresentou no momento de fazer o exame. O expediente nessa investigação de citar o conteúdo principal de uma literatura publicada e, eventualmente, reverter as suas conclusões, embora instigue a memória, medeia a atenção como a principal variável global através da qual os fatores motivacionais influenciam o aprendizado substancial. ¹⁹

Os exames também foram formulados com todos os itens apresentando declarações diretas ou inversas, sem o uso de itens formulados negativamente. Essa abordagem funciona à medida que a raiz permanece como item formulado diretamente e as opções de resposta permanecem as mesmas, mas estão em ordem diferente. Essa estratégia pode proteger contra a aquiescência dos médicos residentes e comportamentos definidos de resposta, o que significa concordar/discordar sem raciocinar.²⁰ Os resultados computaram "concordo totalmente" separadamente de um grau anterior na escala de Likert e mostraram melhoras da dificuldade e dos índices de discriminação. Em conjunto, o uso de itens mistos e da escala de Likert para medir o grau de concordância, as estratégias de leitura, participação na discussão, ou ambas, podem ser diferenciadas apenas assistindo a apresentação do CR. Aqueles mais ativos no CR podem estar prontos para escolher o grau mais alto da escala de Likert, em contraste com aqueles que optam por estar menos engajados.

Em conclusão, este estudo propôs avaliar as sessões do CR, citando o artigo original, formulado diretamente ou em uma ordem diferente, por meio da escala de concordância de Likert. Esta abordagem aumentou a dificuldade do item e os índices de discriminação.

References

• ¹
  Alguire PC. A review of journal clubs in postgraduate medical education. J Gen Intern Med. 1998;13:347-53.
• ²
  Hinkson CR, Kaur N, Sipes MW, et al. Impact of offering continu- ing respiratory care education credit hours on staff participation in a respiratory care journal club. Respir Care. 2011;56:303-5.
• ³
  Linzer M, Brown JT, Frazier LM, et al. Impact of a medi- cal journal club on house-staff reading habits, knowledge, and critical appraisal skills. A randomized control trial. JAMA. 1988;260:2537-41.
• ⁴
  Letterie GS, Morgenstern LS. The journal club teaching critical evaluation of clinical literature in an evidence-based environ- ment. J Reprod Med. 2000;45:299-304.
• ⁵
  Harris J, Kearley K, Heneghan C, et al. Are journal clubs effec- tive in supporting evidence-based decision making? A systematic review BEME Guide No. 16. Med Teach. 2011;33:9-23.
• ⁶
  Shifflette V, Mitchell C, Mangram A, et al. Current approaches to journal club by general surgery programs within the South- western surgical congress. J Surg Educ. 2012;69:162-6.
• ⁷
  Crank-Patton A, Fisher JB, Toedter LJ. The role of the journal club in surgical residency programs: a survey of APDS program directors. Curr Surg. 2001;58:101-4.
• ⁸
  Kelly AM, Cronin P. Setting up, maintaining and evaluating an evidence based radiology journal club: the University of Michi- gan experience. Acad Radiol. 2010;17:1073-8.
• ⁹
  Burstein JL, Hollander JE, Barlas D. Enhancing the value of jour- nal club: use of a structured review instrument. Am J Emerg Med. 1996;14:561-3.
• ¹⁰
  McLeod RS, MacRae HM, McKenzie ME, et al. Evidence Based Reviews in Surgery Steering Committee. A moderated journal club is more effective than an Internet journal club in teach- ing critical appraisal skills: results of a multicenter randomized controlled trial. J Am Coll Surg. 2010;211:769-76.
• ¹¹
  Lee AG, Boldt HC, Golnik KC, et al. Using the Journal Club to teach and assess competence in practice-based learning and improvement: a literature review and recommendation for implementation. Surv Ophthalmol. 2005;50:542-8.
• ¹²
  Misra UK, Kalita J, Nair PP. Traditional journal club: a continuing problem. J Assoc Physicians India. 2007;55:343-6.
• ¹³
  Hartzell JD, Veerappan GR, Posley K, et al. Resident run journal club: a model based on the adult learning theory. Med Teach. 2009;31:e156-61.
• ¹⁴
  Valentini RP, Daniels SR. The journal club. Postgrad Med J. 1997;73:81-5.
• ¹⁵
  Gronlund NE. Constructing achievement tests prentice-hall. New Jersey: Englewood Cliffs; 1968.
• ¹⁶
  Linzer M. The journal club medical education: over one hundred years of unrecorded history. Postgrad Med J. 1987;63:475-8.
• ¹⁷
  Sidorov J. How are internal medicine residency journal clubs organized and what makes them successful? Arch Intern Med. 1995;155:1193-7.
• ¹⁸
  Dirschl DR, Tornetta 3rd P, Bhandari M. Designing, conducting, and evaluating journal clubs in orthopaedic surgery. Clin Orthop Relat Res. 2003;413:146-57.
• ¹⁹
  Ausubel DP. The acquisition and retention of knowledge: a cognitive view. Dordrecht, The Netherlands: Kluwer Academic Publishers; 2000.
• ²⁰
  Barnette JJ. Effects of stem and Likert response option reversals on survey internal consistency: if you feel the need there is a better alternative to using those negatively worded stems. Educ Psychol Meas. 2000;60:3361-70.

Datas de Publicação

• Publicação nesta coleção
  Jul-Aug 2014

Histórico

• Recebido
  09 Set 2013
• Aceito
  20 Nov 2014