Evaluación del club de la revista de anestesiología por medio de cambios semánticos

Resúmenes

JUSTIFICACIÓN Y OBJETIVOS:

El abordaje interactivo de un club de revista ha sido descrito en la literatura de enseñanza médica. El objetivo de esta investigación es presentar una evaluación del club de revista como una herramienta para discutir la cuestión de la lectura crítica entre los residentes.

MÉTODOS:

Este estudio relata el desempeño de los médicos residentes de anestesiología del Hospital das Clínicas de la Facultad de Medicina de la Universidad de São Paulo. Todos los médicos residentes fueron invitados a responder a 5 preguntas derivadas de artículos discutidos. La hoja de respuesta consistía en una declaración afirmativa con una escala del tipo Likert ("estoy totalmente en desacuerdo", "en desacuerdo", "no estoy seguro", "estoy de acuerdo", "estoy totalmente de acuerdo"), cada declaración relacionada con uno de los artículos escogidos. Los resultados se evaluaron por medio del análisis de los ítems: índice de dificultad y poder de discriminación.

RESULTADOS:

Los residentes completaron 173 evaluaciones en los meses de diciembre de 2011 (n = 51), julio de 2012 (n = 66) y diciembre de 2012 (n = 56). El primer test incluyó todos los títulos con declaración directa y el segundo y el tercero tuvieron títulos mezclados. Separar "estoy totalmente de acuerdo" de "estoy de acuerdo" aumentó los índices de dificultad pero no mejoró el poder de discriminación.

CONCLUSIONES:

El uso de una evaluación del club de revista con declaraciones directas e inversas y con el uso de una escala de 5 puntos para "estoy de acuerdo", mostró el aumento de la dificultad del ítem y del poder de discriminación. Eso puede reflejar el nivel de implicación en la lectura o en la discusión durante las reuniones del club.

Educación; Médico; Pregrado; Anestesiología; Autoevaluación; Evaluación del programa; Evaluación educacional; Periódicos como tema

BACKGROUND AND OBJECTIVES:

the interactive approach of a journal club has been described in the medical education literature. The aim of this investigation is to present an assessment of journal club as a tool to address the question whether residents read more and critically.

METHODS:

this study reports the performance of medical residents in anesthesiology from the Clinics Hospital - University of São Paulo Medical School. All medical residents were invited to answer five questions derived from discussed papers. The answer sheet consisted of an affirmative statement with a Likert type scale (totally disagree-disagree-not sure-agree-totally agree), each related to one of the chosen articles. The results were evaluated by means of item analysis - difficulty index and discrimination power.

RESULTS:

residents filled one hundred and seventy three evaluations in the months of December 2011 (n = 51), July 2012 (n = 66) and December 2012 (n = 56). The first exam presented all items with straight statement, second and third exams presented mixed items. Separating "totally agree" from "agree" increased the difficulty indices, but did not improve the discrimination power.

CONCLUSIONS:

the use of a journal club assessment with straight and inverted statements and by means of five points scale for agreement has been shown to increase its item difficulty and discrimination power. This may reflect involvement either with the reading or the discussion during the journal meeting.

Education; Medical; Graduate; Anesthesiology; Self-assessment; Program evaluation; Educational measurement; Periodicals as topic

JUSTIFICATIVA E OBJETIVOS:

a abordagem interativa de um clube de revista foi descrita na literatura de ensino médico. O objetivo desta investigação é apresentar uma avaliação do clube de revista como uma ferramenta para discutir a questão da leitura crítica entre os residentes.

MÉTODOS:

este estudo relata o desempenho dos médicos residentes de anestesiologia do Hospital das Clínicas - Faculdade de Medicina da Universidade de São Paulo. Todos os médicos residentes foram convidados a responder a cinco perguntas derivadas de artigos discutidos. A folha de resposta consistia em uma declaração afirmativa com uma escala do tipo Likert (discordo totalmente, discordo, não tenho certeza, concordo, concordo totalmente), cada declaração relacionada a um dos artigos escolhidos. Os resultados foram avaliados por meio da análise de itens - índice de dificuldade e poder de discriminação.

RESULTADOS:

os residentes completaram 173 avaliações nos meses de dezembro de 2011 (n = 51), julho de 2012 (n = 66) e dezembro de 2012 (n = 56). O primeiro teste apresentou todos os itens com declaração direta e o segundo e terceiro testes apresentaram itens mistos. Separar "concordo totalmente" de "concordo" aumentou os índices de dificuldade, mas não melhorou o poder de discriminação.

CONCLUSÕES:

o uso de uma avaliação do clube revista com declarações diretas e inversas e com o uso de uma escala de cinco pontos para acordo mostrou aumentar a dificuldade do item e o poder de discriminação. Isso pode refletir o envolvimento com a leitura ou com a discussão durante as reuniões do clube.

Educação; Médico; Graduação; Anestesiologia; Autoavaliação; Avaliação do programa; Avaliação educacional; Periódicos como tema

Introducción

El abordaje interactivo de un club de revista (CR) ha sido descrito en la literatura de educación médica. Como se ha mencionado anteriormente, el principal objetivo de la mayoría de los clubes es enseñar habilidades para una evaluación crítica de la lectura. Además, las características iniciales todavía funcionan a favor de la alta asistencia de los participantes: presencia obligatoria, disponibilidad de alimentos y la importancia dada por el director del programa¹. Además, la concesión de créditos por asistencia se asoció con el aumento de la participación². Existen relatos de que el CR es un potente motivador del comportamiento de la lectura crítica entre los equipos médicos institucionales³, y en verdad, es un medio para desarrollar un currículo en epidemiologia, bioestadística y diseño experimental⁴.

Los CR son parte integrante de la educación en la sanidad, residencia médica en general y de la formación en cirugía general, además de ser un recurso educacional que puede ayudar un programa de residencia a atender los requisitos básicos de competencia^{5 and 6}. Una encuesta de la Asociación de Directores de Programas en Cirugía mostró que un CR típico se reúne una vez al mes y discute 3-6 artículos. Es interesante notar, sin embargo, que pocos programas relataron que hacían alguna evaluación sistemática o formal⁷. No obstante, aquellos que la realizan usan evaluaciones objetivas con exámenes pretest y postest⁸, mediciones de la satisfacción con el CR mediante una lista de verificación para la revisión del artículo⁹ y el uso de pruebas de evaluación crítica.

Últimamente, el uso de Internet no supera el modelo de CR con moderación presencial para residentes de cirugía¹⁰. Considerando el éxito del CR, parece lógico usar listas de verificación, explicitar los objetivos del aprendizaje y proporcionar una estructura y un proceso de reunión formal, no muy diferente de las características destacadas previamente por Alguire^{1 and 11}. También debemos destacar que un CR debe tener presente los problemas actuales, del verdadero paciente de mayor interés para el grupo¹², y también proporcionar experiencias como el uso del software Critical Appraisal Tool (herramienta de evaluación crítica [CAT]) para ayudar a los residentes a agilizar sus presentaciones, dejando la mayor parte del tiempo del CR para las discusiones ¹³.

Considerando que la literatura médica continúa expandiéndose y que los médicos necesitan mantenerse actualizados con la cantidad de información disponible, el CR suministra un lugar donde los expertos analizan abiertamente la literatura con los residentes, al mismo tiempo que ofrece un ambiente en el cual se enseña a evaluar los métodos científicos de una forma crítica¹⁴.

El objetivo de esta investigación es presentar una evaluación del CR como una herramienta para abordar la cuestión de si los residentes leen más y de forma crítica, además de la presentación del CR.

Métodos

Este estudio relata el desempeño de los médicos residentes de anestesiología del Hospital das Clínicas de la Facultad de Medicina de la Universidad de São Paulo (HCFMUSP), São Paulo, Brasil, durante 3 evaluaciones de las actividades del CR, de diciembre de 2011 a diciembre de 2012. Esas evaluaciones forman parte del sistema de evaluación formal para obtener el certificado profesional de anestesiología del Programa de Residencia del HCFMUSP. El estudio forma parte de un proyecto permanente que investiga la calidad de vida de los médicos residentes del HCFMUSP y que fue aprobado por el Comité de Ética de la Facultad de Medicina de la Universidad de São Paulo (protocolo 9017).

Los médicos residentes de 1.^o, 2.^o y 3.^er año, matriculados en el Programa de Residencia Médica en el área de Anestesiología reciben su formación de postgrado formal en los varios institutos del HCFMUSP, que incluye el Instituto del Corazón, Hospital Infantil, Instituto de Cirugía Ortopédica, Instituto del Cáncer, Hospital Universitario (atención obstétrica normal) e Instituto Central que abarca las especialidades médicas, como cirugía plástica, cirugía vascular, cirugía torácica, cirugía de cabeza y cuello, urología, ginecología y obstetricia (patología), neurocirugía, cirugía de oído, nariz y garganta, oftalmología y cirugía de urgencia. Ese complejo de instituciones realiza 30.000 cirugías por año. Además de las actividades en centros quirúrgicos, los residentes están de guardia diariamente en la Unidad de Recuperación Postanestesia. Reciben informaciones teóricas con base en 2 actividades semanales regulares: conferencias y reuniones rotativas-complicaciones, tratamiento intensivo y discusión de artículos publicados (CR).

El CR comprende un encuentro mensual, para el cual los residentes previamente preparan y presentan un artículo del área de anestesiología recientemente publicado, escogido por un instructor de anestesiología (JEV). La forma de elegir un artículo tuvo como fundamento 2 decisiones: una nueva directriz o un problema relacionado con la práctica de la anestesia. La mayoría de los trabajos abordó una investigación original y uno o 2 artículos en cada semestre abordaron directrices. Un segundo colega residente es el responsable de criticar y de destacar los puntos clave de la investigación presentada.

Después de 5 reuniones formales y de por lo menos 10 artículos presentados, todos los médicos residentes fueron invitados a responder 5 preguntas derivadas de algunos de los artículos leídos y discutidos. La hoja de respuesta consistió en una declaración afirmativa con una escala del tipo Likert ("estoy totalmente en desacuerdo", "no estoy de acuerdo", "no estoy seguro", "estoy de acuerdo", "estoy totalmente de acuerdo"), para cada declaración relacionada con uno de los artículos elegidos. El ítem fue establecido como una respuesta directa (para concordancia) o inversa (para discordancia).

Los resultados fueron evaluados mediante un análisis de los ítems para obtener el índice de dificultad y el poder de discriminación de cada ítem/pregunta. Ese análisis puede decir si el ítem fue muy fácil o muy difícil y lo bien que discriminaba entre las puntuaciones altas y bajas del test. En resumen, para la dificultad del ítem, seleccionar un tercio de los exámenes con las puntuaciones más altas y el mismo número con las puntuaciones más bajas. Sumar el número de esos exámenes y sumar de nuevo el número entre esos exámenes que seleccionó la respuesta correcta para cada ítem. Dividir la suma de las respuestas correctas entre el total de esos exámenes con puntuaciones altas y bajas proporcionará la dificultad del ítem. Cuanto menor sea el porcentaje, más difícil será el ítem. La discriminación del ítem es el resultado de la resta del número de respuestas correctas en el grupo de menor puntuación del número de respuestas correctas en el grupo de mayor puntuación.

Este resultado se divide entre la media de los que tienen un tercio de los exámenes con las puntuaciones más altas y el mismo número con las puntuaciones más bajas¹⁵.

Resultados

Los residentes rellenaron 173 evaluaciones en los meses de diciembre de 2011 (n = 51), julio de 2012 (n = 66) y diciembre de 2012 (n = 56), cuando recibieron las evaluaciones finales del semestre. El primer examen (diciembre de 2011) presentó todos los ítems con declaraciones directas. El considerar separadamente "estoy totalmente de acuerdo" hizo que los índices de discriminación y dificultad mejorasen (solamente uno se convirtió en un ítem con menos nivel de discriminación: el ítem 4) (tabla 1).

Tabla 1
El primer examen presentó ítems/preguntas con declaraciones directas

Índices	«Estoy de acuerdo» + «estoy totalmente de acuerdo»		«Estoy totalmente en desacuerdo»
	Discriminación	Dificultad	Discriminación	Dificultad
Roquilly et al., sobre hidrocortisona después de traumatismo (JAMA. 2011;305:1201-9)	-0,24	0,82	0,12	0,06
Fast-ASA Committee on Standards and Practice Parameters (Anesthesiology. 2011;114:495-511)	0,35	0,65	0,71	0,35
Ingrande et al., sobre peso corporal y propofol (Anesth Analg. 2011;113:57-62)	0,29	0,79	0,82	0,41
Kahokehr et al., sobre ropivacaína intraperitoneal (Ann Surg. 2011;254:28-38)	0,65	0,44	0,24	0,12
Saal et al., sobre satisfacción con la anestesia (Br J Anaesth. 2011;107:703-9)	0,24	0,65	0,29	0,15

• ^{Índice de dificultad}
  : cuanto menor es el porcentaje, más difícil es el ítem
• ^{Índice de discriminación}
  : promedios mayores, mejor discriminación.

El segundo examen (julio de 2012) fue presentado en 3 formas: todos los ítems con declaraciones directas para ser elegidas, los 2 primeros ítems con declaraciones directas y 2 ítems finales más con declaraciones inversas, y la tercera forma con los 2 primeros ítems con declaraciones inversas y 2 ítems finales más con declaraciones directas. La presentación de esos ítems mezclados resultó en un índice de dificultad mayor, aunque haya disminuido el poder de discriminación, aunque sea ligeramente. La separación de "estoy totalmente de acuerdo" de "estoy de acuerdo" aumentó los índices de dificultad, pero no mejoró el poder de discriminación en todas las preguntas (tabla 2). El tercer examen (diciembre de 2012) se presentó en 2 formas: todos los ítems con declaraciones directas o todos los ítems con declaraciones inversas. Esa presentación trajo como resultado un mayor índice de dificultad y un mejor poder de discriminación. La separación de "estoy totalmente de acuerdo" de "estoy de acuerdo" aumentó los índices de dificultad, pero no mejoró el poder de discriminación en todas las preguntas (tabla 3).

Tabla 2
El segundo examen utiliza todos los ítems directos, los 2 primeros ítems directos además de 2 finales inversos, y los 2 primeros ítems inversos además de 2 finales directos

Índices	«Estoy de acuerdo» + «estoy totalmente de acuerdo»		«Estoy totalmente de acuerdo»
	Discriminación	Dificultad	Discriminación	Dificultad
Gaszynski et al., sobre TOF con sugamadex (Br J Anaesth. 2012;108:236)	0,50	0,63	0,88	0,44
Moon et al., sobre el efecto antiemético del ondansetrón (Br J Anaesth. 2012;108:417-22)	0,50	0,50	0,50	0,25
Stumpner et al., sobre desflurano inducido postacondicionamiento (Br J Anaesth. 2012;108:594-601)	0,75	0,63	0,63	0,31
Nakasuji et al., sobre hipotensión en la anestesia espinal en pacientes mayores de 80 años (J Clin Anesth. 2012; 24:201-6)	0,63	0,69	0,50	0,25
Radke et al., sobre respiración espontánea durante anestesia general (Anesthesiology. 2012; 116: 1227-34)	0,38	0,44	0,13	0,06

• ^{Índice de dificultad}
  : cuanto menor es el porcentaje, más difícil es el ítem
• ^{Índice de discriminación}
  : promedios mayores, mejor discriminación.

Tabla 3
El tercer examen presentó todos los ítems/preguntas con declaraciones directas o con declaraciones inversas

Índices	«Estoy de acuerdo» + «estoy totalmente de acuerdo»		«Estoy totalmente de acuerdo»
	Discriminación	Dificultad	Discriminación	Dificultad
Angst et al., sobre el alfentanilo y la herencia (Anesthesiology. 2012;117:22)	0,56	0,50	0,33	0,17
Van Gulik et al., sobre el remifentanilo en el dolor crónico (Br J Anaesth. 2012;109:616)	-0,11	0,72	0,67	0,33
Aldenkortt et al., sobre PEEP y obesidad (Br J Anaesth. 2012;109:493)	0,22	0,67	0,56	0,28
Jacob et al., sobre metabolismo cerebral (Anesthesiology. 2012;117:1062)	0,67	0,67	0,56	0,28
Walker et al., sobre raquianestesia en recién-nacidos (Anesth Analg. 2012;115)	0,67	0,67	0,33	0,17

• ^{Índice de dificultad}
  : cuanto menor es el porcentaje, más difícil es el ítem
• ^{Índice de Discriminación}
  : promedios mayores, mejor discriminación.

Discusión

El uso de una evaluación del CR con declaraciones directas e inversas por medio de una escala de 5 puntos para la concordancia mostró el aumento de la dificultad del ítem y el poder de discriminación. Eso puede reflejar la implicación tanto en la lectura como en la discusión durante la reunión del club.

Los CR han desempeñado un rol activo en la educación médica hace más de un siglo, y según Linzer deben ser incorporados en el currículo de la enseñanza médica¹⁶. La organización de esas reuniones adoptó las características destacadas anteriormente como asociadas a la alta frecuencia y longevidad de los clubes: presencia obligatoria y menos funcionarios de la institución, aunque no haya habido disponibilidad de alimentos¹⁷.

Aunque esa actividad de aprendizaje se aplique en el mundo entero y se organice acorde con las características descritas anteriormente, se suele evaluar las metas y monitorizar la satisfacción de los participantes con investigaciones regulares. Por más positivas y reconfortantes que sean tales evaluaciones, no abordan los objetivos, entre otros, de la evaluación crítica de la literatura presentada¹⁸. El presente estudio sugiere el uso de exámenes con preguntas específicas que hagan un repaso de la literatura presentada y con la escala de concordancia de 5 puntos como estrategia para medir la participación de los residentes y repasar las informaciones relevantes. Ese abordaje es diferente de los test de múltiple elección o de las pruebas escritas, considerando el interés en preservar la autoría, citando los hallazgos de los autores y suministrando opciones de respuestas con las cuales se debe estar de acuerdo o no.

Muchos test de elección incluyen preguntas que, generalmente, (aunque no siempre) tienen las respuestas correctas. Estos son instantáneos de un determinado momento de un pequeño subconjunto de memoria, a partir del cual los evaluadores intentan hacer previsiones sobre todo el conjunto de conocimientos que un estudiante o residente presentó en el momento de hacer el examen. El expediente en esa investigación de citar el contenido principal de una literatura publicada y eventualmente, revertir sus conclusiones, aunque instigue a la memoria, pasa por la atención como la principal variable global a través de la cual los factores motivacionales influyen en el aprendizaje sustancial ¹⁹.

Los exámenes también fueron formulados con todos los ítems presentando declaraciones directas o inversas sin usar los ítems formulados negativamente. Ese abordaje funciona en la medida en que la raíz permanece como un ítem formulado directamente y las opciones de respuesta siguen siendo las mismas pero en un orden diferente. Esa estrategia puede proteger contra la condescendencia de los médicos residentes y comportamientos definidos de respuesta, lo que significa estar de acuerdo/no estar de acuerdo sin razonar²⁰. Los resultados computados "estoy totalmente de acuerdo" separadamente de un grado anterior en la escala de Likert mostraron mejoras en los índices de dificultad y en los índices de discriminación. En su conjunto, el uso de ítems mezclados y de la escala de Likert para medir el grado de concordancia, las estrategias de lectura, participación en la discusión, o ambas, pueden ser diferenciadas solamente viendo la presentación del CR. Aquellos más activos en el CR pueden estar listos para elegir el grado más alto de la escala de Likert, en contraste con aquellos que optan por ser menos participativos.

En resumen, este estudio propuso evaluar las sesiones del CR, citando el artículo original, formulado directamente o en un orden diferente, por medio de la escala de concordancia de Likert. Este abordaje aumentó la dificultad del ítem y los índices de discriminación.

References

• ¹
  Alguire PC. A review of journal clubs in postgraduate medical education. J Gen Intern Med. 1998;13:347-53.
• ²
  Hinkson CR, Kaur N, Sipes MW, et al. Impact of offering continu- ing respiratory care education credit hours on staff participation in a respiratory care journal club. Respir Care. 2011;56:303-5.
• ³
  Linzer M, Brown JT, Frazier LM, et al. Impact of a medi- cal journal club on house-staff reading habits, knowledge, and critical appraisal skills. A randomized control trial. JAMA. 1988;260:2537-41.
• ⁴
  Letterie GS, Morgenstern LS. The journal club teaching critical evaluation of clinical literature in an evidence-based environ- ment. J Reprod Med. 2000;45:299-304.
• ⁵
  Harris J, Kearley K, Heneghan C, et al. Are journal clubs effec- tive in supporting evidence-based decision making? A systematic review BEME Guide No. 16. Med Teach. 2011;33:9-23.
• ⁶
  Shifflette V, Mitchell C, Mangram A, et al. Current approaches to journal club by general surgery programs within the South- western surgical congress. J Surg Educ. 2012;69:162-6.
• ⁷
  Crank-Patton A, Fisher JB, Toedter LJ. The role of the journal club in surgical residency programs: a survey of APDS program directors. Curr Surg. 2001;58:101-4.
• ⁸
  Kelly AM, Cronin P. Setting up, maintaining and evaluating an evidence based radiology journal club: the University of Michi- gan experience. Acad Radiol. 2010;17:1073-8.
• ⁹
  Burstein JL, Hollander JE, Barlas D. Enhancing the value of jour- nal club: use of a structured review instrument. Am J Emerg Med. 1996;14:561-3.
• ¹⁰
  McLeod RS, MacRae HM, McKenzie ME, et al. Evidence Based Reviews in Surgery Steering Committee. A moderated journal club is more effective than an Internet journal club in teach- ing critical appraisal skills: results of a multicenter randomized controlled trial. J Am Coll Surg. 2010;211:769-76.
• ¹¹
  Lee AG, Boldt HC, Golnik KC, et al. Using the Journal Club to teach and assess competence in practice-based learning and improvement: a literature review and recommendation for implementation. Surv Ophthalmol. 2005;50:542-8.
• ¹²
  Misra UK, Kalita J, Nair PP. Traditional journal club: a continuing problem. J Assoc Physicians India. 2007;55:343-6.
• ¹³
  Hartzell JD, Veerappan GR, Posley K, et al. Resident run journal club: a model based on the adult learning theory. Med Teach. 2009;31:e156-61.
• ¹⁴
  Valentini RP, Daniels SR. The journal club. Postgrad Med J. 1997;73:81-5.
• ¹⁵
  Gronlund NE. Constructing achievement tests prentice-hall. New Jersey: Englewood Cliffs; 1968.
• ¹⁶
  Linzer M. The journal club medical education: over one hundred years of unrecorded history. Postgrad Med J. 1987;63:475-8.
• ¹⁷
  Sidorov J. How are internal medicine residency journal clubs organized and what makes them successful? Arch Intern Med. 1995;155:1193-7.
• ¹⁸
  Dirschl DR, Tornetta 3rd P, Bhandari M. Designing, conducting, and evaluating journal clubs in orthopaedic surgery. Clin Orthop Relat Res. 2003;413:146-57.
• ¹⁹
  Ausubel DP. The acquisition and retention of knowledge: a cognitive view. Dordrecht, The Netherlands: Kluwer Academic Publishers; 2000.
• ²⁰
  Barnette JJ. Effects of stem and Likert response option reversals on survey internal consistency: if you feel the need there is a better alternative to using those negatively worded stems. Educ Psychol Meas. 2000;60:3361-70.

Fechas de Publicación

• Publicación en esta colección
  Jul-Aug 2014

Histórico

• Recibido
  09 Set 2013
• Acepto
  20 Nov 2014