Oficina para elaboração de testes de múltipla escolha de ciências básicas aplicadas: relato de experiência

Workshop on item writing to assess basic sciences in health professional education: an experience report

Resumo:

Introdução:

A avaliação do estudante é componente essencial de todo programa educacional. O aprendizado das ciências básicas é fundamental para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. Entretanto, a maioria dos treinamentos de elaboradores de testes de múltipla escolha (TME) é voltada à formulação de questões clínicas e não inclui abordagem específica para questões das ciências básicas.

Relato de experiência:

Foi realizada uma oficina para a capacitação docente na elaboração de TME de aplicação dos conhecimentos de ciências básicas, visando à elaboração de uma prova a ser aplicada no final do ciclo básico de seis cursos da saúde. O material instrucional foi elaborado pelos autores, que ofereceram uma oficina no formato on-line. Um diferencial dessa capacitação foi a aplicação de modelos de elaboração de enunciados com contextos definidos, utilizando momentos de preparo assíncronos e encontro síncrono. Após a oficina, aplicaram-se questionários sobre a satisfação e aprendizagem dos participantes. A maioria avaliou a oficina como boa ou muito boa e referiu aumento da percepção de capacidade para elaborar TME, e, ao final, somente 7% se sentiram pouco preparados para elaborar um TME seguindo as boas práticas. Houve melhora na qualidade dos TME elaborados, tendo como referencial os índices de dificuldade e discriminação.

Discussão:

Existem evidências do valor do desenvolvimento do corpo docente na melhoria da qualidade das questões produzidas. O formato de oficina proposto foi bem avaliado pelos participantes e contribuiu para a qualidade das questões de provas aplicadas ao final do ciclo básico.

Conclusão:

Estratégias como a descrita qualificam as avaliações dentro da escola e contribuem para a organização de provas externas.

Palavras-chave:
Avaliação do Estudante; Conhecimento; Testes de Múltipla Escolha; Ciências Básicas

Abstract:

Introduction:

Student assessment is an essential component of all educational programs. Basic science learning is essential for making clinical knowledge meaningful to healthcare students. However, most item writer training is focused on the formulation of clinical questions and does not include a specific approach to basic science questions.

Experience Report:

Workshops on item writing for knowledge application on basic sciences were carried out with the aim of planning a test to be applied at the end of the basic cycle of six health courses. The instructional material was prepared by the authors, who offered online workshops. A differential of this training was the application of models of item lead-in elaboration with defined contexts, using moments of asynchronous preparation and synchronous encounter. After each workshop, surveys were applied to assess participants’ satisfaction and learning. Most participants rated the workshop as good or very good and reported an increase in their perceived ability to prepare single best answer multiple-choice questions. At the end, only 7% reported they were not prepared to write an item following good practices. There was an improvement in the quality of the items prepared, using the difficulty and discrimination indexes as a reference.

Discussion:

There is evidence of the value of faculty development in improving the quality of the questions produced. The proposed workshop format was well evaluated by the participants and contributed to the quality of tests applied to students at the end of the basic science cycle.

Conclusion:

Strategies such this qualify assessments within the school and contribute to the organization of external exams.

Keywords:
Assessment; Knowledge; Multiple Choice Question; Basic Science

INTRODUÇÃO

A avaliação é um componente essencial de qualquer programa educacional. Trata-se de uma coleta sistemática de dados sobre o aprendizado do estudante em que se adotam métodos apropriados. A avaliação pode ser utilizada para propósito somativo, formativo e/ou informativo/diagnóstico¹. Deve ser considerada como componente inerente às estratégias de ensino, sendo necessário manter sempre coerência com os objetivos educacionais. Exige diferentes estratégias para os diferentes domínios da competência: cognitivo (saber e saber fazer), psicomotor (demonstrar habilidades in vitro - simulações - e fazer - demonstrar habilidades in vivo - cenários reais da prática) e atitudinal (ser, estar e relacionar-se)^2),(3.

A estratégia mais difundida para avaliar habilidades cognitivas são os testes de múltipla escolha (TME). Além da facilidade na elaboração e correção, quando adequadamente formulados, oferecem boas condições de validade e confiabilidade¹. Para tanto, é fundamental que os TME contemplem mais que a memorização de conceitos, privilegiando a habilidade de analisar, raciocinar e decidir a partir de situações relevantes para a prática profissional^4),(5.

O aprendizado sólido das ciências básicas é estruturante para a compreensão e para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. A compreensão dos mecanismos fisiopatológicos embasa o raciocínio clínico e os princípios da terapêutica. Assim, as ciências básicas suportam a prática clínica qualificada^6),(7. O desafio na integração entre ciências básicas e clínicas acontece também pela forma como as questões de ciências básicas são formuladas, pois elas geralmente enfatizam a memorização de conceitos em detrimento da sua aplicação. Há dificuldade adicional na formulação de vinhetas (situações-problema) para contextualização do conteúdo⁵.

Baig et al.⁸ avaliaram 150 TME aplicados a estudantes do ciclo básico e constataram que 76% deles envolviam apenas memorização de fatos isolados e 24% abrangiam alguma compreensão de conceitos, não havendo questões de aplicação de conceitos. Entre os fatores causais, relatou-se falta de treinamento específico dos elaboradores, sendo enfatizado que o aprendizado para a elaboração de um TME no contexto clínico não é facilmente transponível para as ciências básicas⁸. Desse modo, o treinamento para a elaboração de questões de boa qualidade em ciências básicas é fundamental para melhoria das avaliações.

O objetivo deste trabalho é apresentar a experiência da realização de uma oficina para a elaboração de TME de aplicação de conhecimentos sobre ciências básicas destinada a docentes do ciclo básico de cursos da área da saúde.

RELATO DE EXPERIÊNCIA

Trata-se de um relato da experiência da realização de uma oficina de desenvolvimento docente oferecida a professores do ciclo básico de três instituições de ensino superior dentro de um projeto da Faculdade de Medicina de Ribeirão Preto (FMRP-USP) que recebeu financiamento do edital Latin America Grants 2020-2022 do National Board of Medical Examiners dos Estados Unidos⁹⁾ e que tem aprovação no CEP da unidade (50741621.9.0000.5414).

A oficina foi conduzida pelos professores do Centro de Desenvolvimento Docente para o Ensino de Graduação da FMRP-USP, em que se adotou a estratégia de ensino sala de aula invertida em ambiente remoto. O tema central foram as boas práticas na elaboração de TME para avaliar a aplicação de conhecimentos relevantes das ciências básicas.

Estrutura da oficina

O público-alvo, que recebeu convite via e-mail, foi de professores das instituições FMRP-USP, FAMERP e UFTM, que ministram disciplinas do ciclo básico dos cursos: Ciências Biomédicas, Nutrição, Fisioterapia, Terapia Ocupacional, Fonoaudiologia, Educação Física, Enfermagem, Medicina, Psicologia e Informática Biomédica.

Todo o material instrucional foi elaborado pelos autores deste relato, tendo como base o Gold Book do National Board of Medical Examiners⁵. Antes do momento presencial da oficina, enviamos um e-mail aos inscritos com instruções e link para um vídeo (https://youtu.be/ml4qdY_5Yqs) sobre boas práticas na elaboração de TME. Compartilhamos também um artigo sobre o tema de autoria de Bollela et al. ⁽¹⁰ e um arquivo Word com o modelo para elaboração do TME. O formato de TME abordado foi o de “melhor resposta única”, que contempla enunciado claro, comanda objetiva que solicita a resposta mais provável para o problema abordado e distratores homogêneos⁵. Finalmente, solicitamos que cada participante elaborasse e enviasse um TME antes do encontro síncrono.

O desenho da oficina está descrito no Quadro 1.

Quadro 1
Desenho da oficina.

1. Pré-oficina - momento 1: Instruções, videoaula gravada e material escrito foram disponibilizados via e-mail uma semana antes da data agendada para o momento síncrono. O tempo previsto para esse preparo foi de aproximadamente uma hora.

2. Pré-oficina - momento 2: Cada participante foi convidado a elaborar um TME de um tema de sua área (livre escolha), seguindo as recomendações do material disponibilizado. O TME deveria ser escrito no formato “melhor resposta única”, envolvendo a aplicação de conhecimento, e enviada por e-mail aos coordenadores da oficina até dois dias antes do momento síncrono. Somente os coordenadores tiveram acesso a todos os TME elaborados.

3. Oficina on-line síncrona - momento 1: Encontro realizado na plataforma Google Meet. A primeira etapa foi destinada a esclarecimentos de dúvidas e à revisão dos principais conceitos. Em seguida, explicamos como cada pequeno grupo deveria proceder para realizar a revisão de TME em painel. O painel é uma reunião em que elaboradores revisam, em conjunto, vários TME durante um período de três minutos. O TME é projetado e lido pelo autor para que os membros façam comentários e sugestões. A instrução é para que destaquem uma qualidade do TME (abordagem apreciativa) e, em seguida, deem uma sugestão de melhoria, tendo como referência as instruções. Cada painel foi feito em salas virtuais separadas, com mediação de um dos facilitadores, e contou com a participação de cinco a seis participantes divididos randomicamente.

4. Oficina on-line síncrona - momento 2: Plenária após a revisão em painel, quando cada grupo apresentou um dos TME revisados, mostrando como ele era antes e depois da revisão. Os participantes aprenderam como trabalhar na revisão em painel e puderam observar a melhoria proporcionada pela estratégia na qualidade final dos TME.

• Fonte: Elaborado pelos autores.

Um dos diferenciais dessa oficina foi um foco maior na elaboração do enunciado com contexto definido: um problema, uma notícia de jornal, a descrição de um fenômeno biológico ou mesmo uma vinheta clínica. É fundamental ter um contexto relevante que sirva de base para a pergunta do TME, com foco em um objetivo de aprendizagem do plano de ensino do curso. Logo após apresentar o contexto, é preciso elaborar a pergunta, que, se bem-feita, pode garantir sua qualidade.

Tendo como referência o Gold Book⁵, disponibilizamos, no encontro síncrono, alguns modelos de perguntas para serem utilizadas em TME, que podem auxiliar no alinhamento entre o TME e os objetivos de aprendizagem do curso. É fundamental enfatizar que o enunciado dá o contexto para a pergunta e favorece a avaliação da aplicação do conhecimento e não apenas a memorização:

• Qual é a causa/o mecanismo mais provável desse fenômeno?

• Qual é o agente infeccioso causal mais provável para esse quadro?

• Qual é o mais provável defeito (genético, metabólico, imune ...) presente nesse caso?

• Qual citocina é a causa mais provável dessa condição?

• Qual das estruturas está em maior risco de dano durante esse procedimento?

• A medicação mais adequada para essa condição deve ter qual mecanismo de ação?

• Qual dos seguintes modos de transmissão é o mais provável nessa situação?

• Qual é o tipo de resposta imune mais provavelmente envolvido no controle dessa doença?

• Qual é a explicação mais provável desses achados?

• Qual é o local mais provável da lesão da paciente?

• Qual dos resultados apresentados deve estar aumentado (ou diminuído) nesse contexto?

• Qual é o achado mais provável da biópsia nessa situação?

Outra estratégia interessante na elaboração de TME voltados à aplicação de conhecimentos é o uso de gráficos, imagens, experimentos ou seus resultados, além de vídeos que podem auxiliar na apresentação do enunciado e trazer contexto para o que está sendo avaliado.

Avaliação da oficina

Após a oficina, aplicaram-se via Google Forms questionários sobre a satisfação dos participantes com o treinamento, a percepção deles de aprendizado e sugestões de melhoria. A análise das questões elaboradas para a prova-piloto do final do ciclo básico da FMRP-USP também foi feita, avaliando-se a adequação dos TME elaborados. Contemplaram-se assim os dois níveis mais básicos da pirâmide de Kirkpatrick¹¹.

Percepção geral dos participantes

No total, 67 participantes cumpriram todas as etapas preconizadas. Os dados sobre percepção estão representados no Gráfico 1.

Gráfico 1.
Percepçãodos participantes ao final da oficina de capacitação.

Aspectos relatados como positivos, na parte qualitativa do questionário, foram os exemplos de TME disponibilizados previamente, a dinâmica da oficina e a oportunidade de interação entre os participantes durante a revisão em painel. O formato on-line dividiu opiniões, pois para alguns viabilizou a participação, enquanto para outros a distância foi percebida como algo negativo. A abordagem de diferentes temas de ciências básicas foi um aspecto bastante elogiado.

Efeito da oficina na percepção de competência para elaborar TME

Em relação aos conhecimentos e às competências dos participantes ao final da oficina, 57% se declararam competentes em relação ao conhecimento sobre princípios gerais e finalidades da avaliação do estudante (Gráfico 2A). Mais da metade se declarou competente para avaliar o domínio cognitivo (Gráfico 2B). Apenas 7% referiram que se sentiam pouco competentes para elaborar questões no formato de TME ou pouco familiarizados com as recomendações e boas práticas para a elaboração de TME com única alternativa correta (gráficos 2C e 2D, respectivamente).

Gráfico 2.
Efeito da oficina na percepção de competência dos participantes.

A seguir, mostramos um TME que foi discutido na oficina e que exemplifica um TME que atende a todas as recomendações.

Homem, 34 anos, procurou atendimento com queixas de ansiedade e insônia. O médico optou por iniciar tratamento com o benzodiazepínico diazepam, prevendo a retirada do fármaco em duas semanas. Por qual mecanismo o diazepam será benéfico nesse caso?

1. Antagonismo de receptores de serotonina de tipo 5HT2.

2. Antagonismo de receptores de noradrenalina de tipo beta-adrenérgicos.

3. Facilitação da neurotransmissão mediada por receptores de dopamina de tipo D2.

4. Potencialização da neurotransmissão mediada por receptores GABA-A.

Feedback: alternativa D CORRETA: ansiolíticos benzodiazepínicos como o diazepam produzem seus efeitos por se ligarem a sítios específicos no receptor GABA-A, potencializando o efeito do neurotransmissor GABA.

Fonte: Prof. Francisco S. Guimarães - FMRP-USP

Avaliação do impacto da oficina sobre a qualidade das questões produzidas

Participantes contribuíram para a elaboração de questões para as provas aplicadas nos anos de 2021 e 2022 na FMRP-USP. Essas provas tiveram caráter institucional, formativo e diagnóstico, e foram aplicadas aos estudantes que haviam concluído a etapa de formação constituída majoritariamente por disciplinas das ciências biomédicas básicas em seis dos sete cursos de graduação da FMRP-USP. Apenas o curso de Informática Biomédica não foi incluído nessa avaliação. Elaboraram-se provas com uma média de 80 a 100 questões (de acordo com cada curso) a partir de uma tabela de especificação (“matriz de avaliação” ou blueprint) previamente construída para cada curso, relacionando objetivos de aprendizagem dos planos de ensino e aprendizagem à carga horária das disciplinas. A aplicação da prova foi feita on-line na plataforma E-disciplinas da USP (Moodle^®).

Após a aplicação das provas, as análises psicométrica e de qualidade dos TME foram avaliadas por meio de procedimentos que determinam, para cada questão, os valores dos índices de facilidade (IDF) e de discriminação (IDC)¹². Com base nesses critérios, calculou-se, para cada prova, o percentual de questões consideradas adequadas e compararam-se as provas de 2021 e 2022 (antes e depois da oficina).

Efeitos da oficina na qualidade dos TME produzidos e utilizados nas provas institucionais

A participação dos estudantes foi voluntária, e compareceram de 48% a 90% daqueles elegíveis nos diferentes cursos.

O resultado da análise dos IDF e IDC dos TME que compuseram as provas de 2021 e 2022 avaliadas está descrito na Tabela 1. Como indicador de qualidade, estabelecemos que o TME deveria ter um IDF entre 20% e 80% (nem muito fácil, nem muito difícil) e um IDC superior a 20%, o que significa que o TME foi capaz de diferenciar estudantes com melhor desempenho daqueles com pior desempenho na prova como um todo¹². Os TME considerados adequados por esses critérios em 2021 e 2022 foram anotados em porcentagem.

Tabela 1
Evolução da proporção (%) de questões adequadas (adequados IDF e IDC) nas duas provas de ciências biomédicas básicas aplicadas a estudantes voluntários dos seis cursos da FMRP-USP nos anos de 2021 e 2022.

CURSO	2021	2022	VARIAÇÃO
Ciências Biomédicas	39,0	60,0	+ 21,0
Fonoaudiologia	32,5	52,5	+ 20,0
Fisioterapia	58,7	46,2	- 12,5
Medicina	58,0	63,7	+ 5,7
Nutrição e Metabolismo	37,0	65,0	+ 28,0
Terapia Ocupacional	52,4	46,2	- 6,2

• Fonte: Elaborada pelos autores.

O maior aumento do porcentual de questões adequadas de um ano para outro foi no curso de Nutrição e Metabolismo. O que contribuiu de forma expressiva para o aumento da qualidade da prova foi a redução do número de questões pouco discriminativas ou com discriminação negativa.

No Gráfico 3, projetamos os valores do IDF e do IDC das provas de ciências biomédicas básicas aplicadas em 2021 (N = 100) e 2022 (N = 80) aos estudantes desse curso de graduação.

Gráfico 3
Cotejo de IDF e IDC das provas de ciências biomédicas básicas aplicadas em 2021 (N = 100) e 2022 (N = 80) do curso de Nutrição e Metabolismo.

DISCUSSÃO

Até recentemente, as oficinas de capacitação docente não diferenciavam instruções para questões dos ciclos básico e clínico. Por causa de várias solicitações, organizamos essa oficina voltada a docentes das áreas básicas dos cursos da saúde para elaborar TME que fossem direcionados à aplicação do conhecimento.

Nessa experiência, foi possível constatar que houve incremento na qualidade dos TME elaborados para uma avaliação de ciências básicas aplicadas em cursos de graduação da área da saúde, a partir da análise do IDF e IDC dos TME que compuseram as provas e também levando em consideração a percepção dos docentes que participaram da oficina.

Estudos mostram que TME elaborados por professores não preparados carecem de qualidade. Vários programas de desenvolvimento docente visam melhorar as habilidades de redação de TME, e existem evidências dessa capacitação na melhoria da qualidade das questões produzidas^13)-(15.

Em vez de pedirmos aos estudantes que identifiquem uma estrutura anatômica, podemos oferecer uma situação que exemplifique uma alteração naquela estrutura e solicitar a eles que apontem o local mais provável da lesão. Em vez de perguntarmos sobre algum conhecimento factual envolvido no conceito de acidose respiratória, podemos oferecer um cenário com valores de gases sanguíneos arteriais e pedir aos estudantes que identifiquem que se trata de uma situação em que a acidose respiratória é a resposta mais provável¹⁶.

A alta frequência de questões de memorização que observamos em TME que avaliam ciências biomédicas básicas fragiliza a validade das avaliações na sua capacidade de permitir inferência sobre a capacidade dos estudantes de utilizar conhecimentos relevantes para compreensão de fenômenos importantes no contexto da prática profissional. E a elaboração de enunciados que tragam contextualização para as questões de ciências básicas não precisa ser, obrigatoriamente, no formato de casos clínicos⁸.

A melhoria dos processos avaliativos deve ser uma prática valorizada e se dá por meio de atividades sistemáticas, como treinamentos contínuos, prática (elaboração de testes para provas), análise da qualidade do que foi produzido e devolutiva aos elaboradores, visando ao aprimoramento do processo. Assim, os elaboradores contribuem na construção de exames válidos e confiáveis, e se beneficiam da análise dos resultados dos TME e das provas. Experiências prévias mostram grande engajamento de professores no processo em que o ganho é mútuo¹⁰.

Como até recentemente não havia instruções específicas para elaboradores de TME relacionados às ciências básicas⁵, desenhamos e implementamos uma oficina mais voltada para esse público específico que, frequentemente, participa de exames nacionais e locais avaliando a capacidade do estudante de aplicar conhecimentos de ciências básicas relevantes na área da saúde. Até onde sabemos, trata-se de uma iniciativa pioneira no Brasil, visto que a maioria das experiências descritas tem caráter geral inespecífico ou foco bem definido na produção de TME voltados às ciências clínicas.

A pandemia da Covid-19 trouxe um desafio adicional para a implementação da oficina, mas no final a experiência adquirida na utilização de recursos para atividades on-line ampliou as possibilidades de oferta de atividades formativas, que sempre foram presenciais e agora podem ser nessa modalidade, utilizando educação remota mediada por tecnologias de informação. Apesar de alguma insatisfação com o formato on-line, os resultados gerais e a satisfação dos participantes foram muito promissores e indicam a efetividade desse formato, como descrito por outros autores¹⁷.

Karthikeyan et al.¹⁸ identificaram fatores que podem ser limitadores ou facilitadores para elaboração de TME de boa qualidade. Entre as barreiras descritas, destaca-se a falta de motivação dos professores, o que estreitamente ligado à não valorização dessa atividade por parte da instituição. Além disso, destaca-se a falta de tempo e disponibilidade de agenda por parte dos facilitadores e dos participantes. Entre os fatores facilitadores, estão o desenvolvimento docente, que deve ser oferecido de modo regular, e os programas de controle de qualidade no contexto da educação e da avaliação (internos ou externos).

CONCLUSÃO

A experiência descrita mostrou-se bem-sucedida. A satisfação dos participantes e a percepção deles de que houve aumento da sua competência, bem como a qualificação de TME produzidos em oficinas direcionadas ao treinamento de professores para elaboração de TME de aplicação das ciências básicas nos cursos da saúde, fortalecem e qualificam o envolvimento dos docentes desse importante segmento. Adicionalmente, a melhora da qualidade das questões da área básica produzidas, medida pela variação positiva nos valores de indicadores psicométricos, sugere que devemos continuar investindo na capacitação docente dos elaboradores que atuam nesse segmento. Uma oficina com as características descritas tem potencial de trazer benefícios tanto nas avaliações dentro da escola quanto na contribuição para a organização de provas externas.

REFERÊNCIAS

• ¹
  Norcini J, Anderson MB, Bollela V, Burch V, Costa MJ, Duvivier R, et al. Consensus framework for good assessment. Med Teach. 2018 Nov; 40(11):1102-9.
• ²
  Bollela VR, Borges MC, Volpe FAP, Santos LL, Santana RC, Ricz HMA, et al. Princípios gerais da avaliação do profissional da saúde em formação. In: Romão GS, Sá MFS, Fernandes CE, editores. Residência médica: ensino e avaliação das competências. Barueri: Manole; 2021. p. 339-55.
• ³
  Norcini J, Troncon L. Foundations of assessment. FAIMER-Keele Master’s in Health Professions Education: accreditation and assessment. Module 1, Unit 1, 2018. London: FAIMER Centre for Distance Learning, CenMEDIC.
• ⁴
  Bloom BS. Some theoretical issues relating to educational evaluation. In: Tyler RW, editor. Educational evaluation: new Roles, new neans (National Society for the Study of Education Yearbook). Chicago: University of Chicago Press; 1969. v. 68, part 2, p. 26-50.
• ⁵
  Paniagua MA, Swygert KA. Constructing written test questions for the basic and clinical sciences. Philadelphia: NBME; 2016.
• ⁶
  Kouz K, Eisenbarth S, Bergholz A, Mohr S. Presentation and evaluation of the teaching concept “ENHANCE” for basic sciences in medical education. PLoS One. 2020 Sept 29;15(9):e0239928.
• ⁷
  Woods NN, Neville AJ, Levinson AJ, Howey EHA, Oczkowski WJ, Norman GR. The value of basic science in clinical diagnosis. Acad Med. 2006;81(10 Suppl):S124-7.
• ⁸
  Baig M, Ali SK, Ali S, Huda N. Evaluation of multiple choice and short essay question items in basic medical sciences. Pakistan J Med Sci 2014;30(1):3-6.
• ⁹
  National Board of Medical Examiners. 2020 [acesso em 21 out. 2022]. Disponível em: Disponível em: https://www.nbme.org/news/latin-america-grants-program-advances-assessment-partner-institutions
  » https://www.nbme.org/news/latin-america-grants-program-advances-assessment-partner-institutions
• ¹⁰
  Bollela VR, Borges MC, Troncon LEA. Avaliação somativa de habilidades cognitivas: experiência envolvendo boas práticas para a elaboração de testes de múltipla escolha e a composição de exames. Rev Bras Educ Med. 2018;42(4):74-85.
• ¹¹
  Kirkpatrick DL. Evaluation of training. In: Craig RL, Bittel LR, editors. Training and development handbook. New York: McGraw Hill; 1967.
• ¹²
  Vianna HM. Testes em educação. São Paulo: Cescem; 1973.
• ¹³
  Abdulghani HM, Irshad M, Haque S, Ahmad T, Sattar K, Khalil MS. Effectiveness of longitudinal faculty development programs on MCQs items writing skills: a follow-up study. PLoS One . 2017;12(10):e0185895.
• ¹⁴
  Abdulghani HM, Ahmad F, Irshad M, Khalil MS, Al-Shaikh GK, Syed S, et al. Faculty development programs improve the quality of multiple choice questions items’ writing. Sci Rep. 2015;5:9556.
• ¹⁵
  Naeem NN, Vleuten C van der, Alfaris EA. Faculty development on item writing substantially improves item quality. Adv Health Sci Educ Theory Pract. 2012;17(3):369-76.
• ¹⁶
  Blanco M. Constructing written test questions for the basic and clinical science. 2016. Tufts University, School of Medicine, Boston [acesso em 21 out. 2022]. Disponível em: Disponível em: https://www.etsu.edu/com/acadaffairs/documents/cpywrt2016_univtufts_eval_writingexamquestions_basic_sciences.pdf
  » https://www.etsu.edu/com/acadaffairs/documents/cpywrt2016_univtufts_eval_writingexamquestions_basic_sciences.pdf
• ¹⁷
  Hefny H, Said Abbadi S. E-Workshop on writing multiple-choice questions: online experience during the period of Covid-19 crisis. J Microsc Ultrastruct. 2020;8(4):207-10.
• ¹⁸
  Karthikeyan S, O’Connor E, Hu W. Barriers and facilitators to writing quality items for medical school assessments: a scoping review. BMC Med Educ. 2019;19(1):123.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editora associada: Daniela Chiesa.

Datas de Publicação

• Publicação nesta coleção
  26 Jun 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  14 Out 2022
• Aceito
  02 Abr 2023