Avaliação de competência clínica em estudantes de medicina pelo Miniexercício Clínico Avaliativo (Miniex)

Evaluation of medical students' clinical skills using the Mini-Clinical Evaluation Exercise (mini-CEX)

PESQUISA

Avaliação de competência clínica em estudantes de medicina pelo Miniexercício Clínico Avaliativo (Miniex)

Evaluation of medical students' clinical skills using the Mini-Clinical Evaluation Exercise (mini-CEX)

Luiz Megale; Eliana Dias Gontijo; Joaquim Antônio César Motta

Universidade Federal de Minas Gerais, Minas Gerais, Brasil

^{Endereço para correspondência}

RESUMO

A avaliação de competências clínicas constitui etapa essencial na formação do estudante de Medicina e deve ser feita pela observação direta do desempenho em situação real. Este trabalho objetiva determinar a confiabilidade e a consistência interna do Miniexercício Clínico Avaliativo (Miniex), instrumento de avaliação de competências clínicas que consiste na observação feita pelo professor em uma consulta focada, realizada pelo interno, no ambiente de trabalho. Ao final da consulta, o docente conversa com o estudante sobre suas falhas e acertos, configurando a avaliação formativa. Foram produzidos 12 vídeos que mostram o desempenho de estudantes em atendimento a pacientes na Enfermaria de Pediatria do Hospital das Clínicas da UFMG. Vinte quatro professores do Departamento de Pediatria com média de 25 anos de docência assistiram individualmente aos filmes, pontuando os itens da competência pelo Miniex. O Coeficiente de Correlação Intraclasse foi de 0,71 com IC de 95%, e o Coeficiente Alfa de Cronbach, 0,84, indicando boa confiabilidade e consistência interna do Miniex. O escore de satisfação com o instrumento foi de 7,5 para os docentes e 8,3 para os internos numa escala de 9 pontos. Os achados recomendam prosseguir os estudos para avaliar os critérios de validade e exequibilidade do Miniex.

Palavras-chave: Competência clínica; Educação médica; Avaliação; Interno.

ABSTRACT

Evaluation of clinical skills is an essential stage in medical training and should be conducted through direct observation of students' performance in real situations. The current study aims to determine the reproducibility and internal consistency of the Mini-Clinical Evaluation Exercise (mini-CEX), a tool for evaluating clinical skills that consists of observation by a faculty member while the student conducts a focused history and physical examination in the actual clinical setting. At the end of the examination, the faculty member provides feedback on the student's performance, thus establishing the training evaluation. Twelve videos were produced that illustrate students' performance while treating patients in the Pediatrics Ward of the UFMG University Hospital. Twenty-four faculty members from the Department of Pediatrics, with an average of 25 years' teaching experiences, watched the films individually, scoring the various skills according to the Mini-CEX parameters. The intraclass correlation coefficient was 0.71, with a 95% confidence interval and Cronbach's alpha of 0.84, indicating good reproducibility and internal consistency for the Mini-CEX. The satisfaction score with the instrument was 7.5 for faculty and 8.3 for interns, on a 9-point scale. The findings highlight the importance of further research to evaluate the reproducibility and applicability of the Mini-CEX.

Keywords: Clinical competence; Medical education; Evaluation; Intern.

INTRODUÇÃO

O estudante de Medicina encontra-se em pleno processo de aquisição de qualidades intelectuais e habilidades psicomotoras, e desenvolvimento de valores éticos, atitudes e comportamentos, essenciais em seu futuro exercício profissional. O modelo pedagógico de um curso visa utilizar as melhores estratégias para propiciar o desenvolvimento do processo de aprendizagem e deve utilizar instrumentos eficientes para sua avaliação.

O propósito da avaliação é configurar o rendimento escolar do estudante em seus aspectos cognitivo, psicomotor e afetivo. O domínio cognitivo refere-se às habilidades de natureza puramente intelectual, como aquisição de conhecimento, compreensão, análise e capacidade de síntese, entre outras. As habilidades psicomotoras são as que demandam os órgãos do sentido e o sistema neuromuscular para o desempenho de tarefas específicas. Por sua vez, o domínio afetivo compreende atitudes, crenças, valores e juízos acerca das situações, funcionando como importantes determinantes da emissão de comportamentos específicos, favoráveis, desfavoráveis ou neutros em relação à atuação profissional. Segundo Troncon¹, a avaliação do estudante de Medicina reveste-se de importância especial, visto que deve contemplar não só o conhecimento adquirido, mas também habilidades específicas e elementos de ordem afetiva, como as atitudes frente aos inúmeros aspectos da prática profissional.

A observação direta das habilidades clínicas dos estudantes pelos professores é essencial para se afirmar que o estudante atingiu o nível de competência necessário a determinada etapa de seu aprendizado. A avaliação deve ser indissociável do processo educacional, aplicada em vários momentos do curso e reconhecida pelo próprio estudante como um sinal norteador de seu progresso. Para o professor também deve funcionar como um recurso de grande utilidade no controle de qualidade do que ele está ensinando e de sua estratégia pedagógica¹.

Apesar de aceitar o pressuposto de que uma prática profissional de excelência é obtida pelo domínio de uma sólida base de conhecimentos teóricos, considera-se que a apropriação de numerosos conhecimentos pode não ensejar sua mobilização em situações de ação. A construção de competências no indivíduo se baseia não apenas em inteligência e conhecimentos, mas também em esquemas próprios, em processos intuitivos, procedimentos de identificação e resolução de problemas. Para a boa prática profissional é importante verificar a capacidade de mobilização dos conhecimentos teóricos em situações de ação. As competências manifestadas por meio das ações humanas não são somente conhecimentos, mas elas utilizam, integram e mobilizam tais conhecimentos^2,3.

Para Perrenoud⁴, competência é a "capacidade de mobilizar e integrar o conjunto de conhecimentos especializados e saberes, recursos e habilidades para a resolução de problemas num contexto profissional determinado".

A avaliação de competência, portanto, tem como princípios básicos a observação do desempenho do estudante em tarefas clínicas específicas executadas em pacientes, bem como o correspondente juízo de valor sobre a adequação desse desempenho. Os instrumentos devem avaliar o estudante "mostrando como faz", devendo ser consideradas as habilidades clínicas, psicomotoras, a interação com o paciente, o manejo da informação, a capacidade de julgamento, síntese e decisão e a preservação de atitudes éticas⁵.

A avaliação do estudante constitui, possivelmente, a etapa de maior relevância em todo o processo educacional, permitindo aos docentes e aos estudantes averiguarem se os objetivos educacionais planejados estão se desenvolvendo no rumo traçado, corrigindo-se eventuais distorções. A forma e o conteúdo das avaliações são importantes, por constituírem poderoso determinante de como os estudantes estudam e aprendem⁶.

Em educação médica, as competências envolvidas constituem, quase sempre, conhecimentos e habilidades complexos, com inter-relações variadas entre os domínios. Portanto, a avaliação do estudante de Medicina deve incluir uma diversidade de instrumentos voltados para aspectos específicos.

O estudante de Medicina, além de adquirir um conjunto de conhecimentos fundamentais, necessita, também, dominar uma série de habilidades de complexidade variável, que nem sempre são de fácil avaliação e exigem diversidade de métodos e de instrumentos específicos.

Um instrumento que se propõe medir essa competência, precisa ser avaliado com metodologia específica para o estudo de suas propriedades psicométricas por meio da investigação da confiabilidade e da validade do instrumento⁷.

O Mini Clinical Evaluation Exercise (Mini-Cex)⁸ vem sendo utilizado em vários serviços de residência e universidades norte-americanas como uma escala de avaliação de habilidades clínicas. É um instrumento de observação direta de desempenho, que permite que o professor avalie o estudante enquanto este realiza uma consulta objetiva e rápida, focada em determinada necessidade do paciente. Sua principal característica é reproduzir da maneira mais fiel possível a rotina do profissional em seu local de trabalho. Não interfere na rotina do serviço, não usa o paciente como objeto de ensino e consegue identificar e corrigir deficiências de desempenho.

No curso médico da Faculdade de Medicina da UFMG, espera-se que, nos internatos, os estudantes já saibam e demonstrem como mobilizar, integrar e transferir os conhecimentos, recursos e habilidades adquiridos ao longo do curso num contexto profissional determinado. Na realidade, é durante o internato que o estudante deve demonstrar sua competência, ainda sob supervisão, de tal maneira que ainda seja possível promover ajustes no aprendizado⁹.

Consciente do papel da instituição formadora de buscar as melhores alternativas de avaliação discente para garantir à sociedade que seus formandos serão profissionais éticos, humanos, socialmente responsáveis e competentes para dar respostas adequadas às necessidades de saúde da população, o presente estudo teve por objetivo estudar a confiabilidade e a consistência interna de um instrumento de avaliação de habilidades clínicas do estudante de Medicina durante o estágio hospitalar.¹⁰

METODOLOGIA

Descrição do instrumento

O Mini Clinical Evaluatin Exercice (Mini-Cex) foi idealizado para ser um instrumento de avaliação formativa, no qual o residente ou interno realiza uma consulta objetiva num paciente, sendo observado pelo professor. A consulta deve ser focada na necessidade atual do paciente e de rápida duração, em média de 15 a 20 minutos. Pode acontecer em vários ambientes, como numa enfermaria, no ambulatório, no alojamento conjunto de uma unidade neonatal ou numa UTI, podendo ser uma primeira consulta ou uma consulta de seguimento. Durante o encontro do interno com o paciente, o examinador observa e faz anotações na ficha padronizada, oferecendo logo após o exercício avaliativo um feedback ao estudante, apontando-lhe as áreas em que foi bem avaliado e aquelas em que há necessidade de aperfeiçoamento. Para cada encontro, o professor anota a data, a complexidade do caso clínico, o sexo do paciente, o tipo de consulta, o local, o tempo em minutos gasto na consulta e o tempo do feedback.

O examinador deve anotar se o foco da consulta é: coleta de dados, diagnóstico, tratamento ou orientações de alta. Seguindo a rotina de atendimento na enfermaria, na maioria das vezes, o interno já conhece o paciente e o foco do encontro. Nas consultas de internação e nas primeiras consultas de ambulatório, o foco surgirá durante a consulta, dependendo da necessidade do paciente naquele momento. Utilizando uma escala de 9 pontos - em que de 1 a 3 será considerado insatisfatório; 4, 5 e 6, satisfatório; e 7, 8 e 9, superior -, o professor avalia o interno nos seguintes quesitos: habilidades na entrevista, habilidades no exame físico, qualidades humanísticas/profissionalismo, raciocínio clínico, habilidades de orientação, organização/eficiência e competência clínica geral (^{Anexo I})¹¹.

O professor anota seu grau de satisfação com o método numa escala de 9 pontos em que o nível 1 significa insatisfeito, e o 9, muito satisfeito. Para qualquer item, o professor poderá anotar "não aplicável" se considerar que naquele quesito não há dados suficientes para uma correta avaliação.

Finalmente, a competência geral é avaliada, não como uma média aritmética dos demais escores, mas como síntese da avaliação.

Anota-se o tempo gasto em minutos pelo estudante durante a consulta e o tempo gasto com o feedback fornecido pelo examinador. O documento deve ser assinado pelo professor e pelo estudante (^{Anexo II}).

Pelo fato de os encontros serem relativamente curtos e objetivos, e ocorrerem no ambiente de treinamento do interno ou residente, cada estudante tem a oportunidade de ser avaliado várias vezes e por diferentes professores, o que facilita a aferição psicométrica do teste¹².

Área de atuação e local do estudo

Para a aplicação do Mini Clinical Evaluation Exercise (Mini-Cex), foi escolhida a disciplina Internato de Pediatria, ministrada para 80 estudantes do 11º e 12º períodos, em estágios trimestrais, desenvolvidos em tempo integral, com escala de atividades diurnas, noturnas e em finais de semana, de acordo com as características do serviço em que se desenvolvem.

O processo de aprendizagem dos estudantes é integrado ao processo assistencial, formando grupos de cinco sob a orientação de um professor. Cada interno fica responsável por um paciente, devendo avaliar diariamente a criança e discutir os achados e a conduta durante a corrida de leitos.

A pesquisa foi desenvolvida na Enfermaria de Pediatria do Hospital das Clínicas da Universidade Federal de Minas Gerais. Esta enfermaria conta com um total de 60 leitos e funciona em sistema de alojamento conjunto. Como se trata de hospital público, de ensino, as crianças internadas geralmente apresentam doenças mais graves, exigindo tempo prolongado de hospitalização.

Casuística

Entre os 19 vídeos realizados durante o atendimento clínico feito pelos internos aos pacientes internados na enfermaria de pediatria do Hospital das Clínicas foram selecionados 12 (63%), que atenderam aos critérios técnicos para edição. Estes vídeos foram submetidos à avaliação dos professores do Departamento de Pediatria. Todos os 24 professores convidados a participar do estudo, como examinadores, devolveram os formulários preenchidos.

A casuística constou de 12 vídeos que mostram o atendimento feito por 12 internos em 10 crianças internadas na enfermaria do Hospital das Clínicas da UFMG com patologias variadas e 2 recém-nascidos normais na unidade neonatal.

Os vídeos foram feitos durante o segundo semestre de 2006 no atendimento clínico rotineiro de todas as manhãs, durante a corrida de leitos, na qual o interno executa uma consulta focada na necessidade do paciente. Durante o encontro do interno com o paciente, o examinador observava e anotava na ficha (^{Anexo II}), oferecendo um feedback ao estudante logo após o exercício avaliativo, mostrando as áreas em que foi bem avaliado e aquelas em que haveria necessidade de maior investimento.

Quando o foco da consulta era tratamento ou orientações de alta, os internos conheciam os pacientes. Nos casos de coleta de dados, os estudantes faziam contato com os pacientes pela primeira vez.

Procedimentos

Antes de iniciada a pesquisa, o Mini Clinical Evaluation Exercise foi traduzido para o português, retrotraduzido para o inglês e enviado ao Dr. John J. Norcini, PhD, atual presidente da Foundation for Advancement of International Medical Education and Research (Faimer) e idealizador do Mini-Cex. Com sua aprovação, esta tradução tornou-se o instrumento oficial para aplicação do Mini-Cex no Brasil. Em português, este instrumento foi denominado Miniexercício Clínico Avaliativo (Miniex)¹³.

Os vídeos foram executados por profissional da área, acompanhado do pesquisador principal, usando-se apenas duas pequenas câmaras digitais e um microfone sem fio colocados perto do berço da criança. Em seguida, os filmes foram editados para manter o melhor ângulo de imagem, mantendo rigorosamente o tempo da consulta.

Todos os internos que participaram dos vídeos sabiam do propósito da pesquisa e assinaram o Termo de Consentimento. Não houve nenhum tipo de combinação ou instrução aos internos, uma vez que o objetivo era reproduzir a situação mais real possível. Os internos sabiam que seu desempenho não seria considerado como avaliação oficial do estágio. Como as câmaras eram muito pequenas e a iluminação natural, evitando-se a todo custo que a enfermaria se transformasse em estúdio, tanto os estudantes quanto os pacientes se apresentaram nas filmagens de maneira natural.

Para manter o maior grau possível de realidade nos vídeos, optou-se por não interferir nas condições rotineiras do ambiente hospitalar. Assim, durante as filmagens, não houve nenhuma limitação a qualquer tipo de atividade na enfermaria, fosse ela assistencial, didática ou recreativa. Pessoas conversando, auxiliares de enfermagem entrando na enfermaria e realizando algum tipo de procedimento, barulho, crianças chorando nos berços ao lado, pessoas passando em frente às câmaras impediram que 7 (35%) dos vídeos fossem utilizados, por motivos técnicos. Dos 19 vídeos, 12 foram considerados em condições técnicas para edição.

Participação dos docentes

Foi solicitado a 24 professores que assistissem aos vídeos e pontuassem os estudantes segundo a escala do Miniex. Os professores foram divididos em dois grupos: o primeiro foi constituído por professores com experiência docente na enfermaria, e o segundo, com atividades didáticas mais relacionadas ao ensino ambulatorial.

Cada professor recebeu uma pasta com um pequeno questionário sobre dados pessoais, como tempo de docência, categoria funcional, experiência como docente na enfermaria ou no ambulatório e critérios utilizados para avaliação de seus estudantes. Havia ainda um resumo do caso clínico de cada um dos pacientes, correspondentes aos diversos filmes, uma ficha do Miniex a ser preenchida para cada caso e uma folha para o professor fornecer o feedback que julgasse pertinente.

Os professores assistiram aos vídeos e pontuaram o Miniex na presença do pesquisador em sessões individuais, em uma única vez e em tempo real.

Análise estatística

Inicialmente, realizou-se uma análise descritiva do perfil dos professores participantes do estudo, além das informações sobre os exames. Para as variáveis nominais ou categóricas, foram feitas tabelas de distribuição de frequências. Já para as variáveis numéricas foram utilizadas medidas de tendência central e variabilidade.

Foi calculado o coeficiente de correlação intraclasse para avaliar a confiabilidade dos escores dos itens da escala. Nessa análise, o cálculo foi realizado pela análise de variância com dois fatores e efeitos aleatórios¹⁴.

Para avaliar a consistência interna do instrumento, calculou-se o Coeficiente Alfa de Cronbach para cada item da escala, considerando as 24 avaliações dos professores.

Os escores dados pelos docentes adjuntos e assistentes que atuam na enfermaria ou ambulatório foram comparados em cada item da escala por meio do teste não paramétrico de Wilcoxon, por se tratar de distribuição assimétrica e grupos dependentes.

Em todas as análises foi considerado um nível de 5% de significância. Foi utilizado o pacote estatístico SPSS 12.0.

Aspectos éticos

Todos os participantes assinaram o termo de consentimento livre e esclarecido. O Conselho de Ética em Pesquisa da UFMG (Coep) aprovou a pesquisa em seu parecer 165/06.

RESULTADOS

Os agravos, em sua maioria (42%), eram doenças hematológicas - leucemias, púrpura trombocitopênica idiopática e aplasia de medula. Houve grande variabilidade na idade das crianças, com uma média de 36 meses e um desvio padrão de 52,9 meses e mediana de 10,5 meses.

Em relação ao foco da consulta, verificou-se predomínio de "tratamento" (42%); em segundo lugar, "coleta de dados" e "orientação", ambos com 25%; e "diagnóstico" (8,0%). As consultas de retorno constituíram a maioria (75%). O tempo de observação foi de 9,6 minutos (12,5 ± 6,7), e o tempo médio de retorno foi de 5,8 minutos, com desvio padrão de 3,2 minutos.

A maioria dos docentes que participaram da pesquisa (54,2%) são professores adjuntos, especialistas (62,5%) e exercem atividades em enfermaria (54,2%). O tempo médio de docência foi de 25 anos e mediana de 28 anos.

O grupo de estudantes foi homogêneo, todos regularmente matriculados no Internato de Pediatria, disciplina ministrada no 11º e 12º períodos do curso de Medicina, e tendo cursado as mesmas disciplinas obrigatórias nos períodos anteriores. A distribuição dos alunos por gênero reflete o percentual de homens (50%) e mulheres no universo dos alunos matriculados no curso médico.

Em todos os itens os estudantes tiveram bom desempenho, com escores médios acima de 6,5 e pequena variabilidade (Tabela 1). Entre os professores, a variabilidade dos escores também foi baixa, com desvio padrão em torno de 1 para todos os itens.

O Coeficiente de Correlação Intraclasse foi de 0,71 com intervalo de confiança de 95% variando entre 0,51 e 0,99, indicando boa confiabilidade do instrumento.

O Coeficiente Alfa de Cronbach variou entre 0,87 e 0,96, exceto para o item "raciocínio clínico", sendo significativo de acordo com o intervalo de confiança, o que indica excelente consistência interna entre os itens do instrumento (Tabela 2). O elevado número de não respostas no componente "raciocínio clínico" pode ter influenciado o valor obtido pelo coeficiente e a amplitude do intervalo de confiança.

O Coeficiente Alfa total é de 0,70 quando se considera o item "raciocínio clínico" e de 0,84 quando se exclui esse item da análise.

A comparação entre os docentes de enfermaria e ambulatório (Tabela 3) revela diferenças significativas entre os escores dados pelos professores nos itens "habilidades no exame físico" e "raciocínio clínico" (p < 0,05). Os professores que atuam em enfermaria avaliaram o desempenho referente ao exame físico com escores mais elevados do que aqueles com atividades docentes ambulatoriais.

Comparando-se a titulação dos docentes, verificou-se que somente no item "exame físico" não houve diferença significativa entre escores dados. Os professores adjuntos se mostraram mais rigorosos nos itens de raciocínio clínico, habilidades de orientação e competência clínica geral.

Os escores obtidos pelos estudantes no item "competência clínica geral" variaram, em média, entre 5,1 e 7,9. A média da pontuação nos diversos componentes da competência ficou acima de 6,5, indicando que o grupo como um todo pode ser classificado como satisfatório/superior. Entretanto, comparando-se as notas mínimas e máximas dadas pelos diversos professores, percebe-se uma amplitude elevada, que varia entre 3 e 5.

O Coeficiente de Correlação de Pearson apresentou um índice de *0,989 (p < 0,001), demonstrando alta correlação entre a nota dada para o componente "competência geral" e a média aritmética dos demais itens da escala.

O grau de satisfação dos professores foi de 7,5, e o dos estudantes foi de 8,3, numa escala de 9 pontos.

O Coeficiente de Correlação de Pearson entre o escore do Grau de Satisfação do Professor e o item "competência clínica geral" mostrou-se elevado (R = 0,97) e altamente signficativo (p < 0,001).

DISCUSSÃO

O presente estudo demonstrou que o Miniex tem boa confiabilidade e consistência interna, confirmando estudos de Norcini et al.¹², Holmboe et al.¹⁵, Durning et al.¹⁶ e Hatala et al.¹⁷.

A principal característica deste instrumento de avaliação formativa de competência clínica é reproduzir da maneira mais fiel possível a rotina do médico assistente em seu local de trabalho¹⁸.

Na Conferência de Cambridge (1994), foram definidos princípios para selecionar os instrumentos de avaliação da competência clínica. O primeiro desses princípios é que os métodos devem se basear na realidade, que é a forma mais apropriada de avaliar as competências clínicas¹⁹.

Existem fatores relacionados com o paciente que interferem na avaliação. Este pode ser cooperativo ou não, pode estar nervoso devido ao seu estado, ansioso e, no caso de crianças, pode simplesmente chorar durante toda a consulta. Possibilitar a observação do desempenho em situações reais talvez seja o grande diferencial do Miniex. É justamente na maneira de lidar com situações delicadas que o interno vai mostrar sua competência, porque na vida profissional ele não estará examinando atores ou manequins. O estudante deve aprender a tomar decisões sob condições de incerteza, a lidar com a ambiguidade, com a complexidade, a singularidade e os conflitos de valores que quase sempre escapam à racionalidade técnica.

Possibilitar a avaliação em diversos cenários e com níveis de complexidade diferentes é uma característica positiva do Miniex.

Sendo o Miniex um exame rápido e objetivo, o aluno poderá ser avaliado várias vezes durante o estágio e se, em determinada situação, ele lida com um paciente difícil, noutro momento ele pode ser avaliado no atendimento a um paciente cooperativo e com um quadro patológico de fácil compreensão. Existe aí um ponto a ser discutido, que é o efeito halo. Norcini et al.¹², ao avaliarem residentes, notaram uma correlação estatisticamente significativa entre o grau de complexidade do caso clínico e a nota dada pelo professor, como se o examinador compensasse o residente pela falta de sorte em ser avaliado num caso difícil. Outra possibilidade é de que casos mais complexos permitem ao residente demonstrar melhor seu desempenho.

A opção de filmar os internos em situações reais de encontros com os pacientes trouxe alguma dificuldade operacional à pesquisa, mas enriqueceu o trabalho. Mesmo considerando que alguns dos vídeos apresentaram limitação de som ou de posicionamento da câmara, o desempenho dos estudantes pôde ser bem observado pelos professores, e a avaliação apresentou bom índice de concordância.

Não foi encontrado na literatura nenhum estudo sobre avaliações pelo Mini-Cex em vídeo com pacientes e estudantes reais^13,16,17.

Perfil dos internos

Apesar da prévia homogeneidade acadêmica dos estudantes, a necessidade de obter seu consentimento para participação no estudo, a priori, seleciona um perfil daqueles mais autoconfiantes em seu desempenho, que não se intimidam em serem filmados e submetidos à avaliação de diversos docentes. Embora cientes de que a pontuação pelo Miniex não seria oficialmente contabilizada, muitos preferiram não se expor.

No presente estudo, essa homogeneidade não interfere no resultado, uma vez que o objetivo não é avaliar o estudante, mas, sim, a confiabilidade entre os examinadores e o grau de consistência interna do instrumento.

A distribuição dos alunos por gênero reflete o percentual de homens e mulheres no universo dos alunos matriculados no curso médico.

Com relação ao desempenho dos estudantes, a média da pontuação nos diversos componentes da competência ficou acima de 6,5 em todos os itens, indicando que o grupo como um todo é classificado como satisfatório/superior.

Uma discussão relevante é a percepção de que os três estudantes com níveis de pontuação mais baixos foram justamente os que apresentaram maior desvio padrão com alta variabilidade das médias, podendo variar de reprovação (insatisfatório) a satisfatório, como no caso do estudante do vídeo 7, ou de satisfatório para superior, como no caso dos vídeos 1 e 4.

Norcini et al.¹² verificaram que o intervalo de confiança tende a cair à medida que aumentam os encontros, justificando que os escores dos estudantes são baseados nas interações com um maior número de pacientes e examinadores. Tomando-se como exemplo o estudante do vídeo 7, considerando-se a média e o desvio padrão do item "competência geral", houve uma variação de 3,6 a 6,6.

No trabalho supracitado de Norcini, num residente com escore 5 e IC de 1,47, após a avaliação de 14 Mini-Cex, o IC foi diminuindo até 0,46 no décimo exame, permanecendo, então, estável, com declínio discreto.

Os estudantes com escores elevados nos dois primeiros Miniex provavelmente manterão esse padrão nos próximos. A mesma afirmativa vale para os estudantes com escores muito baixos. A chance de um aluno passar de insatisfatório para superior ou vice-versa é pouco provável. Com escores elevados nos dois primeiros Miniex, provavelmente manterão o padrão.

Exames repetidos se mostrarão mais úteis na avaliação daqueles com escores entre 4 e 5 com queda no intervalo de confiança e menor variação de faixa.

No presente estudo, apesar da elevada variabilidade individual, nenhum escore se alterou de insatisfatório para superior.

Perfil dos docentes

A homogeneidade do grupo de professores em relação ao tempo de docência, com média de 25 anos e mediana de 28 anos de atividades didáticas, pode ser apontada como um fator facilitador para a pesquisa.

No presente estudo, a baixa variabilidade dos escores entre os professores reforça a expertise do grupo em supervisionar os estudantes em atividades práticas, na observação direta em serviço, que é a principal estratégia pedagógica do ciclo profissional na UFMG.

Segundo o depoimento de vários professores, o único item com maior dificuldade de pontuação foi o relacionado ao raciocínio clínico, devido à impossibilidade de interação com o interno. Na opinião dos docentes, o raciocínio clínico somente pode ser avaliado durante discussão direta do caso com o estudante.

Entretanto, a análise dos escores recebidos individualmente pelos estudantes mostrou que no item competência geral, considerado o mais relevante por sintetizar o juízo de valor do examinador em relação ao desempenho observado, alguns discentes receberam escore com maior variabilidade. Chama a atenção a avaliação do aluno 7, que variou entre ser reprovado e ser satisfatório.

Essa amplitude do desvio padrão reflete a dificuldade de avaliação mesmo entre docentes experientes, especialmente em situações limítrofes, quando se torna fundamental uma coerência entre os escores. Certamente, pode sugerir a necessidade de treinar os docentes no método e discutir os padrões a serem utilizados em cada item.

Outro aspecto que merece discussão reside na variabilidade do grau de exigência do avaliador. Norcini et al.²¹ mostram que "a variabilidade na pontuação não é muito grande e é improvável que o mais intransigente examinador dê vários graus insatisfatórios". Mesmo assim, como o estudante deve ser avaliado com o Miniex de três a quatro vezes por estágio e com professores diferentes, o efeito tanto da rigidez do professor quanto da dificuldade do paciente fica atenuado²¹.

Os professores adjuntos se mostraram mais rigorosos na avaliação de todos os itens da ficha, exceto em relação ao exame físico. As qualidades humanísticas e organização/eficiência ficaram com significância limítrofe (p-valores ≅ 0,05).

Apesar de o tempo médio de docência entre os professores adjuntos (22 anos) ser menor do que o dos professores assistentes (28,5 anos), não se trata de uma diferença relevante.

De qualquer modo, é instigante refletir sobre o motivo que levaria essa diferença a ser mais evidente em relação aos itens de raciocínio clínico, habilidades de orientação e competência clínica geral.

Uma explicação mais detalhada demanda aprofundar o estudo com uso de metodologia apropriada de pesquisa qualitativa. Entretanto, a diferença pode estar sugerindo a ausência de padrões preestabelecidos para a avaliação de cada item. Para que a avaliação não se torne um processo empírico e individual, o corpo docente deve conhecer os conceitos e príncípios do processo de avaliação.

O trabalho de Homboe et al.¹⁵ aborda a necessidade de capacitação de observação direta da competência para minimizar as diferenças de pontuação entre professores. Segundo eles, o rigor na avaliação pode elevar o padrão de performance e enriquecer o feedback, repercutindo favoravelmente na melhora do desempenho.

Não deixa de ser tentador questionar o quanto a titulação pode representar o grau de envolvimento do docente com a instituição e a própria carreira, aumentando seu nível de exigência consigo e com a formação dos estudantes.

Cenário de prática docente

O local em que os docentes exercem sua atividade didática apresentou diferença estatística, especialmente nos itens "habilidade no exame físico" e "raciocínio clínico".

Em relação ao exame físico, os professores com maior experiência em atividades didáticas ambulatoriais foram mais rigorosos e pontuaram os estudantes com menores escores do que os professores da enfermaria. Isto em parte se explica pelo fato de que os professores do ambulatório assistem mais os estudantes no atendimento às primeiras consultas e, na maioria das vezes, consultas com foco em diagnóstico, o que exige exame físico mais completo e detalhado. Os professores de enfermaria, por outro lado, mais acostumados com o ritmo da enfermaria, em que a maioria dos pacientes está em acompanhamento de tratamento, permitem uma avaliação mais objetiva e pontual.

Deve-se discutir também a influência do fator autonomia do estudante. No ciclo ambulatorial, o estudante, mesmo sendo de períodos menos avançados, detém maior autonomia frente ao paciente, em função do perfil de atendimento. Os estudantes são divididos em grupos de dez, que ficam sob a supervisão direta de um professor. Após a consulta, conduzida totalmente pelo discente, esse relata a história clínica e o exame físico ao professor, que discute o caso e define a conduta. Assim, o estudante no ambulatório é mais responsabilizado pela anamnese e exame físico, e o professor torna-se mais exigente com o desenvolvimento dessas habilidades.

Na enfermaria, ao contrário, o interno tem um papel menos ativo, pois os verdadeiros assistentes da criança internada são os professores e os médicos residentes. Há uma tímida inserção do interno na equipe de atendimento médico-hospitalar, e o estudante no Hospital das Clínicas fica reduzido quase à figura do "estagiário observador"²². Talvez a maior facilidade de acesso à propedêutica complementar, de certa forma, coloque aquelas habilidades em segundo plano. Mas, por outro lado, os docentes que exercem suas atividades em enfermaria se tornam mais rigorosos em relação às falhas no raciocínio clínico.

Pacientes mais graves, em ambiente hospitalar, precisam de diagnósticos precisos, para intervenções mais imediatas. Nesse contexto, o raciocínio clínico é essencial, e os escores mais baixos refletem esse rigor.

Existe realmente grande diferença na avaliação do raciocínio clínico quando se trata de pacientes ambulatoriais e pacientes internados. No atendimento ambulatorial, o raciocínio é mais rápido e objetivo, muito pautado na história da moléstia atual e principalmente nos achados do exame físico. Já na enfermaria, o raciocínio é mais sofisticado e envolve uma gama de exames laboratoriais e de imagem, sendo muito mais pautado pela evolução da criança como um todo e não específicamente pelo exame físico do dia.

Outra explicação seria a concepção de que raciocínio clínico não é um item passível de avaliação objetiva. Necessita de interlocução entre os atores. A conversa com o interno durante o feedback constitui o momento propício para o avaliador perceber o raciocínio clínico feito pelo aluno durante o atendimento.

Tempo de observação e retorno (feedback)

O tempo médio de observação foi de 9,6 minutos (12,5 ± 6,7). Esse tempo foi menor que o encontrado por outros pesquisadores - Norcini, 15 minutos (18 ± 12,1) e Hatala, 29 minutos (de 26 a 31 minutos).

Embora o número de casos seja insuficiente para generalizações, pode-se ressaltar que a maioria das consultas era de retorno e com foco em tratamento e que todas as consultas foram realizadas em pacientes internados e não ambulatoriais.

O tempo médio de retorno foi de 5,8 minutos ± 3,2, semelhante ao publicado por Norcini, 5 (7,6 ± 5,3) e menor que o de Hatala, 9 minutos (5-13 minutos).

Houve uma consulta que durou três minutos, estando fora de qualquer padrão de atendimento. Norcini et al.¹² relatam uma diferença estatisticamente significativa entre o tempo gasto na primeira consulta em relação à consulta de retorno.

Um dado interessante é que a consulta com menor tempo recebeu do professor o maior tempo de retorno. Pode-se supor que o professor foi capaz de identificar a falha e deve ter tentado corrigi-la^23,24.

Investimento financeiro

Outro aspecto importante está relacionado ao investimento financeiro da instituição. Sendo um exame que não demanda maiores gastos em compra de manequins ou contratação de atores, o Miniex torna-se mais exequível em face das condições financeiras das universidades públicas.

CONSIDERAÇÕES FINAIS

Os atributos que fazem um bom médico são descritos como habilidade em obter soluções, capacidade de julgamento, raciocínio clínico, empatia com os pacientes ou outros atributos humanos, não sendo possível obter um instrumento capaz de medir com exatidão o verdadeiro escore. Dessa forma, todo instrumento idealizado para esse fim gera uma medida imperfeita, e seus escores finais representam uma amostra restrita e susceptível a erros²⁵.

A seleção do método de avaliação deve ser feita levando-se em conta, prioritariamente, o "que" deve ser avaliado. A escolha do método deve, também, ser norteada pela finalidade da avaliação. Deve-se, ainda, considerar que uma avaliação abrangente, incidindo sobre uma ampla variedade de competências, provavelmente irá requerer a aplicação não de um único método, mas de vários instrumentos e técnicas, cujos resultados se complementarão.

Apesar da necessidade de novos estudos sobre a validade e exequibilidade do Miniex, o presente trabalho demonstrou que o instrumento testado apresenta bom índice de confiabilidade e de consistência interna.

Os dados sugerem que o Miniex poderá ser utilizado na avaliação de competências clínicas nos internatos dos cursos médicos, por ser um instrumento dinâmico que reproduz a rotina da atividade médica nos hospitais, podendo ser empregado pelo professor durante o atendimento rotineiro, e, principalmente, não usando o paciente como mero objeto de práticas avaliativas²⁷.

Recebido em: 21/06/2007

Reencaminhado em: 01/04/2008

Aprovado em: 07/05/2008

CONTRIBUIÇÃO DOS AUTORES

Luiz Megale, participou do planejamento do estudo, da coleta de dados, analise e redação do artigo. Eliana Dias Gontijo, participou do planejamento do estudo, análise e redação do artigo. Joaquim Antônio César Motta, participou do planejamento do estudo e redação do artigo.

CONFLITO DE INTERESSES

Declarou não haver

http://www.educacaomedica.org.br/anexos

• 1. Troncon LEA. Avaliação do estudante de Medicina. Medicina Ribeirão Preto. 1996; 29(4):p. 429-439.
• 2. Colles CR. How students learn: the process of learning. In: Brian J, Lesley R. Medical Education in the Millennium. [S.l.]: Oxford University Press;1998. p.63-82.
• 3. Gontijo ED. Processo de certificação de competências no curso médico: avaliando o internato de Pediatria. Colegiado do Curso de Graduação em Medicina. Belo Horizonte; dez.2003.
• 4. Perrenaut P. Construir as competências desde a escola. Porto Alegre: Artmed Editora; 1999.
• 5. Feuerwerker LCM. Além do discurso de mudança na educação médica. São Paulo: Hucitec, Rede Unida, ABEM; 2002.
• 6. Lowry S. Assesment of student. Brist. Med Journal. 1993;306:51-54.
• 7. Anastasi A. Psycological Testing. New York: MacMillan Publishing; 1988.
• 8. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The Mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med. 1995;123:795-799.
• 9. Tonelli E. Implantação do novo currículo médico da UFMG: visão crítica. Boletim Informativo do Campus da Saúde. Faculdade de Medicina da UFMG. março 1990. 40p. Suplemento.
• 10. Kogan JR, Bellini LM, Shea JA. Implementation of the Mini-CEX to evaluate medical students' clinical skills. Ady Health Sci Educ Theory Pract. 2002; 7(2):85-97.
• 11. American Board of Internal Medicine. Clinical Competence Program Guidelines and Implementation Program Directors. The Mini-CEX A Quality Tool in Evaluation. Philadelphia. September 2001.
• 12. Norcini JJ, Blank LL, Dufy FD, Fotna GS. The Mini-CEX: a method for assessing clinical skills. Ann Intern Med. 2003; 138: 476-481.
• 13. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health: related quality of life measures: literature review and proposed guidelines. France: School of Public Health, University of Nancy; 1993.
• 14. Portney LG, Watkins MP. Foundations of clinical research aplications to practice. New Jersey: Prentice Hall Health; 2000. 752p.
• 15. Holmboe ES, Huot S, Chung J, Norcini JJ, Hawkins RE. Construct validity of the Mini Clinical Evaluation Exercise (Mini-CEX). Academic Medicine. 2003;78(8):826-830.
• 16. Durning S, Cation LJ, Market RJ, Pangaro LN. Assessing the reliability and validity of the Mini-Clinical Evaluation Exercise for Internal Medicine residency training. Acad. Medicine. 2002;77(9): 900-904.
• 17. Hatala R, Ainslie M, Kassen BO, Magkie I, Roberts M. Assessing the Mini Clinical Evaluation Exercise in comparison to a national specialty examination. Medical Education. 2006; 40:950-956.
• 18. Jennifer R, Kogan MD, Karen EH. Use of Mini Clinical Evaluation Exercise in Internal Medicine core clerkships. J Gen Intern Med. 2006;21(5):501-502.
• 19. Brian J, Lesley R. Medical education in the millennium. Oxford: University Press; 1998.
• 20. Jeff L, John WP. Using standardised patients to measure physicians' practice: validation study using audio recordings. BMJ. 2002;325(7366):679.
• 21. Norcini JJ, Blank LL, Arnold GK, Kimball HR. Examiner Differenes in Mini-Cex Advances in Health Sciences Education. 1997;2:27-33.
• 22. Ferreira RA. A pediatria da UFMG: inserção na mudança de ensino médico implantada em 1975 e sua relação com o saber (paradigma científico) e a prática médica. Belo Horizonte; 2000. Doutorado [Tese] - Faculdade de Medicina da UFMG.
• 23. Hauer KE. Enhancing feedback to students using the Mini-CEX (Clinical Evaluation Exercise). University of California, San Francisco, Academic Medicine. 2000;75(5): 524-5.
• 24. Holmboe ES, Yepes M, Wiliams F, Huot SJ. Feedback and the mini clinical evaluation exercise. J Gen Intern Med. 2004;19(5Pt 2):558-61.
• 25. Lopes SCF. Alarme de estresse do bebê (ADBB): avaliação de um instrumento para detecção de sinais precoces de problemas emocionais na criança pequena. Belo Horizonte; 2003. Mestrado [Dissertação] - Faculdade de Medicina da UFMG.

Anexo I

Datas de Publicação

• Publicação nesta coleção
  17 Ago 2009
• Data do Fascículo
  Jun 2009

Histórico

• Aceito
  07 Maio 2008
• Recebido
  21 Jun 2007
• Revisado
  01 Abr 2008