OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação

OSCE for Communication Skills and Professionalism: Case Report and Meta-Analysis

RESUMO

A comunicação clínica e o profissionalismo estão entre as principais competências médicas e, portanto, devem ter sua avaliação garantida. Nesse contexto, o exame clínico objetivo estruturado (OSCE) tem papel fundamental.

Objetivos

Descrever as etapas de elaboração de um OSCE, bem como a avaliação da qualidade das estações e a percepção do estudante de Medicina sobre a sua realização.

Método

O estudo é composto pela realização de um OSCE com quatro estações por 16 estudantes de Medicina e pela análise da qualidade psicométrica e aplicação de um questionário de satisfação.

Resultados

Para os estudantes, o OSCE é o método que melhor avalia e ensina essas competências, ao passo que os testes de múltipla escolha estão no polo oposto quanto à avaliação. Em relação à qualidade múltipla das estações: duas se apresentaram com boa confiabilidade, uma se tornou satisfatória após adequação e uma se revelou inconsistente.

Conclusão

Mesmo bem avaliadas pelos estudantes, algumas estações apresentaram falhas. A análise do OSCE é fundamental para sua validade e mensurabilidade, em especial para o OSCE de alta aposta.

Avaliação; Comunicação em Saúde; Educação Médica; Simulação de Paciente; Competência Profissional

ABSTRACT

Clinical communication and professionalism are among the primary medical competencies and therefore must have guaranteed assessment. In this context, the objective structured clinical examination (OSCE) plays an important role.

Objectives

To describe the steps of developing an OSCE, as well as evaluating the quality of the stations and the medical student’s view of the OSCE.

Method

The study involved an OSCE with four stations performed by 16 medical students, psychometric quality analysis and the application of a user satisfaction questionnaire.

Results

For the students, the OSCE is the best assessment and teaching method for these skills, whereas multiple choice tests are at the worst form of assessment. Regarding the multiple quality of the stations, two showed good reliability, one became satisfactory following adjustment and one was inconsistent.

Conclusion

Although highly rated by the students some of the stations were flawed. Analysis of the OSCE is essential for its validity and measurability, especially for high stakes OSCEs.

Evaluation; Health Communication; Medical Education; Patient Simulation; Professional Competence

INTRODUÇÃO

A aprendizagem baseada em competência tem um papel importante no ensino médico. No Brasil, isto fica claro com as Diretrizes Nacionais Curriculares de 2001 e, mais recentemente, com as de 2014, que apresentam como eixo norteador para as escolas médicas uma série de competências a serem desenvolvidas durante o curso^1,2.

Não somente no Brasil, mas no contexto mundial, muitas associações, sociedades e países apresentam documentos e diretrizes com as competências necessárias à formação do médico^1-5. Esses documentos geralmente dividem essas competências em domínios, tais como: conhecimento médico, cuidado com o paciente, profissionalismo, competências de comunicação clínica e interpessoal, prática baseada no aprendizado e baseada em sistemas⁶.

Ao integrar essas competências, pode-se definir a competência médica como saber fazer uso criterioso da comunicação, ter conhecimento, habilidade técnica, raciocínio clínico, emoções, valores e reflexão da prática diária em benefício do paciente⁶. Portanto, nota-se uma diversidade de elementos que constituem as competências. Essa diversidade e complexidade têm impacto no ensino e aprendizagem, principalmente no que se refere à avaliação, que demanda métodos e ferramentas igualmente potentes. Uma vez que dentre as principais dificuldades para mensurar o desempenho acadêmico estão os próprios métodos avaliativos⁷, essa tarefa é ainda mais desafiadora.

O escalonamento do aprendizado por média de notas é o método tradicionalmente utilizado, tendo na avaliação objetiva por testes uma de suas principais ferramentas. Entretanto, ele apresenta uma série de limitações quando o enfoque é nos requisitos profissionais e comunicativos que o estudante deverá desenvolver⁸. Os métodos de entrevistas e exames orais não estruturados também são empregados.

Métodos mais complexos podem ter como uma das principais limitações a baixa confiabilidade em função de alguns fatores, como dificuldade de padronização, quantidade restrita de perguntas e a subjetividade da avaliação do observador. Tal limitação foi confirmada por experiências em que examinadores diferentes avaliaram um mesmo aluno, provando a subjetividade da avaliação^9,10.

Sendo assim, alguns métodos de avaliação prezam a valorização do conhecimento, mas pecam pela falta de estímulo ao raciocínio e à crítica, ao passo que outros podem favorecer esses elementos, mas têm baixa confiabilidade e reprodutibilidade^6,8-12.

Em função da necessidade e da dificuldade de analisar algumas competências, foi desenvolvido o exame clínico objetivo estruturado (Objective Structured Clinical Examination – OSCE), que foi projetado para educação médica e padronizado para ter maior confiabilidade^9,12,13.

Em 1975, na Universidade de Dundee, no Reino Unido, ocorreu uma das primeiras iniciativas de implementação do OSCE. A partir desse momento, ele se tornou uma ferramenta importante para avaliar as habilidades clínicas, conhecimento, atitudes, comunicação e profissionalismo^6,8. Desde então, é aplicado na avaliação de estudantes de Medicina e residentes, em avaliações somativas ou formativas em todo o mundo^6,14-16.

Portanto, o OSCE está entre os exames padrão ouro para avaliar objetivamente competências médicas^6,12, uma vez que não está restrito ao conhecimento, mas inclui a capacidade de exercê-lo¹⁰. Entre as competências essenciais na prática clínica, temos a comunicação clínica e o profissionalismo, para os quais o OSCE tem sido um método utlizado com certa frequência e com bons resultados em alguns estudos^17-20. Entre suas aplicações, tem a capacidade de avaliar a anamnese, o exame físico e a interpretação de resultados clínicos, com destaque para a comunicação efetiva^9,13. Além disso, permite avaliar atitudes e comportamentos frente a situações que envolvam dilemas éticos.

A taxa de confiabilidade desse exame depende da adequação de recursos, como número de estações, construção das estações, métodos de pontuação e tempo^6,12.

Sendo a prática do OSCE uma forma de avaliar as competências em todos os seus domínios e por ser cada dia mais utilizada no Brasil e no mundo, é fundamental analisar a percepção do estudante sobre essa prática, bem como utilizar processos meta-avaliativos para a qualificação desses exames.

OBJETIVOS

Este estudo tem como objetivo descrever as etapas de elaboração de um OSCE, bem como a avaliação da qualidade das estações e a percepção do estudante de Medicina sobre a sua realização.

MÉTODOS

Este estudo se caracteriza pelo delineamento observacional transversal, com uso de metodologias quantitativas. O estudo é composto pela realização de um OSCE e posterior aplicação de um questionário avaliativo aos alunos.

Descrição das etapas de realização do OSCE

Definição do número de estações

A quantidade de estações levou em conta o número de avaliadores e atores disponíveis para o processo. Foram quatro avaliadores e quatro pacientes simulados, sendo que todos eles tinham experiência em teatro ou artes. Os avaliadores eram voluntários, não professores da instituição, trabalhadores da área da saúde com experiência e/ou formação em docência na área da saúde. Tanto os pacientes simulados como os avaliadores estavam participando do seu primeiro OSCE. Houve quatro estações: duas avaliavam as competências de comunicação clínica, uma o profissionalismo médico, e a outra, as duas competências.

Duração

Cada estação teve duração total de sete minutos, sendo um minuto para leitura do caso, cinco minutos para a execução prática da estação e um minuto para ofeedback do avaliador para o estudante. Este tempo foi determinado após as reuniões de balizamento, nas quais eram realizadas simulações e testes com a participação dos pacientes simulados, avaliadores e pesquisadores.

Conteúdo das estações

Para elaborar as estações, foi utilizado o consenso de Kalamazoo para as competências de comunicação clínica²¹ e as diretrizes propostas pela American Board of Internal Medicine para profissionalismo²².

Em todas as estações o estudante deveria adotar uma conduta diante dos dados apresentados. Nas quatro estações havia pacientes simulados.

Na estação 1, o estudante deveria abordar um paciente simulado que apresentava o resultado do citopatológico de colo de útero alterado. Na estação 2, o estudante deveria ensinar o paciente simulado a utilizar o dispositivo inalatório para tratamento da asma. A estação 3 fazia referência a uma consulta não programada em lactente com a mãe muito preocupada com a situação. E a última estação abordava uma situação de conflito ético na qual o estudante tinha forte suspeita de que um preceptor havia ingerido bebida alcoólica e tratava da interação desse estudante com o seu tutor, que perguntava como havia sido a atividade de preceptoria.

Balizamento dos avaliadores

O treinamento foi realizado pelos pesquisadores com o emprego de três estratégias: vídeos, checklist e reuniões. Nesse processo, foi importante o uso de videoconferência, na qual os autores deste estudo, que estavam em Portugal, puderam discutir em conjunto com os autores no Brasil, avaliadores e pacientes simulados na construção do OSCE.

Os vídeos foram confeccionados para demonstrar como o avaliador e o paciente simulado deveriam proceder nas estações, mostrando uma situação ideal com pontuação máxima nos itens. Foram realizadas duas reuniões para padronização e esclarecimentos dos critérios a serem utilizados pelos avaliadores. Com auxílio do vídeo, os avaliadores, os pacientes simulados e os pesquisadores discutiam as pontuações do ckecklist e a reação dos pacientes simulados. Quando havia consenso, a situação era encenada e avaliada para finalizar o treinamento.

Checklist

Os checklists eram compostos de 4 a 11 itens. A variabilidade do número de itens foi intencional, para que pudéssemos estabelecer o número ideal de itens para atingir níveis de confiabilidade adequados.

Para confecção dos escores de cada aluno, foi considerada a seguinte avaliação no checklist: se o estudante cumpriu o item avaliado, 1 ponto; se não cumpriu, 0 ponto. A pontuação final de cada estação foi a soma de todos os itens do checklist de cada estação. O Quadro 1 apresenta exemplos da constituição dos checklists.

QUADRO 1
Exemplos de itens a serem avaliados noschecklists

Competência	SIM	NÃO
Cumprimenta com cuidado e atenção
Identifica-se (diz seu nome)
Permite paciente completar a sua fala inicial sem interrupção
....
Usa tom, ritmo, contato visual e postura que mostram o cuidado e interesse
Pergunta ao paciente sobre suas crenças, preocupações e expectativas sobre o tratamento
....
Sua linguagem corporal e atitude foram adequadas?
Não confrontou a paciente?
....
Agiu com respeito quanto ao médico que observou?
Procurou encontrar soluções que levassem em conta o bem-estar do médico?
Demonstrou conhecimentos sobre faltas éticas e suas consequências?

Questionário de satisfação

O questionário aplicado aos participantes apresentava 16 perguntas sobre:

• Quais as estratégias de avaliação que melhor avaliam as competências de comunicação clínica e profissionalismo (duas questões). Foram apresentadas as diversas formas de avaliação e era necessário pontuar cada uma delas de 0 (não avalia) a 5 (avalia com excelência);

• A forma como foi avaliado durante todo o curso de Medicina e o desenvolvimento de competências de comunicação e profissionalismo;

• Qual a sua satisfação geral quanto ao OSCE e em pontos específicos, como tempo para a realização, aplicabilidade prática das situações, qualidade do feedback de um minuto, espaço físico e clareza das instruções.

Os dois últimos subitens totalizavam 14 questões e eram constituídos por respostas em escala de Likert de 1 a 6, na qual 1 representa nada satisfeito e 6 totalmente satisfeito.

Sujeitos

Os sujeitos do estudo eram os acadêmicos do 12° período do curso de Medicina no internato de Medicina de Família e Comunidade do primeiro semestre de 2014, que participaram do OSCE e assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

Análise dos dados

A pontuação do checklist de cada aluno foi calculada para se obter a pontuação final numa escala numérica de aproveitamento e também a porcentagem do número de itens do checklist. Todos oschecklists foram avaliados quanto à qualidade das estações.

Para avaliar a qualidade dos itens do checklist de cada estação do OSCE, estimou-se o índice de facilidade (média de cada item) e o índice de discriminação (correlação item-total corrigida). A confiabilidade (alfa de Cronbach) foi estimada para avaliar a qualidade das estações e utilizou-se a correlação de Pearson para avaliar se a ordenação entre estações era semelhante²³. Os resultados foram obtidos por meio da análise do Programa SPSS, versão 20.0.

A pesquisa foi aprovada pelo Comitê de Ética e Pesquisa da Pontifícia Universidade Católica do Paraná sob o número CAAE 25365513.2.0000.0020.

RESULTADOS

A amostra compõe-se por 16 estudantes, sendo 8 mulheres e 8 homens com média de idade de 25,8 anos.

Avaliação das estações

A estação 1 continha um checklist com 11 itens a serem avaliados. Em média, os estudantes obtiveram escore 5,88 (DP: 1,784), equivalente a 53,5% de acerto. Os itens 1, 2, 3, 4 e 8 apresentavam probabilidade elevada de serem cumpridos (média superior a 0,75), enquanto os itens 6 e 11 apresentavam probabilidade baixa de serem cumpridos (média inferior a 0,25). Os itens 3, 6, 8 e 9 apresentavam discriminação baixa (correlação item-total inferior a 0,20).

Na estação 2, em média, os estudantes obtiveram 11,75 (DP: 3,109) dos 17 itens da estação, com média de acerto de 69,1% da estação. Os itens 1, 2, 3, 4, 6, 7, 8, 9, 10.4 e 10.5 apresentavam probabilidade elevada de serem cumpridos, e os itens 10.6 e 10.7 apresentavam probabilidade baixa de serem cumpridos. Os itens 1, 2, 3, 4, 6 e 7 apresentavam discriminação baixa.

Na estação 3, em média, os estudantes obtiveram 6,81 (DP: 1,559) dos oito itens da estação. Os itens 1, 2, 3, 4, 6, 7 e 8 apresentavam probabilidade elevada de serem cumpridos, e nenhum item apresentou probabilidade baixa de ser cumprido. Os itens 2, 4, 6 e 7 apresentavam correlação item-total inferior a 0,20. Nessa estação, os estudantes obtiveram a média de acerto de 85,12%.

Na estação 4, em média, os estudantes obtiveram 2,5 (DP: 0,894) dos quatro itens da estação. Os itens 2 e 3 apresentavam probabilidade elevada de serem cumpridos, e nenhum item apresentou probabilidade baixa de ser cumprido. Os itens 2, 3 e 4 apresentavam discriminação baixa. Nessa estação, os estudantes apresentaram a média de acerto de 62,5%.

A Tabela 1 apresenta a avaliação global de cada uma das quatro estações.

TABELA 1
Avaliação global de cada uma das estações do OSCE

Análise global	Nº de itens do checklist	Média de acertos	Desvio padrão (DP)	Porcentagem de acertos	Alfa de Cronbach
Estação 1	11	5,88	1,78	53,5	0,48
Estação 2	17	11,75	3,11	69,1	0,77
Estação 3	8	6,81	1,56	85,1	0,72
Estação 4	4	2,50	0,89	62,5	0,12

As estações 2 e 3 apresentaram um alfa de Cronbach superior a 0,7²⁰, e as estações 1 e 4 apresentaram valores inferiores de confiabilidade (Tabela 2). Na estação 1, com eliminação do item 3 da estação, que apresentava correlação item-total negativa, a confiabilidade aumenta para 0,601. No caso da estação 4, é necessário aumentar os itens dochecklist, já que apresentou resultados bastante inconsistentes. As correlações entre estações são fracas, mostrando que as ordenações entre estações são bastante diferentes (Tabela 2).

TABELA 2
Correlação de Pearson entre as pontuações das diferentes estações

	Estação 1 R (IC95%)	Estação 2 R (IC95%)	Estação 3 R (IC95%)	Estação 4 R (IC95%)
Estação 1	–	-0,02 (- 0,51; 0,48)	-0,10 (- 0,56; 0,41)	0,32 (- 0,21; 0,70)
Estação 2		–	0,17 (- 0,35; 0,62)	-0,16 (- 0,61; 0,36)
Estação 3			–	0,13 (- 0,39; 0,59)
Estação 4				–

Satisfação dos estudantes

Os estudantes, numa escala de 1 a 6 (muito insatisfeito a muito satisfeito), avaliaram em 3,44 (DP 0,89) a forma como foram avaliados nos quatro primeiros anos do curso, sendo que nos anos do internato a média foi de 3,63 (DP 0,8). Quanto ao desenvolvimento da competência de comunicação e profissionalismo durante todo o curso, avaliaram em 4,75 (DP 1) e 4,81 (DP 0,75), respectivamente.

O OSCE, como forma de avaliação da comunicação e do profissionalismo, foi pontuado com 5,19 (DP 0,65) e 4,94 (DP 0,77), respectivamente. Quanto à execução do OSCE, a satisfação geral foi avaliada em 4,56 (DP 1,5); o tempo disponível para realização das estações em 4,88 (DP 1); a clareza nas instruções em 4,81 (DP 0,75); a estrutura física das estações em 5,44 (DP 0,73); o feedbackem 5,31 (DP 0,70); e a aplicabilidade prática das situações em 5,31 (DP 0,87). A utilização do OSCE como forma de ensino e aprendizagem das competências de comunicação e profissionalismo foi avaliada em 5,69 (DP 0,48) e em 5,63 (DP 0,62), nessa ordem.

Como método avaliativo para a comunicação clínica, foram atribuídos os escores mais baixos (1,0) aos testes de múltipla escolha, e, para o OSCE, a metodologia com maior escore (4,69), como demonstrado no Gráfico 1.

GRÁFICO 1
Métodos de avaliação das competências de comunicação clínica e a avaliação dos estudantes

O Gráfico 2 mostra como cada metodologia avalia as competências de profissionalismo, segundo a percepção dos estudantes. O teste de múltipla escolha foi considerado o método com o escore mais baixo (1,13), e o OSCE, com o maior escore (4,69).

GRÁFICO 2
Métodos de avaliação do profissionalismo e a avaliação dos estudantes

DISCUSSÃO

A qualidade do OSCE

A análise da qualidade do OSCE é essencial no processo de avaliação, uma vez que os testes podem ser ajustados de acordo com os resultados obtidos.

As estações 2 e 3 mostraram-se adequadas, sendo possível a sua replicação. Uma vez que mostraram alfa de Cronbach maior que 0,7, essas estações poderiam ser utilizadas em exames de alta aposta²⁴. Isto indica que têm boa confiabilidade. Na estação 2, tanto os itens de maior facilidade quanto os de maior dificuldade se mostraram confiáveis.

A estação 1 ficará adequada com a alteração de um item, porém a estação 4 necessita de um checklist com maior quantidade de itens. Na estação 1, o item “Permite que o paciente complete a sua fala inicial sem interrupção” foi o elemento que contribuiu negativamente para a confiabilidade da estação. Diversos fatores podem ter contribuído para isso. É um item subjetivo e depende da atuação do paciente simulado. Presume-se que este fale de maneira contínua e incessante, e que provoque no estudante a intenção de interrompê-lo.

O termo “fala inicial” é ambivalente e pode corresponder ao cumprimento, resposta do nome ou introdução do motivo da consulta, entre outros, e isto precisa ser ajustado com o avaliador. Além disso, outro parâmetro é onde termina a fala inicial, para que se estipule onde ela se completa. Este item foi parametrizado por um vídeo e “calibrado” com os avaliadores, mas mesmo assim facilmente pode ser mensurado de forma equivocada. Em síntese, é um item que deixa margem a subjetividade e exige treinamento e parametrização exaustivos, não somente do avaliador como do paciente simulado⁶.

Os estudantes que foram bem numa estação não foram necessariamente bem noutra. Isto foi verificado pela falta de correlação entre as pontuações gerais das estações. Se a correlação de Pearson fosse alta, mostraria que os alunos que acertaram a maior parte dos itens do checklist da estação 1 acertariam também nas estações 2, 3 e 4. Caso o objetivo seja avaliar o mesmo elemento, deveria aumentar a confiabilidade das estações para que isso acontecesse. Entre as estratégias para isso, está o treinamento dos pacientes simulados e dos avaliadores e maior qualificação do checklist. Outra estratégia é ampliar o número de avaliadores por estação, o que também pode aumentar a qualidade das estações e do OSCE como um todo.

Entretanto, as estações possuem poucas questões semelhantes, e a maioria dos itens e competências varia de uma estação para outra. Nesse caso, a falta de relação pode indicar que avaliam elementos diferentes. Assim sendo, é necessário que haja um equilíbrio entre a correlação dos itens repetidos e a variabilidade daqueles que são únicos.

Houve a identificação de itens que possuem maior nível de discriminação, ou seja, seu acerto ou erro tende a diferenciar mais os estudantes. Isto é importante, pois perguntas com essas características são essenciais num exame, sendo desejável que na avaliação de uma estação essa qualidade de itens esteja presente.

A avaliação durante o curso de Medicina

A educação médica tem apresentado mudanças frequentes, entretanto, independentemente da metodologia de ensino e aprendizagem aplicada, a avaliação é o eixo fundamental para a garantia da efetividade da aprendizagem do estudante²⁵. Para que este tenha êxito em sua formação, é necessário que a metodologia de ensino esteja condizente com a forma de avaliação².

A média dos resultados apontou entre 3,44 e 3,63, o que representa valores entre insatisfeito (3) e satisfeito (4). Entretanto, ao aplicamos o desvio padrão, os valores variam entre muito insatisfeito e muito satisfeito. Dessa forma, podemos concluir que a satisfação quanto ao método de avaliação durante o curso apresenta grande variação de valores. Isto pode se explicar pelo fato de ter sido uma pergunta ampla, e os estudantes estarem satisfeitos com algumas avaliações realizadas e não com outras. É importante destacar que o ensino médico utiliza diversas formas de avaliação, e cada um dos domínios de competência pode se valer de avaliações diferentes e específicas para se adequar às necessidades metodológicas¹⁰.

Segundo as impressões dos estudantes, as melhores formas de avaliação das competências de comunicação clínica e de profissionalismo são, respectivamente, o Osce e a observação estruturada da prática. Estas são avaliações aplicadas nas metodologias ativas de ensino e aprendizagem.

Este foi o primeiro OSCE realizado por esses estudantes, porém é frequente na instituição a observação da prática (estruturada e não estruturada), seja ela durante a fase clínica do curso, seja no internato. Portanto, isto pode ter contribuído para os estudantes considerarem satisfatória a avaliação das competências de comunicação clínica e profissionalismo.

A prova de múltipla escolha foi considerada uma forma avaliativa inadequada para os dois tipos de domínio de competência, mesmo constituindo a metodologia mais utilizada nos cursos de Medicina e também no curso avaliado⁸.

A grande utilização da prova de múltipla escolha está relacionada a uma série de fatores, entre eles a praticidade da execução, pois ela pode ser aplicada a um grande grupo de estudantes com rapidez, baixos custos e ser uma boa forma de avaliação dos conhecimentos¹⁰. No entanto, para situações práticas, como no caso das competências de comunicação e do profissionalismo, é essencial utilizar uma metodologia variada para avaliação.

Os estudantes e a realização do OSCE

Quanto à satisfação dos estudantes com a aplicação do OSCE, o escore médio mínimo foi de 4,56 numa escala de 1 a 6, o que evidencia que se mostraram, em média, pelo menos, muito satisfeitos. Somente a impressão sobre como se sentiam após a realização do OSCE teve uma variação, com valor próximo a 3 (insatisfeito). Esse quesito variou entre 3 e 6 (média de 4,5), sendo que uma pergunta muito genérica dá margem ao estudante para associá-la com diferentes aspectos; mesmo assim, a média de pontuação considerou o item acima do satisfatório. Dessa forma, o OSCE foi considerado um método agradável e consistente para os estudantes². Os itens condizentes com a estrutura física das estações, o feedback no final das estações e a aplicabilidade prática das situações tiveram altos índices de satisfação, o que aponta o reconhecimento desse método pelos estudantes²⁶.

O feedback é um importante instrumento de ensino e aprendizagem, utilizado principalmente em OSCEs formativos. Além de estimular a aprendizagem, é um momento de troca de expectativas e ajuste dos parâmetros a serem observados²⁷. Optou-se por uma estratégia de feedback em um minuto, na qual os avaliadores foram balizados para se basear nos itens do checklist,apresentando quais itens foram ou não cumpridos. Dessa forma, foi umfeedback sumário, mas mesmo assim foi considerado relevante para os estudantes. Isto pode apontar o estudo e a utilização de modelos que sejam completos, mas não percam a objetividade na fase dofeedback.

A aplicabilidade prática de uma estação de OSCE é fundamental. A elaboração de ambientes simulados deve ser o mais próxima possível da realidade²⁸. O desafio é maior ainda quando as estações envolvem elementos subjetivos, como comunicação e sentimentos²⁹. Próximos da prática, os cenários têm maior relevância e significado para os estudantes³⁰. O fato de os alunos terem considerado as estações adequadas em termos de aplicabilidade prática pode indicar a qualidade e a relevância dos itens e temas avaliados.

Assim sendo, pelo indicativo dos estudantes, o OSCE apresentou as características necessárias à garantia da efetividade de uma metodologia de ensino e aprendizagem^9,12,13.

CONCLUSÃO

O OSCE mostrou-se um bom método avaliativo, e os estudantes mostraram satisfação com a realização e a qualidade deste. Observou-se que em todas as estações os estudantes obtiveram um escore de acerto superior a 50%, coincidindo com a boa avaliação do OSCE pelos alunos.

A percepção dos estudantes sobre as competências de comunicação clínica e profissionalismo é melhor nas avaliações baseadas na prática (simuladas ou reais) do que naquelas em que o foco está no conhecimento. O método aplicado no estudo foi considerado pelos estudantes a melhor forma de avaliação para aferir tanto a competência de comunicação clínica como o profissionalismo.

A análise de todas as etapas do OSCE é fundamental para a garantia do seu bom funcionamento e principalmente para a sua validade, em especial em OSCE de alta aposta. É necessário que a todas as partes integrantes estejam bem planejadas e treinadas. Este estudo mostrou que, utilizando testes estatísticos e interpretações adequadas, é possivel, mesmo com um número restrito de estações e sujeitos, determinar a confiabilidade de um teste e os pontos em que precisa ser aprimorado. Dessa forma, destaca-se a importância de avaliar a qualidade das estações e seuschecklists e a necessidade de capacitar os avaliadores e os pacientes simulados de forma intensiva.

LIMITAÇÕES

A grande limitação deste estudo está no número de sujeitos da amostra. Entretanto, mesmo com uma amostra restrita, alguns resultados tiveram relevância, e os dados apontam que este projeto tem qualidade para ser ampliado em escala maior, para melhor apreciação e certificação de alguns resultados.

AGRADECIMENTO

Agradecemos aos colegas: Ana Luiza Barbosa Curi, Ana Maria Cavalcanti, André Marcelo Baudraz, João Ribeiro Gonçalves Filho, Nilza Terezinha Faoro, Patricia Precce Folly e Valeria Raquel Schier, pelo auxilio na realização das estações do OSCE. E ao Centro de Simulação em especial ao prof. Dr. Emilton Lima Jr. por ceder o espaço físico para realização das simulações.

REFERÊNCIAS

• ¹
  Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução n.3, CNE/CES de 20/06/2014. Institui diretrizes curriculares nacionais do curso de graduação em medicina. 2014;
• ²
  Brasil. Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. 2001;1–6.
• ³
  Victorino R, Jollie C, McKim J. Licenciado Médico em Portugal. Core Graduates Learning Outcomes Project Lisboa: Faculdade de Medicina de Lisboa 2005.
• ⁴
  University of Minnesota. Seven Domains of Competence.
• ⁵
  Frank JR, Snell LS, Sherbino J. The Draft CanMEDS 2015 Milestones Guide * Editors. 2015;(May 2014).
• ⁶
  Gupta P, Dewan P, Singh T. Objective Structured Clinical Examination (OSCE) Revisited. Indian Pediatr. 2010/12/15 ed. 2010;47(11):911–20.
• ⁷
  Ochsmann EB, Zier U, Drexler H, Schmid K. Well prepared for work? Junior doctors’ self-assessment after medical education. BMC Med Educ [Internet]. BioMed Central Ltd; 2011 Jan [cited 2014 Aug 26];11(1):99. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3267657&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3267657&tool=pmcentrez&rendertype=abstract
• ⁸
  Dahlin M, Soderberg S, Holm U, Nilsson I, Farnebo LO. Comparison of communication skills between medical students admitted after interviews or on academic merits. BMC Med Educ. 2012/06/26 ed. 2012;12:46.
• ⁹
  Sandoval GE, Valenzuela PM, Monge MM, Toso P a., Triviño XC, Wright AC, et al. Analysis of a learning assessment system for pediatric internship based upon objective structured clinical examination, clinical practice observation and written examination. J Pediatr (Rio J) [Internet]. 2010 Mar 15 [cited 2014 Sep 15];86(2):131–6. Available from: http://www.jped.com.br/conteudo/Ing_resumo.asp?varArtigo=2061&cod=&idSecao=1
  » http://www.jped.com.br/conteudo/Ing_resumo.asp?varArtigo=2061&cod=&idSecao=1
• ¹⁰
  Bustamante Z M, Carvajal H C, Gottlieb B B, Contreras P JE, Uribe M M, Melkonian T E, et al. Hacia un nuevo instrumento de evaluación en la carrera de Medicina.: Uso del método OSCE. Rev Med Chil [Internet]. 2000 Sep [cited 2014 Sep 15];128(9). Available from: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0034-98872000000900013&lng=en&nrm=iso&tlng=en
  » http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0034-98872000000900013&lng=en&nrm=iso&tlng=en
• ¹¹
  Harden RM, Stevenson M, Downie WW, Wilson GM. Medical Education Assessment of Clinical Competence using Objective Structured Examination. Br Med J. 1975;1(February):447–51.
• ¹²
  Marwaha S. Objective Structured Clinical Examinations (OSCEs), psychiatry and the Clinical assessment of Skills and Competencies (CASC) same evidence, different judgement. BMC Psychiatry [Internet]. BioMed Central Ltd; 2011 Jan [cited 2014 Sep 15];11(1):85. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3118176&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3118176&tool=pmcentrez&rendertype=abstract
• ¹³
  Bogo M, Regehr C, Katz E, Logie C, Tufford L, Litvack a. Evaluating an Objective Structured Clinical Examination (OSCE) Adapted for Social Work. Res Soc Work Pract [Internet]. 2012 Apr 10 [cited 2014 Sep 15];22(4):428–36. Available from: http://rsw.sagepub.com/cgi/doi/10.1177/1049731512437557
  » http://rsw.sagepub.com/cgi/doi/10.1177/1049731512437557
• ¹⁴
  Baig L a, Violato C, Crutcher R a. Assessing clinical communication skills in physicians: are the skills context specific or generalizable. BMC Med Educ [Internet]. 2009 Jan [cited 2014 Sep 15];9:22. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=2687440&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=2687440&tool=pmcentrez&rendertype=abstract
• ¹⁵
  Duvivier RJ, van Geel K, van Dalen J, Scherpbier AJJ a, van der Vleuten CPM. Learning physical examination skills outside timetabled training sessions: what happens and why? Adv Health Sci Educ Theory Pract [Internet]. 2012 Aug [cited 2014 Sep 15];17(3):339–55. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3378843&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3378843&tool=pmcentrez&rendertype=abstract
• ¹⁶
  Amaral FT V., Troncon LEA. Participação de estudantes de medicina como avaliadores em exame estruturado de habilidades clínicas (Osce). Rev Bras Educ Med [Internet]. 2007 Apr [cited 2014 Sep 15];31(1):81–9. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-55022007000100011&lng=pt&nrm=iso&tlng=pt
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-55022007000100011&lng=pt&nrm=iso&tlng=pt
• ¹⁷
  Abadel FT, Hattab AS. Patients’ assessment of professionalism and communication skills of medical graduates. BMC Med Educ [Internet]. BMC Medical Education; 2014 Jan [cited 2014 Aug 15];14(1):28. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3923249&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3923249&tool=pmcentrez&rendertype=abstract
• ¹⁸
  Sánchez Gómez S, Ostos EMC, Solano JMM, Salado TFH. An electronic portfolio for quantitative assessment of surgical skills in undergraduate medical education. BMC Med Educ. 2013 Jan;13:65.
• ¹⁹
  Prearo AY, Monti FMF, Barragan E. É possível desenvolver a autorreflexão no estudante de primeiro ano que atua na comunidade? um estudo preliminar. Rev Bras Educ Med [Internet]. 2012 Mar [cited 2014 Sep 15];36(1):24–31. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-55022012000100004&lng=pt&nrm=iso&tlng=en
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-55022012000100004&lng=pt&nrm=iso&tlng=en
• ²⁰
  Schirmer JM, Mauksch L, Lang F, Marvel MK, Zoppi K, Epstein RM, et al. Assessing communication competence: a review of current tools. Fam Med [Internet]. 2005 Mar;37(3):184–92. Available from: http://www.ncbi.nlm.nih.gov/pubmed/15739134
  » http://www.ncbi.nlm.nih.gov/pubmed/15739134
• ²¹
  Makoul G. Essential elements of communication in medical encounters: the Kalamazoo consensus statement. Acad Med. 2001;76(4):390–3.
• ²²
  Abim. ABIM SEP modules survey results. July 2009–January 2012.
• ²³
  Martin BJ, Altman DG. Statistic notes: Cronbach’ alpha. BMJ. 1997;314:572.
• ²⁴
  Mejía, Juan Andrés Trejo González, Adrián Martínez Ramírez IM, López SM, Pérez, Leobardo C. Ruiz Mendiola MS. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex. 2014;150(8):8–17.
• ²⁵
  Gomes AP, Arcuri MB, Cristel EC, Ribeiro RM, Souza LMB da M, Siqueira-Batista R, et al. Avaliação no Ensino Médico: o papel do portfólio nos currículos baseados em metodologias ativas. Rev Bras Educ Med. Associação Brasileira de Educação Médica; 2010 Sep;34(3):390–6.
• ²⁶
  Lin C-W, Clinciu DL, Swartz MH, Wu C-C, Lien G-S, Chan C-Y, et al. An integrative OSCE methodology for enhancing the traditional OSCE program at Taipei Medical University Hospital--a feasibility study. BMC Med Educ [Internet]. BMC Medical Education; 2013 Jan [cited 2014 Sep 15];13(1):102. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3729372&tool=pmcentrez&rendertype=abstract
  » http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=3729372&tool=pmcentrez&rendertype=abstract
• ²⁷
  Illesca P M, Cabezas G M, Romo P MT, Díaz R P. Opinión de Estudiantes de Enfermería Sobre el Examen Clínico Objetivo Estructurado. Cienc y enfermería [Internet]. 2012 Apr [cited 2014 Sep 15];18(1):99–109. Available from: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0717-95532012000100010&lng=en&nrm=iso&tlng=en
  » http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0717-95532012000100010&lng=en&nrm=iso&tlng=en
• ²⁸
  Burgess A, Clark T, Chapman R, Mellis C. Medical student experience as simulated patients in the OSCE. Clin Teach [Internet]. 2013 Aug;10(4):246–50. Available from: http://www.ncbi.nlm.nih.gov/pubmed/23834571
  » http://www.ncbi.nlm.nih.gov/pubmed/23834571
• ²⁹
  Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organisation & administration. Med Teach [Internet]. 2013 Sep [cited 2014 Aug 30];35(9):e1447–63. Available from: http://www.ncbi.nlm.nih.gov/pubmed/23968324
  » http://www.ncbi.nlm.nih.gov/pubmed/23968324
• ³⁰
  Humphris GM. Communication skills knowledge, understanding and OSCE performance in medical trainees: a multivariate prospective study using structural equation modelling. Med Educ [Internet]. 2002 Sep;36(9):842–52. Available from: http://www.ncbi.nlm.nih.gov/pubmed/12354247
  » http://www.ncbi.nlm.nih.gov/pubmed/12354247

• FINANCIAMENTO
  O presente trabalho foi realizado com apoio do CNPQ e do CAPES. O autor Renato Soleiman Franco é bolsista CAPES – Programa Ciências sem Fronteiras (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior — Ministério da Educação) para doutorado pleno no exterior processo número: 13271-13-0. A autora Camila Ament Giuliani dos Santos Franco é bolsista para doutorado no exterior pelo CNPQ (Conselho Nacional de Desenvolvimento Científico e Tecnológico) processo número: 229753/2013-2.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2015

Histórico

• Recebido
  17 Nov 2014
• Aceito
  18 Abr 2015