Validação de escala de avaliação de profissionalismo traduzida e adaptada em cenário de simulação

Validation of a translated and adapted professionalism assessment scale in a virtual simulation scenario

Resumo:

Introdução:

O Professionalism Mini-Evaluation Exercise (P-MEX) é instrumento que avalia 21 habilidades de profissionalismo, distribuídas em quatro domínios.

Objetivo:

Este estudo teve como objetivos traduzir, adaptar e validar um instrumento de avaliação de profissionalismo médico.

Método:

Após a autorização do autor do P-MEX, realizaram-se a tradução do instrumento para a língua portuguesa, a análise de equivalência linguística e validade de conteúdo por especialistas em educação, e o exame de validade operacional em OSCE virtual entre estudantes do internato médico.

Resultado:

Houve elevada equivalência dos itens da versão em português do Brasil por especialistas em educação. O índice de validade de conteúdo da escala foi de 0,96. Seis professores validaram o P-MEX em ambiente de simulação para 27 estudantes do internato médico.

Conclusão:

A versão brasileira do P-MEX demonstrou ser adequada para avaliar o profissionalismo médico no contexto brasileiro, com boa validade operacional em cenário de simulação virtual.

Palavras-chave:
Profissionalismo; Educação Médica; Avaliação Educacional; Comparação Transcultural

Abstract:

Introduction:

“Professionalism Mini-Evaluation Exercise” (P-MEX) is an instrument that assesses 21 professionalism skills, distributed in four domains.

Objective:

To translate, adapt and analyze the validity of the medical professionalism evaluation exercise.

Methods:

After authorization from the author, the following tasks were performed: translation into Portuguese; linguistic equivalence and content validity analysis by education experts; operational validity analysis in virtual OSCE among medical clerkship students.

Results:

There was high equivalence of the items in the Brazilian Portuguese version by education specialists. The Scale Content Validity Index was 0.96. Six teachers validated the P-MEX in a simulation environment to 27 medical clerkship students.

Conclusion:

The Brazilian version of the P-MEX proved to be adequate to assess medical professionalism in the Brazilian context, and showed good operational validity in a virtual simulation scenario.

Keywords:
Professionalism. Education; medical. Educational measurement. Cross-cultural comparison

INTRODUÇÃO

Profissionalismo médico é uma competência central do contrato social do médico com a sociedade^1),(2. Além de virtudes incorporadas no bom médico, como altruísmo e humanismo, o profissionalismo engloba um conjunto de comportamentos e competências que pode ser ensinado e avaliado de modo explícito ou implícito^3)-(8. Trata-se de um construto heterogêneo que envolve múltiplas dimensões - pessoais, sociais, culturais, institucionais e interpessoais^9),(10) -, o que dificulta a padronização de estratégias no ensino e na avaliação, e não existe uma lista universalmente aceita de quais domínios devem orientar seu ensino ou sua avaliação. Há, em grande parte das grades curriculares, uma ênfase nas habilidades centradas no paciente, como comunicação e respeito^{1),(6)-(8),(11),(12}.

Nas últimas décadas, o profissionalismo se tornou um tema central na educação médica⁷. A vigilância contínua e a avaliação formativa baseada em competências no ambiente de aprendizagem podem orientar o desenvolvimento da identidade profissional dos médicos^4),(13),(14. Isso requer ferramentas adequadas a serem empregadas em cada estágio, desde a aprendizagem cognitiva até a prática de habilidades¹⁴, com intervenções que promovam autorreflexão⁶. Dentre os instrumentos utilizados atualmente para avaliação de profissionalismo, citam-se avaliações por pares, observação com o uso de checklists padronizados, Objective Structured Clinical Examination (OSCE), portfólios e relatórios de incidentes críticos^15),(16.

O Professionalism Mini-Evaluation Exercise (P-MEX) é uma ferramenta com as melhores propriedades de medição e pontuação entre os instrumentos de avaliação de profissionalismo médico disponíveis^{1),(13),(17)-(20}. Utiliza escala tipo Likert de 4 pontos para avaliar 21 competências, distribuídas em quatro domínios (relação médico-paciente, habilidades reflexivas, gerenciamento de tempo e relação interprofissional), durante observações diretas de encontros clínicos^1),(11),(13. A aplicação dessa ferramenta de avaliação requer em média 20 minutos de observação, seguidos por cinco minutos de feedback imediato^1),(17.

O P-MEX é um instrumento validado em diversos cenários e países, sendo viável para avaliar o profissionalismo no treinamento clínico para internos e residentes. Adaptar essa ferramenta confiável para o português e validá-la em contexto de simulação virtual possibilitará seu uso como guia na formação do profissionalismo médico no Brasil. Este estudo objetivou traduzir, adaptar e validar o instrumento P-MEX para uso entre alunos do internato médico do Brasil.

METODOLOGIA

Trata-se de um estudo de tradução, adaptação transcultural e validação do instrumento de avaliação do profissionalismo P-MEX para uso em português do Brasil. Antes de iniciada a pesquisa, foi obtida a permissão do autor do instrumento. O estudo foi realizado no Centro Universitário Christus (Unichristus), em Fortaleza-CE, entre junho de 2020 e novembro de 2021.

Adotou-se uma sequência de etapas (Figura 1) baseada em estudos anteriores e bem estabelecida em diretrizes para a adaptação transcultural de instrumentos^21)-(25. Todo o processo foi cuidadosamente documentado.

Figura 1
Etapas da tradução e adaptação transcultural de instrumento de avaliação de profissionalismo médico

O estudo foi submetido ao Comitê de Ética em Pesquisa da instituição e devidamente aprovado: CAAE nº 33456320.9.0000.5049.

• Etapa 1: Tradução inicial do P-MEX para português por dois tradutores profissionais, isentos, bilíngues e independentes, brasileiros nativos com domínio da língua inglesa, e experientes em tradução de produto científico em saúde.

• Etapa 2: O grupo de pesquisadores (composto por um pediatra e quatro ginecologistas) selecionou a versão mais adequada das duas traduções de cada item e, por consenso, elaborou a versão traduzida A.

• Etapa 3: Análise da versão traduzida A por um comitê de juízes, docentes especialistas em educação médica, quanto à equivalência linguística (equivalências semântica, idiomática, cultural e conceitual) e validade de conteúdo (clareza de linguagem, pertinência e relevância teórica) das versões em inglês e português do instrumento. Os questionários foram enviados por e-mail, em formato virtual Google Forms, e utilizaram escala tipo Likert de 4 pontos para a avaliação dos quatro aspectos de equivalência linguística, com solicitação de proposta de modificações para os itens considerados inadequados²⁶.

• Etapa 4: Análise das avaliações e considerações dos peritos, com elaboração da versão traduzida B.

No questionário de equivalência linguística transcultural, o grau de concordância entre os especialistas foi calculado por porcentagem simples, utilizando a fórmula:

$\%deconcordância=(n°derespostasconcordantes/n°totalderespostas)x100$

Cada item foi classificado como “equivalente” se houve concordância acima de 70% dos juízes em cada parâmetro^26),(27. Itens considerados inadequados foram reformulados de acordo com as sugestões dos especialistas.

Para as questões de clareza, pertinência e relevância, para cada item, o grau de concordância entre os juízes foi estimado pelo índice de validade de conteúdo do item (IVC-I)^26),(28. O escore do IVC-I é calculado pela proporção de itens que recebe uma pontuação de “3 ou 4 pelos juízes”, (no nosso estudo correspondem às respostas “+1” e “+2” dos formulários). A fórmula para avaliar cada item é descrita a seguir:

$IVC-I=númeroderespostas+1ou+2/númerototalderespostas$

Para esse mesmo questionário de validade de conteúdo, o grau de concordância entre os juízes foi estimado pelo índice de validade de conteúdo da escala (IVC-E), que corresponde à média do IVC-I de todos os itens na escala dividida pelo número de itens.

Itens com IVC-I superior ou igual a 0,78 foram considerados representativos, e considerou-se adequada a escala com IVC-E superior ou igual a 0,9^26)-(28.

• Etapa 5: Tradução reversa da versão traduzida B por um nativo da língua inglesa (retrotradução).

• Etapa 6: A versão traduzida do instrumento foi apesentada ao autor da versão original que avaliou e aprovou o processo em abril de 2021.

• Etapa 7: Foi elaborado pelos pesquisadores um cenário de OSCE para avaliação de profissionalismo, de modo a garantir que representasse autenticamente o problema de interesse²⁹ e incluir todos os domínios de profissionalismo, com foco em abordar os itens do P-MEX traduzido para sua utilização como checklist da estação. Para abordar os itens de relação médico-paciente, criou-se um script para uma paciente padronizada, e, para os itens de relação interprofissional, o cenário continha uma “enfermeira padronizada”. Além disso, propôs-se um roteiro de feedback reflexivo para que um professor abordasse os itens de habilidades reflexivas.

• Etapa 8: Realização de OSCE virtual com estudantes de Medicina do quinto e sexto anos, de maneira síncrona, por meio de videoconferência via Google Meet, em razão dos protocolos de distanciamento social no período de pandemia de Covid-19 em que este estudo foi realizado. O aluno era direcionado a entrar em sala virtual específica, onde se encontravam as atrizes (paciente e enfermeira padronizadas) e um professor responsável pelo feedback reflexivo fornecido em seguida.

• Etapa 9: Aplicação do instrumento (sob forma de checklist da estação) de maneira assíncrona, por meio de vídeos de gravação do OSCE virtual, por um grupo de professores avaliadores com experiência em OSCE. Ao fim do processo, eles preencheram questionário via Google Forms sobre a validade operacional do instrumento, em que registraram dados sobre o tempo de preenchimento, a logística e a aplicabilidade do instrumento em ambiente simulado^25),(26.

• Etapa 10: Revisão das considerações dos avaliadores e elaboração da versão traduzida final.

Os dados coletados por meio digital (Google Forms) foram transferidos e tabulados no Microsoft Excel para Windows. Realizou-se a estatística descritiva para a caracterização da amostra, com apresentação de frequências absolutas e percentuais.

RESULTADOS

Equivalência transcultural

Dez dentre 38 docentes de cursos de Medicina convidados aceitaram participar do comitê de juízes para a análise da equivalência transcultural do instrumento. Nesse comitê, as especialidades médicas mais prevalentes foram ginecologia e obstetrícia (30%) e clínica médica (30%), além de pediatria, cirurgia, oftalmologia e saúde coletiva, com um especialista de cada área. Quanto às regiões do Brasil, houve maior prevalência de especialistas das Regiões Nordeste (40%) e Sudeste (40%), com representatividade também do Norte e Centro-Oeste. A representatividade de diversas especialidades médicas e regiões do Brasil reforça que a versão é apropriada ao contexto brasileiro, em diversos contextos, seguindo a metodologia indicada nos principais estudos de adaptação transcultural^22),(23),(26.

Os juízes apresentavam média de tempo de atividade docente de 18 anos, variando de 11 a 32 anos, todos com qualificação em educação médica, o que nos forneceu segurança quanto à expertise ao tomarem decisões críticas. Todos tinham como titulação o doutorado, e não houve predominância entre os sexos.

Considerou-se um item equivalente quando foi assim classificado por, no mínimo, sete dos dez especialistas nos quatro parâmetros de equivalência linguística anteriormente descritos^26),(28. Na versão traduzida A, 18 dos 21 itens foram considerados equivalentes em todos os critérios, com percentual de concordância entre os juízes acima de 70%. Sete desses itens (5, 7, 8, 10, 14, 18 e 21) foram considerados equivalentes por 100% dos especialistas, em todos os critérios analisados (Gráfico 1).

Gráfico 1
Percentual de concordância de equivalência transcultural por item da versão traduzida do P-MEX

Apenas três itens apresentaram algum aspecto com percentual de concordância por item abaixo do considerado adequado quanto à equivalência linguística. O item 4 (“Dedicou-se para atender às necessidades do paciente”) apresentou equivalência semântica de 60% e equivalência idiomática de 60%, sendo reescrito conforme recomendações dos especialistas: “Esforçou-se para atender às necessidades do paciente”. No item 11 (“Respeitou limites éticos”), observaram-se equivalência semântica de 60%, equivalência idiomática de 50% e equivalência cultural ou experiencial de 60%, e o item foi reformulado: “Respeitou limites éticos nas relações profissionais”, conforme sugestões dos juízes. O item 13 (“Manteve adequadamente a aparência”), apesar de apresentar maioria dos índices de equivalência adequados, após análise das considerações, foi reescrito: “Manteve aparência adequada”, conforme sugestão dos especialistas.

A equivalência linguística média da versão brasileira do P-MEX, de acordo com a análise dos especialistas, foi de 91,2%, com equivalências semântica, idiomática e cultural de 90,5%, e equivalência conceitual de 93,3%, com alta concordância dos especialistas entre a versão traduzida e a original. Os três itens com alguma discordância foram adaptados para o uso no contexto brasileiro, de acordo com as suas sugestões, na versão traduzida B.

Validade de conteúdo

Na validade de conteúdo, verificou-se se os itens em língua portuguesa representavam o profissionalismo médico. Além disso, observaram-se a clareza e a pertinência dos itens adaptados. Em relação à clareza, avaliou-se se o item expressava adequadamente o que se esperava medir. Quanto à pertinência, verificou-se se os itens refletiam os conceitos envolvidos e se eram relevantes e adequados para a obtenção dos objetivos propostos^25),(26),(28.

O índice de validade de conteúdo (IVC) da versão traduzida B foi superior ou igual a 0,9 em todos os itens, demostrando boa concordância dos juízes sobre os itens do instrumento²⁶ (Gráfico 2). Quanto à relevância, os itens foram considerados relevantes pelos juízes, apresentando IVC médio de 0,99.

Gráfico 2
Índices de validade de conteúdo por item da versão traduzida do P-MEX

Para a escala como um todo, o grau de concordância entre os juízes foi estimado pelo IVC-E, que corresponde à média do IVC-I de todos os itens na escala. O IVC-E foi de 0,96, e considerou-se a escala adequada, com índice acima de 0,9^26)-(28.

Retrotradução

Quando comparamos a versão gerada na retrotradução com a versão original, observamos semelhança em quase todos os itens (Quadro 1). O item 11 da versão adaptada apresentou alguma mudança em relação ao original, mas a versão foi respaldada pelo autor.

Quadro 1
Síntese das etapas da tradução do instrumento P-MEX

Item	Original	Versão traduzida A	Versão traduzida B	Retrotradução
1	Listened actively to patient.	Escutou ativamente o paciente.	Escutou ativamente o paciente.	Listened actively to patient.
2	Showed interest in patient as a person.	Demonstrou interesse no paciente como um ser humano.	Demonstrou interesse no paciente como pessoa.	Showed interest in patient as a person.
3	Recognized and met patient needs.	Reconheceu e atendeu as necessidades do paciente.	Reconheceu e atendeu as necessidades do paciente.	Recognized and met patient needs.
4	Extended his/herself to meet patient needs.	Dedicou-se para atender às necessidades do paciente.	Esforçou-se para atender às necessidades do paciente.	Extended her/himself to meet patient needs.
5	Ensured continuity of patient care.	Garantiu a continuidade do cuidado ao paciente.	Garantiu a continuidade do cuidado ao paciente.	Ensured continuity of patient care.
6	Advocated on behalf of a patient.	Defendeu a garantia dos direitos do paciente.	Defendeu a garantia dos direitos do paciente .	Advocated on behalf of patient.
7	Demonstrated awareness of limitations.	Demonstrou consciência de suas limitações.	Demonstrou consciência de suas limitações.	Demonstrated awareness of limitations.
8	Admitted errors/omissions.	Reconheceu erros e/ou omissões.	Reconheceu erros e/ou omissões.	Admitted errors/omissions.
9	Solicited feedback.	Solicitou feedback.	Solicitou feedback.	Solicited feedback.
10	Accepted feedback.	Aceitou feedback.	Aceitou feedback.	Accepted feedback.
11	Maintained appropriate boundaries.	Respeitou limites éticos.	Respeitou limites éticos nas relações profissionais.	Respected ethical professional relationships.
12	Maintained composure in a difficult situation.	Manteve a compostura em uma situação difícil.	Manteve a compostura em uma situação difícil.	Maintained composure in a difficult situation.
13	Maintained appropriate appearance.	Manteve adequadamente a aparência.	Manteve aparência adequada.	Maintained appropriate appearance.
14	Was on time.	Foi pontual.	Foi pontual.	Was on time.
15	Completed tasks in a reliable fashion.	Concluiu as tarefas de maneira confiável.	Concluiu as tarefas de maneira confiável.	Completed tasks in a reliable fashion.
16	Addressed own gaps in knowledge and skills.	Abordou as próprias lacunas no conhecimento e em suas habilidades.	Reconheceu suas lacunas de conhecimentos e habilidades.	Addressed own gaps in knowledge and skills.
17	Was available to colleagues.	Foi solícito para com os colegas.	Mostrou-se disponível para os colegas.	Was available to colleagues.
18	Demonstrated respect for colleagues.	Demonstrou respeito para com os colegas.	Demonstrou respeito para com os colegas.	Showed respect for colleagues.
19	Avoided derogatory language.	Evitou linguagens depreciativas.	Evitou linguagens depreciativas.	Avoided derogatory language.
20	Maintained patient confidentiality.	Manteve a confidencialidade do paciente.	Manteve a confidencialidade do paciente.	Maintained patient confidentiality.
21	Used health resources appropriately.	Utilizou adequadamente os recursos de saúde.	Utilizou adequadamente os recursos de saúde.	Used health resources appropriately.

• Fonte: Elaborado pelos autores.

Validade operacional

Houve participação de 27 estudantes dentre 32 convidados dos dois últimos anos da graduação em Medicina no OSCE virtual. Por se encontrarem em processo mais avançado de formação, alunos do internato têm mais condições de apresentar as competências médicas esperadas. Os alunos que participaram apresentavam idades entre 22 e 42 anos (média de 27 anos ±DP), e 60,7% pertenciam ao sexo feminino. Todos os alunos já haviam participado anteriormente de provas de habilidades clínicas em ambiente simulado, inclusive no formato virtual²³.

Após a realização do OSCE virtual, seis professores assistiram aos vídeos de gravação das simulações e utilizaram o instrumento na versão brasileira como checklist para realização de teste de usuário. Todos eram médicos com 20 anos de atividade em média (variando de 13 a 29), de diferentes especialidades (genética, ginecologia e obstetrícia, pediatria, otorrinolaringologia, geriatria e oftalmologia). Houve proporção entre gêneros. Todos apresentavam doutorado, com tempo de atividade docente de quatro a 14 anos (média de 8,6 anos). Todos tinham experiência prévia como avaliadores de OSCE, de um a 14 anos (com média de 5,2 anos), e apenas um não tinha experiência como elaborador de OSCE.

Após assistirem aos vídeos e preencherem o checklist, os avaliadores responderam ao questionário sobre a utilização da versão adaptada do P-MEX em ambiente simulado. Os avaliadores mencionaram que, após o fim da simulação, preencheram o instrumento num tempo que variou de um a cinco minutos, o que coincide com a média descrita em literatura^1),(17. Entenderam o P-MEX como um instrumento de “avaliação mais global”, para avaliar “aspectos importantes do profissionalismo exigidos para execução da tarefa”.

Quatro professores avaliaram positivamente - “bom”; “prático, objetivo, fácil manuseio”; “claro e objetivo” -, mas dois avaliadores relataram alguma incerteza: “vago”, “um pouco confuso”. Supõe-se que, por conta da longa experiência dos avaliadores em OSCE, com checklists direcionados para avaliação de competências técnicas, quando se utiliza o P-MEX, um instrumento abrangente para avaliação de profissionalismo em diversos cenários, ele pode parecer muito subjetivo e causar estranheza.

Consideraram-no adequado para ambiente simulado, útil para várias especialidades, contemplando várias habilidades (ética, técnica, cognitiva) e permitindo feedback formativo em tempo oportuno. Quando questionados sobre o item mais difícil de avaliar, houve diferenças entre os professores, e foram mencionados diversos itens distintos do instrumento. Sobre algum item que não se aplica a ambiente simulado, foram citados “Pontualidade” e “Mostrou-se disponível para os colegas”. Três avaliadores sugeriram a união de dois itens do instrumento, alegando que o conteúdo era redundante. Entretanto, essa sugestão não foi acatada porque esse aspecto é intrínseco ao instrumento, que foi revisto pelo autor na retrotradução, apoiando a versão traduzida completa.

Dois itens foram citados por dois professores cada como não aplicados ao ambiente simulado: “Foi pontual” e “Mostrou-se disponível aos colegas”. Quanto ao preenchimento dos itens, o item 14 (“Foi pontual”) apresentou a maior proporção de NA (não se aplica), não sendo pontuado em 50% das avaliações. Outros itens frequentemente marcados com NA foram: 12 (“Manteve a compostura em situação difícil) com 25%; 21 (“Utilizou adequadamente os recursos de saúde) com 22%; e 9 (“Solicitou feedback”) com 19%.

DISCUSSÃO

Foi realizada a adaptação transcultural do P-MEX para o português do Brasil de acordo com os padrões recomendados pela literatura internacional. Tal ferramenta apresenta evidências de boas propriedades de medição de avaliação de profissionalismo médico^1),(30. Além de equivalência linguística e clareza, verificaram-se a validade de conteúdo e a viabilidade operacional em ambiente simulado^22),(31),(32.

Vários protocolos são usados ​​para realizar adaptação transcultural de instrumentos, cada um com vantagens e desvantagens, mas faltam evidências da superioridade de um método sobre o outro^{22),(24),(25),(33}. É essencial o uso de uma metodologia rigorosa que garanta a adaptação de uma ferramenta a um idioma e contexto cultural diferentes daqueles de origem, sem perder suas características métricas²³.

A adaptação transcultural de questionário disponível em outro idioma, com qualidades reconhecidas e já validadas, visa garantir a sua equivalência com o original^23),(25),(26. Requer estratégia metodológica adequada para adaptação do instrumento, análise criteriosa da equivalência e qualidade da tradução, e técnicas de avaliação das propriedades psicométricas dos dados coletados. A menos que esse processo seja implementado adequadamente, a validade dos resultados da pesquisa pode ser duvidosa e levar a conclusões errôneas²².

Neste estudo, houve a contribuição de dois tradutores, pois revisões de metodologia utilizada para tradução de instrumentos sugerem envolver mais de um tradutor no processo para fornecer uma combinação de perspectivas, permitindo discussões valiosas de traduções independentes^21),(22),(25.

Para garantir que o processo de tradução considerasse as diferenças linguísticas, psicológicas e culturais na população pretendida³³, os tradutores eram fluentes em inglês e com experiência em processos de tradução de documentos científicos em saúde. Além disso, o grupo de pesquisadores, bilíngues, composto por profissionais de educação médica, realizou a reconciliação das traduções, finalizada em uma versão traduzida A.

Equivalência, que é um conceito fundamental na adaptação transcultural, pode ser definida como medida não enviesada entre dois instrumentos traduzidos, para que qualquer diferença detectada seja resultado das diferenças reais entre os grupos avaliados e não o resultado de diferenças inerentes à ferramenta de aferição³⁴. A versão brasileira do P-MEX apresentou equivalência linguística adequada, de acordo com os especialistas.

As análises de clareza, pertinência e relevância apresentaram índices de validade de conteúdo altos em todos os itens, representando um instrumento adequado para uso no contexto brasileiro.

A etapa de retrotradução permite que os pesquisadores tenham algum controle sobre a qualidade da tradução, comparando a versão final com a original, além de ser útil como ferramenta de comunicação com o autor do questionário original²². Isso reforça a qualidade da tradução e equivalência com a original. Apesar de a retrotradução ser comumente realizada da versão “pré-final”, optou-se por baseá-la na versão final, pois as modificações realizadas no processo de adaptação transcultural puderam ser incorporadas, o que já foi comentado por outros autores^35),(36.

É recomendado avaliar a validade operacional quando o instrumento adaptado for utilizado de forma diferente da versão original, a fim de garantir que a eficácia seja mantida³⁷. O uso do P-MEX para avaliação em cenário real é validado em vários países^{1),(17),(19),(20}. Foi validado previamente também em cenário de simulação, em processo de admissão para residência médica, com boa validade de conteúdo, operacional e de consistência interna³⁸.

Este estudo verificou a operacionalização da versão adaptada em prova de habilidades clínicas (simulação), avaliando os aspectos de utilização nesse cenário no contexto brasileiro. A simulação, por ser ambiente controlado, possibilitou emprego de cenário que contemplasse de forma mais ampla os aspectos do instrumento a ser validado. Além disso, por conta do período de pandemia, com as atividades presenciais suspensas, foi necessária a realização do OSCE por meio virtual. Esse teste de usuário tem como foco a avaliação do instrumento, mas não os resultados por ele emitidos. Tem o objetivo de avaliar aspectos práticos da utilização do instrumento, como o nível de compressão e equivalência operacional da versão traduzida do instrumento, além detectar qualquer problema de tradução que não tenha sido resolvido anteriormente^23),(37.

Enquanto este estudo estava em andamento, Holdefer et al.³⁹ publicaram uma adaptação do P-MEX para português do Brasil. Houve diferenças metodológicas que merecem ser destacadas. No outro estudo, a tradução não foi conduzida por tradutores independentes. Além disso, tradutores e comitê revisor foram semelhantes. O mesmo aconteceu com a equivalência linguística, que não foi avaliada por um comitê de especialistas independentes. Não foi citada a realização de análise de validade de conteúdo (relevância e pertinência dos itens), e no pré-teste, para a análise de validade operacional, não houve descrição dos itens pontuados ou não. Foram preenchidos somente 12 formulários de avaliação de residentes de pediatria e com um número de apenas dois avaliadores. O estudo cita que houve aprovação da retrotradução e que isso garantiria validade de conteúdo, mas, em estudos metodológicos, esse passo reforça apenas a tradução. Para que ferramentas traduzidas tenham valor, suas propriedades psicométricas precisam ser confirmadas para garantir validade de conteúdo, isto é, para que os itens amostrados reflitam adequadamente o domínio e a definição operacional do construto²⁷. Optou-se, em razão das diferenças relatadas, por seguir o processo já iniciado no nosso estudo, visando garantir a manutenção das características originais do instrumento, antes de prosseguir a validação.

Neste estudo, além das equivalências semântica, idiomática, cultural e conceitual, realizou-se a análise da validade de conteúdo e equivalência operacional, pois, quando se adapta um questionário com validade documentada, presume-se que produza medida equivalente^1),(22.

Uma limitação do presente estudo é que ele foi realizado em apenas um centro de ensino, e os resultados podem não corresponder à realidade de outros cenários. Sua reprodução em outras instituições de ensino poderá confirmar a manutenção da viabilidade do uso do instrumento em outros contextos.

Diante do hiato de instrumentos para avaliar profissionalismo médico no Brasil, a versão adaptada do P-MEX poderá ser útil para permitir identificar lapsos de comportamento profissional tanto nos encontros e nas vivências diárias como em ambiente simulado. Por se tratar de um instrumento objetivo, que possibilita feedback imediato, poderá modificar a cultura institucional na formação de identidade profissional consciente dos novos médicos. O processo de adaptação transcultural do P-MEX foi conduzido dentro dos melhores padrões internacionais³². Outros aspectos, como confiabilidade e validade interna, devem ser analisados em estudos futuros.

CONCLUSÕES

O instrumento P-MEX foi traduzido e adaptado para a língua portuguesa. A versão brasileira do P-MEX demonstrou adequada adaptação transcultural com elevado grau de concordância entre os especialistas. Além disso, demonstrou ter itens adequados e úteis para avaliar o profissionalismo médico (validade de conteúdo).

A validade operacional do P-MEX em ambiente de simulação e virtual demonstrou evidências de equivalência ao uso em ambiente real. Outros aspectos, como confiabilidade e validade interna, poderão ser analisados em estudos futuros.

REFERÊNCIAS

• ¹
  Cruess R, McIlroy JH, Cruess S, Ginsburg S, Steinert Y. The Professionalism Mini-evaluation Exercise: a preliminary investigation. Acad Med. 2006;81(10 Suppl):S74-8.
• ²
  Sattar K, Akram A, Ahmad T, Bashir U. Professionalism development of undergraduate medical students: effect of time and transition. Medicine (Baltimore). 2021;100(9):e23580.
• ³
  Berger AS, Niedra E, Brooks SG, Ahmed WS, Ginsburg S. Teaching professionalism in postgraduate medical education: a systematic review. Acad Med . 2020;95(6):938-46.
• ⁴
  Byszewski A, Gill JS, Lochnan H. Socialization to professionalism in medical schools: a Canadian experience. BMC Med Educ. 2015;15:204-212.
• ⁵
  Hultman CS, Wagner IJ. Professionalism in plastic surgery: attitudes, knowledge, and behaviors in medical students compared to surgeons in training and practice - one, but not the same. Ann Plast Surg. 2015;74(Suppl 4):S247-54.
• ⁶
  Irby DM, Hamstra SJ. Parting the clouds: three professionalism frameworks in medical education. Acad Med . 2016;91(12):1606-11.
• ⁷
  Saad TC, Riley S, Hain R. A medical curriculum in transition: audit and student perspective of undergraduate teaching of ethics and professionalism. J Med Ethics. 2017;43(11):766-70.
• ⁸
  Ziring D, Danoff D, Grosseman S, Langer D, Esposito A, Jan MK, et al. How do medical schools identify and remediate professionalism lapses in medical students? A study of U.S. and Canadian medical schools. Acad Med . 2015;90(7):913-20.
• ⁹
  Consorti F, Notarangelo M, Potasso L, Toscano E. Developing professionalism in Italian medical students: an educational framework. Adv Med Educ Pract. 2012;3:55-60.
• ¹⁰
  Jha V, Mclean M, Gibbs TJ, Sandars J. Medical professionalism across cultures: a challenge for medicine and medical education. Med Teach. 2015;37(1):74-80.
• ¹¹
  Adkoli BV. Assessment of professionalism and ethics. J Educ Technol Health Sci. 2019;6(1):2-9.
• ¹²
  Hodges B, Paul R, Ginsburg S, The Ottawa Consensus Group Members. Assessment of professionalism: from where have we come - to where are we going? An update from the Ottawa Consensus Group on the assessment of professionalism. Med Teach . 2019;41:3:249-55.
• ¹³
  Li H, Ding N, Zhang Y, Liu Y, Wen D. Assessing medical professionalism: a systematic review of instruments and their measurement properties. PLoS One. 2017;12(5):e0177321.
• ¹⁴
  Carneiro MA, Cunha SM, Feitosa ES, Sá RB, Brilhante AVM. O profissionalismo e suas formas de avaliação em estudantes de Medicina: uma revisão integrativa. Interface (Botucatu). 2020;24:1-15.
• ¹⁵
  Tay KT, Ng S, Hee JM, Chia EWY, Vythilingam D, Ong YT, et al. Assessing professionalism in medicine: a scoping review of assessment tools from 1990 to 2018. J Med Educ Curric Dev. 2020;7:1-19.
• ¹⁶
  Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach . 2013;35(2):e952-6.
• ¹⁷
  Amirhajlou L, Bidari A, Alipour F, Yaseri M, Vaziri S, Rezai M, et al. Validity, reliability and acceptability of Professionalism Mini-Evaluation Exercise (P-MEX) for emergency medicine residency training. J Med Ethics Hist Med. 2019;12:1-16.
• ¹⁸
  Fong W, Kwan YH, Yoon S, Phang JK, Thumboo J, Leung YY, et al. Assessment of medical professionalism: preliminary results of a qualitative study. BMC Med Educ . 2020;20(1):27-38.
• ¹⁹
  Karukivi M, Kortekangas-Savolainen O, Saxén U, Haapasalo-Pesu KM. Professionalism Mini-Evaluation Exercise in Finland: a preliminary investigation introducing the Finnish version of the P-MEX instrument. J Adv Med Educ Prof. 2015;3(4):154-8.
• ²⁰
  Tsugawa Y, Ohbu S, Cruess R, Cruess S, Okubo T, Takahashi O, et al. Introducing the Professionalism Mini-Evaluation Exercise (P-MEX) in Japan: results from a multicenter, cross-sectional study. Acad Med . 2011;86(8):1026-31.
• ²¹
  Bovis F, Consolaro A, Pistorio A, Garrone M, Scala S, Patrone E, et al. Paediatric Rheumatology International Trials Organisation (PRINTO). Cross-cultural adaptation and psychometric evaluation of the Juvenile Arthritis Multidimensional Assessment Report (JAMAR) in 54 languages across 52 countries: review of the general methodology. Rheumatol Int. 2018;38(Suppl 1):5-17.
• ²²
  Epstein J, Santo RM, Guillemin F. A review of guidelines for cross-cultural adaptation of questionnaires could not bring out a consensus. J Clin Epidemiol. 2015;68(4):435-41.
• ²³
  Ortiz-Gutiérrez S, Cruz-Avelar A. Translation and cross-cultural adaptation of health assessment tools. Actas Dermosifiliogr (Engl Ed). 2018;109(3):202-6.
• ²⁴
  Rocha SR, Romão GS, Setúbal MSV, Lajos GJ, Luz AG, Collares CF, et al. Cross-cultural adaptation of the communication assessment tool for use in a simulated clinical setting. Teach Learn Med. 2020;32(3):308-18.
• ²⁵
  Yao M, Xu B ping, Tian Z rui, Ye J, Zhang Y, Wang Y jun, et al. Cross-cultural adaptation of the Neck Pain and Disability Scale: a methodological systematic review. Spine J. 2019;19(6):1057-66.
• ²⁶
  Alexandre NM, Coluci MZ. Content validity in the development and adaptation processes of measurement instruments. Cien Saude Colet. 2011;16(7):3061-8.
• ²⁷
  Almanasreh E, Moles R, Chen TF. Evaluation of methods used for estimating content validity. Res Social Adm Pharm. 2019;15(2):214-21.
• ²⁸
  Sireci S, Faulkner-Bond M. Validity evidence based on test content. Psicothema. 2014;26(1):100-7.
• ²⁹
  Daniels VJ, Pugh D. Twelve tips for developing an OSCE that measures what you want. Med Teach . 2018;40(12):1208-13.
• ³⁰
  Kwan YH, Png K, Phang JK, Leung YY, Goh H, Seah Y, et al. A systematic review of the quality and utility of observer-based instruments for assessing medical professionalism. J Grad Med Educ. 2018;10(6):629-38.
• ³¹
  Lino CRM, Brüggemann OM, Souza ML, Barbosa SFF, Santos EKA. Adaptação transcultural de instrumentos de pesquisa conduzida pela enfermagem do Brasil: uma revisão integrativa. Texto Contexto Enferm. 2017;26(4):1-11.
• ³²
  Urbina J, Monks SM. Validating assessment tools in simulation. StatPearls Publishing; 2022:1-10.
• ³³
  International Test Commission. ITC guidelines for translating and adapting tests. Version 2.4. 2nd ed. ITC, Hemel Hempstead, England, 2017. [acesso em 24/11/1921]. Disponível em: Disponível em: www.InTestCom.org
  » www.InTestCom.org
• ³⁴
  Fortes CPDD, Araújo AP de QC. Check list para tradução e adaptação transcultural de questionários em saúde. Cad Saude Colet. 2019;27(2):202-9.
• ³⁵
  Bracher ES, Pietrobon R, Eluf-Neto J. Cross-cultural adaptation and validation of a Brazilian Portuguese version of the chronic pain grade. Qual Life Res. 2010;19(6):847-52.
• ³⁶
  Santo RM, Ribeiro-Ferreira F, Alves MR, Epstein J, Novaes P. Enhancing the cross-cultural adaptation and validation process: linguistic and psychometric testing of the Brazilian-Portuguese version of a self-report measure for dry eye. J Clin Epidemiol . 2015;68(4):370-8.
• ³⁷
  Reichenheim ME, Moraes CL. Operationalizing the cross-cultural adaptation of epidemiological measurement instruments. Rev Saude Publica. 2007;41(4):665-73.
• ³⁸
  Bajwa NM, Yudkowsky R, Belli D, Vu NV, Park YS. Improving the residency admissions process by integrating a professionalism assessment: a validity and feasibility study. Adv Health Sci Educ Theory Pract. 2017;22(1):69-89.
• ³⁹
  Holdefer MML, Sena CF, Naghettini AV, Pereira ERS. Tradução e adaptação transcultural do instrumento de avaliação do profissionalismo P-MEX para uso em médicos residentes. Rev Bras Educ Med. 2021;45(1):1-8.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editor associado: Fernando Almeida.

Datas de Publicação

• Publicação nesta coleção
  27 Mar 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  25 Maio 2022
• Aceito
  10 Jan 2023