Validade e Confiabilidade do Maastricht Clinical Teaching Questionnaire para Língua Portuguesa

RESUMO

Introdução

Num cenário de aprendizagem clínica, preceptores devem se comportar como mediadores entre os saberes que o estudante já tem e os que necessita adquirir, integrando a teoria e a prática no contexto da assistência ao paciente. Para isso, é necessário capacitar preceptores e desenvolver instrumentos capazes de aferir o desempenho de tais docentes. Em 2008, foi desenvolvido na Holanda o Maastricht Clinical Teaching Questionnaire (MCTQ), destinado à avaliação de preceptores pelos estudantes com o objetivo de proporcionar feedback a esses sobre suas habilidades de ensino em relação à supervisão realizada durante o estágio. A validação de um instrumento para outro idioma é de grande valia, uma vez que permite avaliar e investigar determinado fenômeno em diferentes países.

Objetivo

Realizar a validação do MCTQ para a língua portuguesa.

Metodologia

Trata-se de um estudo de validação de instrumento de pesquisa realizado em quatro hospitais do Nordeste brasileiro com a aplicação da versão adaptada para a língua portuguesa do MCTQ em uma amostra não probabilística composta por 246 estudantes de Medicina do quinto e sexto anos de quatro diferentes instituições de ensino do Estado de Pernambuco. Para avaliar a validade do construto, foi utilizado o índice Kappa. A confiabilidade foi medida por meio do Coeficiente Alfa de Cronbach padronizado. O nível de reprodutibilidade do MCTQ foi calculado pelo teste t de Student para medidas repetidas, comparando valores do teste e do reteste. A pesquisa foi aprovada no Comitê de Ética e Pesquisa da Faculdade Pernambucana de Saúde.

Resultados

O índice Kappa variou entre 0,527 e 0,710, e o Coeficiente Alfa de Cronbach de 0,77 a 0,954, comprovando bom grau de concordância e de consistência interna do instrumento, respectivamente. Em relação à reprodutibilidade, todos os valores de coeficiente de correlação encontrados foram significativos e de boa magnitude (≥ 0,72).

Conclusão

A versão em português do MCTQ mostrou-se confiável e válida para uso na língua portuguesa e pode ser útil como instrumento a promover melhorias pedagógicas nos cursos de graduação e pós-graduação, especialmente aqueles relacionados às ciências da saúde.

Estudos de Validação; Avaliação Educacional; Preceptoria; Educação Médica

ABSTRACT

Introduction

In clinical learning scenarios, preceptors should mediate between the knowledge students already possess and the knowledge they need to acquire, integrating theory and practice into the patient care context. In order to make this possible, we must train preceptors and develop instruments for evaluating their performance as educators. In 2008, the Maastricht Clinical Teaching Questionnaire (MCTQ) was developed in the Netherlands with the purpose of enabling students to evaluate their preceptors, in order to provide preceptors with feedback regarding their teaching skills and the supervision provided by them during the internship period. Validating an instrument that has been translated is important and valuable, because it enables certain phenomena to be evaluated and investigated in different countries.

Objective

To validate the Portuguese-language version of the MCTQ.

Methodology

This is an instrument validation study, with research carried out in four different hospitals in the Northeast Region of Brazil. It applied the Portuguese-language version of the MCTQ to a non-probability sample composed of 246 fifth- and sixth-year students of Medicine from four different institutions in the state of Pernambuco. Kappa values were used to evaluate the validity of the construct, and reliability was measured using standardized Cronbach’s alpha coefficient. The reproducibility level of the MCTQ was calculated using the Student’s t-test for repeated measures, comparing test and re-test values. This study was approved by the Human Research Ethics Committee of the Faculdade Pernambucana de Saúde.

Results

The kappa index was between 0.527 and 0.71, and Cronbach’s alpha coefficient was between 0.77 and 0.954, demonstrating that the instrument has good levels of agreement and internal consistency, respectively. With respect to reproducibility, all coefficient correlation values found were significant and showed good magnitude (≥0.72).

Conclusion

The Portuguese-language version of the MCTQ proved to be reliable and valid for use in Portuguese-language settings, and can be useful as an instrument for promoting pedagogical improvements in undergraduate and graduate courses, especially in health sciences.

Validation study; Educational evaluation; Preceptorship; Medical education

INTRODUÇÃO

Ao longo da história, o ensino na Medicina foi praticado por meio da transmissão de saberes de um médico mais experiente para os mais jovens aprendizes, não havendo formação pedagógica específica para esse processo de ensino-aprendizagem. O ensinamento era pautado no acompanhamento e na observação direta dos procedimentos realizados pelos médicos mais sábios por parte dos mais jovens ¹ .

Mesmo nos dias atuais, o docente médico ainda não recebe o preparo adequado para ensinar, valendo-se basicamente, na maioria das vezes, de sua experiência em determinada área médica como pré-requisito ao ensino. Este, por sua vez, ainda é muito praticado no formato tradicional, em que o estudante é mero espectador, e o professor o detentor e transmissor do saber ^2,3 .

No início do século XX, foi publicado o clássico estudo conhecido como relatório de Flexner ⁴ . Entre as propostas trazidas por ele, destacava-se a divisão clara entre um período ou ciclo inicial de disciplinas básicas, seguido de outro dedicado aos estudos clínicos. Este formato foi muito criticado, porém ainda é muito utilizado em nossas faculdades ⁵ . Em contrapartida, Flexner ⁶ defendia as atividades práticas tanto no laboratório como na clínica. Em sua concepção, o acadêmico só aprendia fazendo. Assim, mostrava-se contrário ao ensino pautado puramente em palestras e que valorizasse a memorização como método de aprendizagem.

Nessa perspectiva e em conformidade com as Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina, o docente clínico deve atuar com metodologias de ensino que privilegiem a participação ativa do discente em diversos cenários, em especial nas unidades de saúde pertencentes ao Sistema Único de Saúde (SUS), em seus diferentes níveis de atenção, proporcionando ao estudante conhecer e vivenciar, de forma prática e crescente, situações inerentes à profissão ⁷ .

Com o processo de implantação do Programa Mais Médicos, o governo brasileiro tem motivado, por meio dos ministérios da Saúde e da Educação, a expansão de novas escolas médicas em todo o País. Associado a esse crescimento, exige-se que os novos profissionais formados possuam um perfil mais crítico, humanista, ético e reflexivo, voltado especialmente às necessidades do SUS ⁸ .

Em um novo contexto, não basta que o acadêmico adquira conhecimento cognitivo e demonstre habilidades técnicas ⁹ . Agora, espera-se que o profissional formado apresente também as atitudes, valores e comportamentos esperados de um médico. Ele deve “pensar, agir e sentir como médico” ¹⁰ .

Assim, concomitantemente ao anseio de conceber esse novo tipo de profissional, é urgente contar com preceptores devidamente preparados para essas mudanças em curso. Um bom preceptor precisa ter ciência de que, além de atuar como facilitador do aprendizado técnico de determinada área médica, serve de modelo uma vez que transmite valores morais a partir de suas atitudes e de seu comportamento frente aos pacientes. Na perspectiva dos estudantes, o preceptor modelo também é aquele que mostra entusiasmo pela docência, é motivador, é acessível, se interessa pelo desenvolvimento de seus estudantes e cria um ambiente de aprendizagem positivo, entre tantas outras qualidades ^11,12 . ^.

Além da importância da capacitação dos preceptores, é preciso haver instrumentos capazes de aferir o desempenho deles. Para isso, podemos utilizar o feedback proporcionado por estudantes como um dado relevante que pode ser empregado para ajudar os docentes a aprimorarem suas habilidades de ensino ¹³ .

Nesse sentido, existem alguns instrumentos com a finalidade de fornecer dados sobre a qualidade de ensino dos preceptores. Trata-se de questionários nos quais acadêmicos de Medicina e médicos residentes respondem a itens que avaliam seus docentes. Um deles, desenvolvido em 2008, é o Maastricht Clinical Teaching Questionnaire (MCTQ), destinado à avaliação de preceptores pelos estudantes no intuito de proporcionar feedback àqueles sobre suas habilidades de ensino durante a etapa de estágio do curso. O MCTQ tem como fundamentação teórica a aprendizagem cognitiva, e o seu produto foi obtido com base em extensa descrição desse modelo ¹⁴ .

Em 2010, Stalmeijere e colaboradores ¹⁵ demonstraram a validade do MCTQ para uso em estágios clínicos. Dessa forma, o MCTQ pode ser considerado não apenas um valioso instrumento de avaliação e feedback , mas uma ferramenta que proporciona autorreflexão e desenvolvimento pedagógico de preceptores, promovendo, consequentemente, melhorias no ensino clínico.

Até o momento, não há um questionário na língua portuguesa com as características já descritas e que esteja devidamente validado para uso em nosso país. No entanto, em 2015 foi realizado um estudo que proporcionou a tradução e adaptação cultural do MCTQ para o português com uso no Brasil, garantindo sua validade de conteúdo. É o primeiro instrumento que avalia as habilidades clínicas adaptado transculturalmente para a língua portuguesa. A versão nacional do MCTQ apresentou fácil compreensão pelos estudantes e, em teste piloto realizado, mostrou-se bem aceita ¹⁶ .

Por outro lado, para ser de fato aplicado em determinada população, é importante que um instrumento preencha os requisitos de validade e confiabilidade. A validade se refere ao grau em que um instrumento realmente mede a variável que pretende medir, ou seja, mede-se aquilo que se propõe medir. Por sua vez, a confiabilidade de uma medida é a confiança que ela inspira, sua coerência através da constância dos resultados ^17,18 .

A adaptação transcultural e a validação de um instrumento para outro idioma são de grande valia, uma vez que permitem que esse instrumento avalie e investigue determinado fenômeno em diferentes contextos, podendo ser utilizado em estudos não apenas locais, mas internacionais e multicêntricos, cada vez mais frequentes na comunidade científica. Isso possibilita fazer comparações entre populações distintas e demanda menor tempo com a formulação de um novo instrumento ¹⁹ . Nesse contexto, considerando a ausência de instrumentos brasileiros com validade e confiabilidade previamente testados para avaliar o ensino clínico, este estudo tem como objetivo realizar a validação do MCTQ para a língua portuguesa.

MÉTODOS

Sobre o instrumento

O MCTQ é composto por cinco domínios – modelagem, treinamento, articulação, exploração e clima geral de aprendizagem –, onde se distribuem 15 itens que avaliam o desempenho de um preceptor, com base nos quais o estudante indicará sua concordância numa escala Likert de cinco pontos (1 = discordo totalmente, 2 = discordo, 3 = neutro, 4 = concordo, 5 = concordo totalmente). O domínio de modelagem inclui aspectos relacionados à demonstração de uma tarefa na prática pelo preceptor, à observação pelo discente, além do papel da modelagem para os profissionais na área da saúde. Os três itens que compõem o domínio de treinamento refletem o feedback realizado pelo preceptor após a execução de uma tarefa pelo estudante, o ajuste das atividades ao nível de experiência do aluno e a oportunidade de desempenhá-las com autonomia. O domínio articulação é composto por três itens que dizem respeito ao estímulo dado pelo preceptor ao raciocínio do discente, por meio da solicitação de explicação para suas ações, das perguntas e da exploração sobre seus pontos fortes e fracos. Os dois itens que compõem o domínio exploração compreendem o estímulo à elaboração e alcance dos objetivos de aprendizagem pelos estudantes. Por fim, o último domínio está relacionado ao clima geral de aprendizagem. Este traz, em seus três itens, aspectos relacionados ao ambiente de aprendizagem, ao respeito do preceptor pelo estudante e ao interesse por sua aprendizagem ¹⁴ .

Tradução e adaptação transcultural

As fases do processo de adaptação transcultural do MCTQ foram realizadas em conformidade com as recomendações da literatura aceitas internacionalmente ²⁰ . As cinco fases desenvolvidas no processo constituíram-se de: (1) tradução direta; (2) síntese de traduções; (3) tradução reversa; (4) consolidação por um comitê de juízes; (5) pré-teste (viabilidade e aplicabilidade) ^21,22 .

Da etapa 1 participaram dois tradutores bilíngues independentes e qualificados, nativos do idioma alvo, que traduziram o questionário do idioma original – o inglês – para o idioma português falado no Brasil. Na etapa 2, os dois tradutores e os pesquisadores compararam as traduções, identificaram as diferenças entre as versões traduzidas e fizeram as adaptações necessárias até alcançar o consenso, originando uma versão síntese. Na etapa 3, foi realizada a tradução reversa desta versão por dois tradutores bilíngues que apresentavam língua materna equivalente à do questionário original. Dessa forma, nessa etapa obteve-se a tradução do instrumento para o português com o intuito de gerar uma versão pré-final.

Para realizar a etapa 4, foi formado um comitê de especialistas com experiência prática significativa na área em questão e representativo da população-alvo. Esse comitê de juízes foi composto por dez especialistas na temática: quatro em educação, um especialista em pesquisa de adaptação transcultural e validação, dois estudantes de Medicina que realizaram 80% ou mais dos rodízios clínicos e três preceptores clínicos. Esse grupo se reuniu com os pesquisadores responsáveis e analisou cuidadosamente as versões traduzidas e a versão pré-final com o objetivo de facilitar a análise e obter a versão final utilizada para a validação. No término do processo de adaptação transcultural (etapa 5), aplicou-se a versão adaptada para a língua portuguesa do MCTQ em uma amostra de estudantes com características semelhantes às da população de interesse. Houve boa aceitação durante o pré-teste, e os discentes afirmaram que o questionário era claro, fácil de entender e responder, apresentando instruções rápidas e simples de seguir ¹⁶ .

População de estudo e coleta de dados

A amostra foi não probabilística, constituída por 246 estudantes de ambos os sexos, recrutados voluntariamente, cursando os dois últimos anos do curso de Medicina de quatro instituições de ensino superior do Estado de Pernambuco que estavam realizando o estágio obrigatório (internato) em quatro hospitais do Nordeste brasileiro, vinculados ao SUS, durante o período da pesquisa.

Das quatro unidades, três representam os maiores serviços de saúde localizados no Vale do São Francisco, região que engloba as cidades de Petrolina (PE) e Juazeiro (BA). O quarto hospital se situa na cidade de Recife, capital do Estado de Pernambuco. Como instrumento de coleta de dados, foi aplicada a versão adaptada para a língua portuguesa do MCTQ . Por meio do questionário, o estudante avaliava o preceptor em dois momentos distintos, com intervalo mínimo de uma semana (teste e reteste). Diferentemente do estudo original, em que o questionário foi respondido por todos os participantes de forma anônima, neste ficava a critério do acadêmico a sua identificação ou o anonimato.

O questionário foi aplicado entre março e agosto de 2016 por uma equipe composta de três profissionais habilitados à aplicação do MCTQ . Estes não tinham qualquer relação hierárquica com os estudantes participantes, e em nenhum momento os autores foram avaliados, evitando qualquer conflito de interesses. Destaca-se, ainda, que os preceptores ou supervisores avaliados não tiveram acesso ao questionário.

A pesquisa foi desenvolvida de acordo com a Resolução 466/12 do Conselho Nacional de Saúde e foi aprovada pelo Comitê de Ética em Pesquisa em Humanos da Faculdade Pernambucana de Saúde com o número CAEE 51892515.7.1001.5569.

Análise estatística

Os dados obtidos foram digitados numa planilha do banco de dados do Excel® (Microsoft Corporation, Redmond, WA, Estados Unidos, Release 14.0.7173.5000, 2010), duas vezes, com checagem automática de consistência e amplitude. A análise estatística descritiva foi realizada com auxílio do programa computacional SPSS (SPSS Inc., Chicago, IL, USA, Release 16.0.2, 2008). Variáveis categóricas foram apresentadas mediante frequências absoluta e relativa, enquanto as contínuas foram ilustradas como média ± desvio padrão após a verificação da normalidade dos dados pelo teste de Kolmogorov-Smirnoff.

O nível de reprodutibilidade do MCTQ foi calculado pelo teste t de Student para medidas repetidas, que foi utilizado na comparação dos valores do teste e do reteste. Possíveis correlações entre estes dados foram também verificadas por meio do coeficiente de correlação linear de Pearson (r) e pelo coeficiente de determinação (r ² ), que é uma medida da proporção da variabilidade em uma variável que é explicada pela variabilidade da outra. O coeficiente de correlação linear de Pearson varia entre -1 e 1. O valor indica a magnitude, e o sinal indica a direção da correlação (negativa ou positiva). Quanto mais perto de 1, mais forte é o nível de associação linear entre as variáveis. Por outro lado, quanto mais perto de zero, menor é o nível de associação ou é insignificante ²³ . Já o coeficiente de determinação é uma medida da proporção da variabilidade numa variável que é explicada pela variabilidade da outra.

Para avaliar a medida de confiabilidade, foi utilizada a consistência interna, por meio do coeficiente de Cronbach padronizado. O Alpha de Cronbach é um índice empregado para medir a confiabilidade do tipo consistência interna de uma escala, verificando a magnitude em que os itens de um instrumento estão correlacionados. Sendo assim, ele consiste na média das correlações entre os itens que fazem parte de um instrumento. O valor mínimo aceitável para o Alpha é 0,70. Habitualmente, são preferidos valores de Alpha entre 0,80 e 0,90. Valores superiores a 0,90 são considerados redundantes, ou seja, vários itens estão medindo exatamente o mesmo elemento de um construto ^24,25 .

O grau de concordância entre as respostas do MCTQ , validade de construto, foi avaliado por meio do índice Kappa. O Kappa é uma medida de concordância intra- e entre-observador e mede o grau de concordância além do que seria esperado tão somente pelo acaso e varia geralmente de 0 a 1 (embora os números negativos sejam possíveis), sendo que “0” representa não haver concordância além do puro acaso e “1” representa a concordância perfeita ²⁶ . Os valores foram distribuídos em cinco categorias de concordância para as estimativas de confiabilidade com base nos resultados encontrados para o Kappa: quase perfeita (≥ 0,81); substancial (0,61 a 0,80); moderada (0,41 a 0,60); regular (0,21 a 0,40); fraca (0,01 a 0,20) e pobre (0,00) ²⁷ . Todas as análises estatísticas são bicaudais, os valores de p quando calculados são exatos, e 5% foi o nível de significância adotado.

RESULTADOS

Foram respondidos 835 questionários (427 testes e 408 retestes) por 246 acadêmicos do quinto e sexto anos do curso de Medicina de quatro instituições de ensino superior. Dezenove avaliações foram excluídas devido a preenchimento incorreto ou porque o estudante não havia realizado o reteste. Dessa forma, foram incluídos 816 questionários (408 testes e 408 retestes) na presente análise. Os discentes avaliaram 84 preceptores em quatro cenários do estágio obrigatório do curso: Pediatria; Ginecologia e Obstetrícia; Clínica Médica; Clínica Cirúrgica. Cada preceptor foi avaliado duas ou mais vezes. Por outro lado, cada estudante avaliou até três preceptores para cada estágio.

Como o objetivo era validar o instrumento em si e o aluno não era compelido a se identificar, não houve levantamento de dados referentes à população do estudo (idade, gênero, etc.). Essa particularidade, o anonimato, também se fez presente no estudo que fundamentou esta pesquisa ¹⁵ .

Os estudantes gastaram, em média, de seis a sete minutos para o preenchimento do MCTQ , intervalo de tempo próximo ao utilizado na etapa de validação transcultural ¹⁶ e no estudo original, composto por estudantes holandeses ¹⁵ .

Confiabilidade

A análise foi realizada comparando-se as respostas do teste e do reteste. Neste estudo, o Coeficiente Alfa de Cronbach foi superior a 0,70 para todas as dimensões do questionário (variando entre 0,77 e 0,94), evidenciando boa consistência interna das dimensões propostas, resultando em instrumento de medida confiável ( Tabelas 1 e 2 ).

TABELA 1
Média de escore (escala: 1 = discordo totalmente, 5 = concordo totalmente), correspondente desvio padrão (DP) por item do Maastricht Clinical Teaching Questionnaire e avaliação geral (escala de 1 a 10) do teste

Teste: domínios e itens do questionário	Média (1–5)	DP	Coeficiente alfa
Modelagem			0,85
1. Demonstrou consistentemente como desempenhar as habilidades clínicas.	4,4	0,95
2. Criou oportunidades suficientes para que eu o(a) observasse.	4,0	1,04
3. Serviu como modelo para o tipo de profissional de saúde que eu gostaria de me tornar.	4,1	1,11
Treinamento			0,77
4. Deu feedback útil durante ou imediatamente após observação direta dos meus atendimentos ao paciente.	4,2	1,07
5. Ajustou as suas atividades de ensino ao meu nível de experiência.	4,2	0,96
6. ... me ofereceu oportunidades suficientes para desempenhar as atividades com autonomia.	4,3	0,93
Articulação			0,85
7. ... me pediu para fornecer um argumento lógico para as minhas ações.	4,4	0,90
8. ... me fez perguntas visando aumentar meu entendimento.	4,4	0,90
9. ... me estimulou a explorar meus pontos fortes e fracos.	3,9	1,09
Exploração			0,91
10. ... me encorajou a formular objetivos de aprendizagem.	3,9	1,09
11. ... me encorajou a buscar e atingir meus objetivos de aprendizagem.	4,0	1,06
Clima geral de aprendizagem			0,88
12. Criou um ambiente de aprendizagem seguro (interativo, estimulante e confortável).	4,2	1,14
13. Estava sinceramente interessado(a) em mim como estudante/em minha aprendizagem.	4,1	1,06
14. Mostrou que me respeitava.	4,5	0,94
Avaliação geral do preceptor (1 – 10)	8,5	1,64

TABELA 2
Média de escore (escala: 1 = discordo totalmente, 5 = concordo totalmente), correspondente desvio padrão (DP) por item do Maastricht Clinical Teaching Questionnaire e avaliação geral (escala de 1 a 10) do reteste

Reteste: domínios e itens do questionário	Média (1–5)	DP	Coeficiente alfa
Modelagem			0,88
1. Demonstrou consistentemente como desempenhar as habilidades clínicas.	4,3	0,96
2. Criou oportunidades suficientes para que eu o(a) observasse.	4,0	1,03
3. Serviu como modelo para o tipo de profissional de saúde que eu gostaria de me tornar.	4,1	1,13
Treinamento			0,82
4. Deu feedback útil durante ou imediatamente após observação direta dos meus atendimentos ao paciente.	4,1	1,05
5. Ajustou as suas atividades de ensino ao meu nível de experiência.	4,2	1,00
6. Ofereceu-me oportunidades suficientes para desempenhar as atividades com autonomia.	4,3	0,90
Articulação			0,88
7. ... me pediu para fornecer um argumento lógico para as minhas ações.	4,3	0,91
8. ... me fez perguntas visando aumentar meu entendimento.	4,3	0,97
9. ... me estimulou a explorar meus pontos fortes e fracos.	3,9	1,10
Exploração			0,94
10. ... me encorajou a formular objetivos de aprendizagem.	3,9	1,12
11. ... me encorajou a buscar e atingir meus objetivos de aprendizagem.	4,0	1,08
Clima geral de aprendizagem			0,89
12. Criou um ambiente de aprendizagem seguro (interativo, estimulante e confortável).	4,1	1,19
13. Estava sinceramente interessado(a) em mim como estudante/em minha aprendizagem.	4,1	1,08
14. Mostrou que me respeitava.	4,5	0,90
Avaliação geral do preceptor (1 – 10)	8,5	1,64

Quando às questões do MCTQ são analisadas individualmente ( Tabela 3 ), os resultados também confirmam excelente confiabilidade do instrumento, com valores iguais ou superiores a 0,84.

TABELA 3
Análise individual da relação entre cada resposta do MCTQ nos dois momentos de avaliação dos preceptores

Questão	Teste (n = 408)		Reteste (n = 408)		p-valor	Alfa de Cronbach	Kappa	r*	r 2
	Média (1 – 5)	DP	Média (1 – 5)	DP
1	4,4	0,95	4,3	0,96	0,466	0,91	0,645	0,837	0,701
2	4,0	1,04	4,0	1,03	0,732	0,92	0,640	0,843	0,711
3	4,1	1,11	4,1	1,13	0,192	0,95	0,710	0,904	0,817
4	4,2	1,07	4,1	1,05	0,030	0,90	0,570	0,821	0,674
5	4,2	0,96	4,2	1,00	0,337	0,89	0,541	0,801	0,642
6	4,3	0,93	4,3	0,90	0,698	0,86	0,527	0,758	0,575
7	4,4	0,90	4,3	0,91	0,022	0,84	0,561	0,726	0,527
8	4,4	0,90	4,3	0,97	0,001	0,89	0,575	0,810	0,656
9	3,9	1,09	3,9	1,10	0,726	0,88	0,537	0,791	0,626
10	3,9	1,09	3,9	1,12	0,640	0,91	0,624	0,835	0,697
11	4,0	1,06	4,0	1,08	0,452	0,90	0,609	0,811	0,658
12	4,2	1,14	4,1	1,19	0,018	0,93	0,601	0,866	0,750
13	4,1	1,06	4,1	1,08	0,116	0,93	0,670	0,875	0,766
14	4,5	0,94	4,5	0,90	0,655	0,94	0,656	0,885	0,783

• ²

Validade de construto

A validade de construto do instrumento foi testada item a item. Os índices de concordância podem ser observados na Tabela 3 . O índice Kappa entre os itens do teste e do reteste variou de 0,527 na questão 6 (me ofereceu oportunidades suficientes para desempenhar as atividades com autonomia) até 0,710 na questão 3 (serviu como modelo para o tipo de profissional de saúde que eu gostaria de me tornar), evidenciando um grau de concordância moderado a substancial do instrumento.

Reprodutibilidade

A reprodutibilidade do instrumento também foi testada item a item, comparando-se duas amostras pareadas, no caso teste-reteste, com os mesmos sujeitos em dois momentos distintos. O intervalo mínimo entre o teste e o reteste foi de uma semana, e o máximo de três semanas. Buscou-se que o intervalo entre as avaliações não fosse excessivamente longo, a ponto de acarretar variações das respostas para os itens analisados, nem demasiadamente curto, para evitar memorização das respostas (efeito de aprendizagem). Todos os valores de coeficiente de correlação encontrados foram significativos e de boa magnitude (≥ 0,72). Os resultados verificados demonstraram forte correlação linear positiva para 13 questões, tendo sido encontrada uma correlação muito forte, quase perfeita, de (+) 0,90 na questão 3.

O coeficiente de determinação (r ² ), quadrado do coeficiente de correlação linear de Pearson (r), foi alto (> 0,60) em 12 das 14 perguntas analisadas, o que demonstrou que a nota do teste determina ou explica a do reteste em mais de 60% das vezes nestas perguntas. Ou seja, uma nota alta no teste determina nota alta no reteste, enquanto uma nota baixa no teste determina nota baixa quando o questionário é reaplicado. Contrariamente, a questão 7 apresentou diferença estatisticamente significativa nos valores pré e pós, tendo obtido o menor valor de correlação entre os dois momentos. Em adição, as questões 4, 8 e 12 também apresentaram médias estatisticamente diferentes entre os dois momentos avaliativos.

DISCUSSÃO

Ao lado das mudanças que vêm sendo implementadas nos currículos dos cursos de graduação da área de saúde, é fundamental ampliar os investimentos na formação de professores e preceptores, bem como criar novas ferramentas que possam avaliar a atuação docente como elemento fundamental nesse processo de ensino-aprendizagem.

Nesse sentido, um instrumento que avalie o desempenho do preceptor com base em dados fornecidos por seus estudantes é de grande importância para a melhoria das práticas de ensino. No caso dos cursos de Medicina, isso é bastante evidente, já que na maioria das instituições de ensino não há nenhum direcionamento voltado à formação de futuros médicos professores.

Assim como na etapa de adaptação transcultural do MCTQ , nessa fase de verificação de validade e confiabilidade também houve excelente receptividade dos estudantes. Consensualmente, o MCTQ foi visto como um instrumento que pode contribuir para melhoria da preceptoria e do curso médico.

Seguindo as etapas de validação do questionário, foi encontrada forte correlação linear positiva ²⁰ entre os itens do questionário analisado, igual ou superior a 0,72, bem como um grande grau de concordância entre eles. No entanto, algumas considerações precisam ser feitas: para as questões 4: “deu feedback útil durante ou imediatamente após observação direta dos meus atendimentos ao paciente”; 7: “me pediu para fornecer um argumento lógico para as minhas ações”; 8: “me fez perguntas visando aumentar meu entendimento”; e 12: “criou um ambiente de aprendizagem seguro (interativo, estimulante e confortável)”, foram verificadas diferenças estatisticamente significativas entre os resultados encontrados nos dois momentos da avaliação ( p < 0,05). Porém, quando se analisam os valores achados para esses itens individualmente, nota-se que a variação entre as notas no teste e reteste é de pequena magnitude, correspondendo a 0,1 entre as médias numa escala que varia de um a cinco, como na questão 4, por exemplo, que variou de 4,2 (teste) a 4,1 (reteste).

Uma explicação para essa pequena diferença encontrada nas questões mencionadas pode ser a variação do intervalo de tempo entre os dois momentos de aplicação do questionário. Assim, possivelmente, um intervalo inferior a três semanas seria o ideal para o emprego do instrumento. Outras possibilidades que poderiam justificar esse resultado seriam melhor familiarização do discente com o questionário ou maior contato com o preceptor avaliado. Certamente, o contato mais prolongado do estudante com o preceptor pode influenciar seu julgamento em relação à prática pedagógica adotada por este. Estudos futuros podem averiguar tais hipóteses.

Por sua vez, chama a atenção o fato de a questão 7 ter apresentado os menores valores para os coeficientes de correlação linear, de determinação e do Alfa de Cronbach. Tendo em vista que esta questão também apresentou diferença estatística para as médias nos dois momentos de avaliação, podem-se inferir três situações: que a mesma apresenta dificuldade de entendimento; que a tradução pode ter sido imprecisa; que o preceptor avaliado realmente não exigiu raciocínio lógico por parte do estudante.

No domínio exploração, curiosamente, foi observado um elevado coeficiente Alfa de Cronbach (> 0,90) tanto no teste como no reteste. Esse domínio é composto pelos itens 10: “me encorajou a formular objetivos de aprendizagem” e 11: “me encorajou a buscar e atingir meus objetivos de aprendizagem”. Esse achado sugere redundância de informação para tais questões, isto é, elas possivelmente podem estar medindo o mesmo elemento do construto ²⁴ . De maneira similar, esse valor acima de 0,90 também foi encontrado para o domínio “exploração” no trabalho original ¹⁵ . Tendo em vista o resultado matematicamente semelhante, entende-se que não foi o processo de validação o responsável por essa possível redundância.

Em contrapartida, embora o estudo prévio também mostre um coeficiente Alfa de Cronbach acima de 0,90 para o domínio “clima geral de aprendizagem”, neste trabalho o valor encontrado foi de 0,88 e 0,89 para o teste e o reteste, respectivamente, mostrando um coeficiente Alfa de Cronbach estatisticamente aceitável. Tendo em vista que valores maiores que 0,90 para este indicador sugerem redundância entre os itens, as alterações ortográficas e gramaticais da validação transcultural ou um possível maior entendimento dos acadêmicos avaliados favoreceram a consistência interna do construto na língua portuguesa.

Avaliando individualmente as médias de escore atribuídas às questões no teste e no reteste, numa escala de 1 a 5, verificou-se que a maior média (4,5) foi atribuída ao item 14, “mostrou que me respeitava”. Isso demonstra que preponderou uma boa relação existente entre o preceptor e o estudante na população do estudo, independentemente de o preceptor não ter sido bem avaliado nos outros itens. Em contrapartida, as questões 9, “me estimulou a explorar os meus pontos fortes e fracos” e 10, “me encorajou a formular objetivos de aprendizagem”, obtiveram as menores médias (3,9). Na amostra analisada, estes achados sugerem maior necessidade de incentivo do preceptor em relação a seu discente.

Umas das limitações deste estudo é o fato de incluir apenas acadêmicos matriculados em quatro cursos médicos de instituições do Nordeste brasileiro, não contemplando estudantes de outros cursos e de outras regiões do País. Entretanto, é importante ressaltar que o estudo original se restringiu a estudantes de uma única instituição de ensino holandesa ¹⁵ . Por outro lado, o fato de abranger discentes de mais de uma instituição de ensino superior pode ser considerado um ponto forte do estudo.

Outra limitação desta pesquisa decorre de não haver nenhuma distinção entre as notas dadas pelos acadêmicos do quinto ou do sexto ano. Certamente, a percepção do discente muda segundo o grau de aprendizagem adquirido ao longo do curso. O estudante que está iniciando o estágio requer mais atenção do preceptor, do médico residente e dos estudantes de períodos mais avançados. Este é um obstáculo frequente nas avaliações de ensino clínico ²⁸ , fonte para novos estudos.

Ressalta-se, ainda, que estudantes que fazem estágio nas unidades de atenção básica de saúde e os preceptores correlatos não participaram do estudo, em virtude das dificuldades em aplicar os questionários (teste-reteste) nesses estágios. Estes são desenvolvidos em inúmeras unidades básicas de saúde espalhadas pela capital pernambucana e pelo Vale do São Francisco, o que dificulta a coleta de dados e o seguimento dos discentes ao longo do estudo. Entretanto, a maioria deles participou da pesquisa nas semanas seguintes quando aconteciam as mudanças de cenários clínicos. Importa destacar, também, que o trabalho holandês foi realizado apenas nos estágios desenvolvidos dentro do ambiente hospitalar ¹⁵ .

O fato de o MCTQ adaptado ter sido aplicado nesta pesquisa apenas numa população formada por estudantes de Medicina não impede seu uso em outros cursos em que existam cenários de aprendizagem e relação docente-discente semelhantes aos desenvolvidos no curso médico. No trabalho anterior de adaptação transcultural, o questionário foi respondido por estudantes de outros cursos da área de saúde e mostrou boa aceitação (pré-teste) ¹⁶ . Soma-se, ainda, o fato de estudos anteriores que utilizaram esse instrumento terem sido válidos quando este foi aplicado em um curso de medicina veterinária ²⁹ , como também na pós-graduação ³⁰ .

Assim, o MCTQ adaptado transculturalmente e validado para uso na língua portuguesa se apresenta como uma ferramenta importante, que poderá proporcionar resultados práticos, auxiliando preceptores tanto dos cursos médicos como de outros cursos da área de saúde. O fato de não haver no Brasil nenhum instrumento com característica similar validado impede comparações com a versão adaptada do MCTQ , entretanto o faz inovador.

Posteriormente, por meio da utilização da versão adaptada, será possível efetuar novos estudos para avaliar o impacto proporcionado por essa ferramenta como instrumento promotor de melhorias pedagógicas em cursos de graduação e de pós-graduação, notadamente aqueles inseridos no campo das ciências da saúde.

CONCLUSÂO

Os resultados apresentados neste trabalho permitem concluir que a versão em português do MCTQ é confiável e válida para uso na língua portuguesa entre estudantes de cursos da área da saúde.

REFERÊNCIAS

• ¹
  Franco FM , Montes MAA , da Silva AR . Visão discente do papel da preceptoria médica na formação dos alunos de medicina . Alexandria: Rev Educ Cienc Tecnol . 2013 ; 6 ( 2 ): 229 - 49 .
• ²
  Troncon LEA , Bollela VR , Borges MC , Rodrigues MLV . A formação e o desenvolvimento docente para os cursos das profissões da saúde: muito mais que o domínio de conteúdos . Medicina ( Ribeirão Preto ). 2014 ; 47 ( 3 ): 245 - 8 .
• ³
  Freitas DA , Santos EMS , Lima LVS , Miranda LN , Vasconcelos EL , Nagliate PC . Teachers’ knowledge about teaching-learning process and its importance for professional education in health . Interface ( Botucatu ). 2016 ; 20 ( 57 ): 437 - 48 .
• ⁴
  Flexner A . Medical e ducation in the United States and Canada. From the Carnegie Foundation for the Advancement of Teaching, Bulletin Number Four, 1910. (Bulletin, 4) . Bull World Health Organ . 2002 ; 80 ( 7 ): 594 - 602 .
• ⁵
  Moura DTD , Foltran RS , Fraiz IC , Novak EM . Articulação entre os ciclos básico e profissionalizante: percepção dos alunos da UFPR . RevBrasEduc Med . 2018 ; 42 ( 1 ): 226 - 36 .
• ⁶
  PagliosaI FL , Da Ros MA . O relatório Flexner: para o bem e para o mal . RevBrasEduc Med . 2008 ; 32 ( 4 ): 492 - 9 .
• ⁷
  Brasil . Ministério da Educação . Conselho Nacional de Educação . Diretrizes Curriculares Nacionais para o Curso de Graduação em Medicina. Parecer CNE/CES n° 116/2014, publicado no DOU de 6 de junho de 2014 .
• ⁸
  Brasil . Ministério da Saúde . Programa mais médicos . Disponível em: http://maismedicos.gov.br/ . Acessado em 31 de outubro de 2015 .
  » http://maismedicos.gov.br/
• ⁹
  Miller GE . The assessment of clinical skills/competence/performance . Acad Med . 1990 ; 65 ( 9 Suppl ): S63 - 7 .
• ¹⁰
  Cruess RL , Cruess SR , Steinert Y . Amending Miller’s pyramid to include professional identity formation . Acad Med . 2016 ; 91 ( 2 ): 180 - 5 .
• ¹¹
  Benbassat J . Role modeling in Medical Education: the Importance of a reflective imitation . Acad Med . 2014 ; 89 ( 4 ): 550 - 554 .
• ¹²
  Passi V,Johnson N . The impact of positive doctor role modeling . Med Teach . 2016 ; 38 ( 11 ): 1139 - 45 .
• ¹³
  Boerboom TBB , Stalmeijer RE , Dolmans DHJM , Jaarsma DADC . How feedback can foster professional growth of teachers in the clinical workplace: a review of the literature . Stud EducEval . 2015 ; 46 : 47 - 52 .
• ¹⁴
  Stalmeijer RE , Dolmans DH , Wolfhagen IH , Muijtjens AM , Scherpbier AJ . The development of an instrument for evaluating clinical teachers: involving stakeholders to determine content validity . Med Teach . 2008 ; 30 ( 8 ): e272 - 7 .
• ¹⁵
  Stalmeijer RE , Dolmans DH , Wolfhagen IH , Muijtjens AM , Scherpbier AJ . The Maastricht Clinical Teaching Questionnaire (MCTQ) as a valid and reliable instrument for the evaluation of clinical teachers . Acad Med . 2010 , 85 ( 11 ): 1732 - 8 .
• ¹⁶
  Vasconcelos PT . Adaptação transcultural do Maastricht ClinicalTeachingQuestionnaire para a língua portuguesa . Recife ; 2015 . Mestrado Profissional em Educação para o Ensino na Área de Saúde[Dissertação] – Faculdade Pernambucana de Saúde – FPS .
• ¹⁷
  Souza AC , Alexandre NMC , Guirardello EB . Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade . EpidemiolServ Saúde . 2017 ; 26 ( 3 ): 649 - 59 .
• ¹⁸
  Ramada-Rodilla JM , Pujadas CS . Adaptación cultural y validación de cuestionarios de salud: revisión y recomendaciones metodológicas . SaludPúblicaMéx . 2013 ; 55 ( 1 ): 57 - 66 .
• ¹⁹
  Guillemin F , Bombardier C , Beaton D . Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines . J ClinEpidemiol . 1993 ; 46 ( 12 ): 1417 - 32 .
• ²⁰
  Duffy ME : Translating instruments into other languages: basic considerations . Clin Nurse Spec . 2006 ; 20 : 225 – 226 .
• ²¹
  Ramada-Rodilla JM , Pujadas CS . Adaptación cultural y validación de cuestionarios de salud: revisión y recomendaciones metodológicas . Saludpública de méxico . 2013 ; 55 ( 1 ): 57 - 66 .
• ²²
  Muñiz J , Elosua P , Hambleton RK . Directrices para la traducción y adaptación de los tests: segunda edición . Psicothema . 2013 ; 25 ( 2 ): 151 - 157 .
• ²³
  Mukaka MM . A guide to appropriate use of Correlation coefficient in medical research . Malawi Med J . 2012 ; 24 ( 3 ): 69 - 71 .
• ²⁴
  Streiner DL . Being inconsistent about consistency: when coefficient alpha does and doesn’t matter . J Pers Assess . 2003 ; 80 ( 3 ): 217 - 22 .
• ²⁵
  Tavakol M , Dennick R . Making sense of Cronbach’s alpha . Int J Med Educ . 2011 ; 2 : 53 - 5 .
• ²⁶
  Pinto JS , Lopes JM , Oliveira JV , Amaro JP , Costa LD . Métodos para estimação de reprodutibilidade de medidas [ online ]. Porto – Portugal : Faculdade de Medicina do Porto ; 2008 . Disponível em: http://users.med.up.pt/joakim/intromed/estatisticakappa.htm . Acessado em 31 de outubro de 2015 .
  » http://users.med.up.pt/joakim/intromed/estatisticakappa.htm
• ²⁷
  Tan CL , Hassali MA , Saleem F , Shafie AA , Aljadhey H , Gan VB . Development, test-retest reliability and validity of the Pharmacy Value-Added Services Questionnaire (PVASQ) . Pharm Pract ( Granada ). 2015 ; 13 ( 3 ): 598 .
• ²⁸
  Beckman TJ , Mandrekar JN . The interpersonal, cognitive and efficiency domains of clinical teaching: construct validity of a multidimensional scale . Med Educ . 2005 ; 39 ( 12 ): 1221 - 29 .
• ²⁹
  Boerboom TBB , Mainhard T , Dolmans DHJM , Scherpbier AJJA , van Beukelen P , Jaarsma ADC . Evaluating clinical teachers with the Maastricht clinical teaching questionnaire: how much ‘teacher’ is in student ratings? Med Teach . 2012 ; 34 ( 4 ): 320 - 6 .
• ³⁰
  Giannasi S , Durante E , Ladenheim R , Kecskes R , Vázquez F , Stalmeijer R , et al . Transcultural validation in Spanish of the Maastricht Clinical Teaching Questionnaire (MCTQ) as a valid and reliable instrument for the evaluation of clinical teachers . Milano, Italy : AMEE ; 2014 .

Datas de Publicação

• Publicação nesta coleção
  Apr-Jun 2019

Histórico

• Recebido
  15 Set 2018
• Aceito
  8 Out 2018