Avaliação de uma Reestruturação Curricular na Faculdade de Medicina de Ribeirão Preto: Influência sobre o Desempenho dos Graduandos

Evaluation of a Curricular Reform at Ribeirão Preto School of Medicine: Influence on Performance of Graduating Students

Resumo:

Avaliou-se a eficácia de um novo currículo introduzido na Faculdade de Medicina de Ribeirão Preto (Universidade de São Paulo) com base no desempenho dos graduandos em provas objetivas que abrangeram os domínios cognitivo, psicomotor e afetivo. A avaliação foi aplicada durante seis anos a 222 formando do antigo currículo e 261 graduandos do novo currículo. Todos se submeteram a um prova de conhecimentos médicos gerais (testes de múltipla escolha) e à avaliação de atitudes (escala psicométrica). Grupos de 18 a 20 estudantes foram sorteados para provas práticas de competências clínicas (pacientes reais e “padronizados”) e psicomotoras (manequins e animais anestesiados), realizadas por exames clínico objetivo estruturado (OSCE). Habilidades cognitivas complexas foram avaliadas com a técnica patient management problem. Os resultados mostraram melhora significativa do desempenho, associada ao novo currículo, nas provas de conhecimentos e de competências psicomotoras. Porém, com relação às habilidades cognitivas complexas, o antigo currículo foi superior em muitos aspectos. Não houve diferenças significativas entre os dois currículos na maioria das competências clínicas testadas e em nenhum dos aspectos avaliados com a escala de atitudes.

Palavras-chave:
Avaliação Educacional; Currículo; Avaliação de Desempenho

Abstract:

A new curriculm implemented at the Ribeirão Preto School of Medicine (University of São Paulo, Brasil) was evaluated on the basis of graduating student performance on tests of cognitive, affective and practical psychomotor skills. Over the course of six years, 222 (previous curriculum) and 261 (new curriculum) graduatingstudents were ezamined. All students underwent a tst with multiple choice questions (MCQs) on generel medical knowledge and filled in a scale for atitude assessment. Groups of 18-20 students were randomly assigned to objective, structured clinical examinations (OSCE) for either clinical skills (real and standardized patients) or procedural skills (manequins and anesthetized animals), and to a patient management problem (PMP) test more complex cognitive skills. Results showed that the new curriculum was associated with signicantly higher scores om MCQ tests and improved performance in physomotor skills. However, performance of new curriculum students were worse in many of the PMP steps. There were no significant differebces between the two curricula regarding student performance in clinical skills or in any aspects of attitutde assessmente.

Key-words:
Educational Measurement; Curriculum; Employer Performance Appraisal

INTRODUÇÃO

A Educação Médica, sobretudo no nível de graduação, constitui um processo caracterizado por alta dinamicidade, justificada pela necessidade de atender às demandas das sociedades em contínua renovação. Nas últimas décadas, estímulos provenientes tanto da área sanitária¹ como da educacional², bem como avanços científicos e tecnológicos ocorridos nas várias áreas, imprimiram, em todo o mundo, força crescente aos movimentos de reforma e reestruturação curricular dos cursos de graduação em Medicina, que foi sentida com grande intensidade nas escolas médicas brasileiras^{3), (4}.

A Faculdade de Medicina de Ribeirão Preto, da Universidade de São Paulo (FMRP-USP), atendendo às aspirações e reivindicações de seus alunos, ex-alunos e professores⁵, desenvolveu no final dos anos 1980 uma ampla reestruturação curricular, que culminou com a proposição de um novo currículo de graduação, efetivamente implantado em 1993. Essa novo estrutura curricular substituiu um currículo de características tradicionais, em que havia ênfase excessiva na aquisição de conhecimentos, considerável autonomia para os departamentos e tempo relativamente reduzido para o treinamento em serviço. O novo currículo, por sua vez, incorporava um conjunto de modificações^{6), (7}, entre as quais se destacavam: 1) integração ou articulação de áreas afins, de modo a racionalizar o aproveitamento da carga horária disponível, evitar repetições de tópicos e otimizar o aprendizado em contexto multidisciplinar; 2) organização das disciplinas segundo um critério de complexidade crescente; 3) criação de disciplinas para incorporar tanto os avanços biotecnológicos, como a necessidade de contemplar a formação humanística do médico; 4) criação de disciplinas específicas nos primeiros anos do curso, voltadas a promover o contato precoce do estudante com os serviços de promoção e atenção à saúde disponíveis na comunidade; 5) organização da grade horária de modo que o aluno disponha de tempo livre para o estudo, a iniciação cientifica e o desenvolvimento de atividades extracurriculares de extensão universitária; 6) criação de disciplinas e estágios eletivos, desde o primeiro ano, incluindo o período de internato; 6) aumento da duração do internato, de um ano para dois; 7) criação, no internato, de estágios integrados em serviços de saúde da comunidade;8) criação, no internato, de estágios nos serviços de atenção primária de áreas mais especializadas, como Neurologia, Psiquiatria, Oftalmologia e Otorrinolaringologia.

Quando do aprovação definitiva da nova estrutura curricular, instituiu-se um conjunto de recomendações para a sua implantação⁷, entre as quais a de se criassem condições para que o currículo fosse continuamente avaliado. Para implementar essa recomendação institucional, a Comissão de Graduação da FMRP-USP, colegiado responsável pela coordenação do curso de Medicina, decidiu desenvolver um programa de avaliação da eficácia do currículo que tinha como base a aferição do desempenho dos graduandos ao término do curso⁸. Este processo, que passou a ser denominado Avaliação Terminal de Competências dos Graduandos em Medicina, iniciou-se em 1993 e foi aplicado anualmente aos graduandos da FMRP-USP até 2001.

Publicações anteriores descreveram as principais etapas da implantação desse programa^8)-(11, bem como divulgaram resultados parciais e aspectos particulares do seu desenvolvimento^12)-(15. A aplicação contínua do programa de 1995 a 2000 permitiu obter dados para a avaliação comparativa dos três últimos anos do antigo currículo (1995-1997) e dos três primeiros anos de funcionamento da nova estrutura curricular (1998-2000), no cumprimento dos objetivos educacionais da FMRP-USP. Estes consistem em um elenco de oito objetivos terminais e 39 objetivos intermediários⁸, que nortearam a reestruturação curricular e o próprio programa de avaliação, visto que foram elaborados de modo que seu cumprimento implicasse a formação de médicos de alto nível técnico, científico e ético.

A divulgação dos dados emanados da análise dos resultados finais do programa de avaliação terminal dos graduandos constitui o objetivo principal da presente publicação.

MÉTODOS

Delineamento geral do Programa de Avaliação Terminal

O programa consistia em um conjunto de provas voltadas para a avaliação de conhecimentos e habilidades práticas compatíveis com os obíetivos educacionais do curso de graduação em Medicina da FMRP-USP⁸. A partir de 1997, passou a incluir a aplicação de uma escala psicométrica para a avaliação das atitudes frente a aspectos relevantes à prática médica^{12), (15}. A avaliação abordava, portanto, os domínios cognitivo, psicomotor e afetivo, sendo desenvolvida com o emprego de métodos de reconhecida validade e fidedignidade^16)-(22. Os procedimentos de avaliação consistiram em uma prova geral de conhecimentos, três provas práticas específicas (habilidades clínicas, habilidades psicomotoras para realizar procedi­mentos diagnósticos e terapêuticos, e habilidades cognitivas mais complexas e especiais) e aplicação de uma escala psico­métrica de atitudes. Os estudantes eram convidados a participar das provas como voluntários, sendo a eles assegurado que os resultados obtidos seriam tratados de modo estritamente confidencial, no atendimento dos interesses da instituição^{8), (10), (11}, ou seja, o de avaliar a eficácia do currículo.

Características dos graduandos

A avaliação abrangeu, inicialmente, apenas os graduandos que se dispuseram a se inscrever no programa. As atividades desenvolvidas durante os dois primeiros anos de implantação do programa (1993 e 1994), bem como as medidas tomadas para superar as dificuldades sentidas^{9), (11} resultaram em grande adesão ao Programa de Avaliação Terminal, de modo que, a partir de 1995, foi possível incluir no programa amostras representativas da população de graduandos. De 1995 a 1997, quando o número médio de graduandos era de 80 por ano, inscreveram-se, respectivamente, 65, 90 e 67 alunos, per­fazendo um total de 222 graduandos. A partir de 1998, quando o número médio de graduandos na nova estrutura curricular passou para 100 por ano, avaliaram-se grupos que continham, respectivamente, 76, 99 e 86 integrantes, correspondendo a um total de 261 formandos. Em todos os grupos estudados, a idade variou de 22 a 29 anos, havendo ligeiro predomínio do sexo masculino sobre o feminino na composição por gênero.

A prova de conhecimentos e a escala psicométrica de atitudes foram aplicadas a todos os graduandos, ao passo que amostras menores de estudantes, escolhidos por sorteio simples, foram selecionadas para as provas de habilidades clínicas (n = 20), habilidades psicomotoras (n = 18) e habilidades cognitivas complexas e especiais (n = 20). Não foram observadas diferenças significativas entre os grupos de estudantes sorteados a cada ano quanto às variáveis idade, gênero e aproveitamento escolar prévio.

Um grupo de referência, composto por 40 a 50 voluntários do 1° ano do internato (5º ano do curso de graduação em Medicina), era, também, convidado a se submeter à prova de conhecimentos, de modo que a comparação entre os escores obtidos nesse grupo e no grupo de formandos pudesse refletir, ano a ano, a validade de conteúdo da prova^{16), (19}.

Características das Provas

Prova de conhecimentos médicos gerais - consistia em um conjunto de 100 a 120 testes de múltipla escolha, com uma única alternativa correta entre as cinco apresentadas para cada enunciado¹⁹. As questões cobriam o conteúdo das disciplinas pertinentes às cinco áreas mais gerais do currículo médico, que também correspondiam à carga horária principal dos dois anos do Internato: Clínica Médica, Clínica Cirúrgica, Pediatria e Puericultura, Ginecologia e Obstetrícia, e Medicina Social e Comunitária. Após cada aplicação e correção da prova, a distribuição das respostas era analisada de modo que se pudessem estabelecer os níveis de dificuldade e de discriminação de cada uma das questões¹⁹. Esses parâmetros de qualidade revelaram que não houve diferenças estatisticamente significativas entre os cinco áreas de conteúdo, ou de um ano para outro, ao longo dos seis anos em que as provas foram aplicadas. Além disso, os valores numéricos obtidos para esses índices foram considerados satisfatórios, tendo em vista critérios convencionais¹⁹. A validade de conteúdo desta prova era avaliada por meio de um questionário específico, especialmente construído para verificar o grau de adequação das questões de cada área, na percepção dos examinandos^{17), (23}. Os dados obtidos nos seis anos de aplicação da prova de conhecimentos confirmaram a validade de conteúdo desse instrumento, visto que as porcentagens de estudantes que consideravam as questões inadequadas foram sempre pequenas (mediana: 4%; variação: 0% a 16%). A validade de construto da prova de conhecimentos foi demonstrada ao se constatar que, em todos os anos da sua aplicação, os escores globais obtidos no grupo de formandos foram significativamente superiores (teste t de Student) aos do grupo de referência, integrado por estudantes quintanistas.

Provas de habilidades clínicas e psicomotoras - as provas práticas voltadas à avaliação das habilidades clínicas e das habilidades psicomotoras para a execução de procedimentos diagnósticos e terapêuticos foram realizadas com emprego do método Objective Structured Clinical Examination (OSCE)^{18), (20), (21), (24}. Nessa técnica, os examinados se alternam por diferentes estações, configuradas para reproduzir situações representativas da realidade da prática médica e adequadas à avaliação de habilidades e competências clinicas, sendo todos os examinandos avaliados exatamente nas mesmas condições^{18), (24}. Na prova de habilidades clínicas, pacientes reais ou "padronizados"^{22), (24} foram adequadamente preparados²⁵ para protagonizar situações clinicas apropriadas à avaliação das seguintes competências: I) obtenção da história clínica de um paciente adulto; 2) exame físico: diagnóstico de inspeção em Ginecologia e Obstetrícia; 3) orientação à mãe de lactente; 4) interpretação de exame laboratorial e orientação de paciente quanto aos resultados; 5) manejo de infecção respiratória aguda; 6) exame físico do abdome; 7) exame físico do precórdio; 8) exame físico do estado nutricional em criança; 9) obtenção de história clínica de mãe de criança com possível déficit de desenvolvimento; 10) obtenção de história clínica e instituição de medidas preventivas em contexto de importância epidemiológica.

As estações da prova prática para a avaliação de habilidades psicomotoras, que incluíam animais anestesiados e manequins, configuravam as seguintes situações: 1) obtenção de acesso venoso e drenagem de pneumotórax; 2) recepção de recém-nascido; 3) atenção inicial a paciente politraumatizado; 4) atendimento de parada cardiorrespiratória; 5) assistência a parto normal; 6) exame ginecológico e colheita de esfregaço vaginal.

Em cada uma das estações dessas duas provas, um avaliador proveniente do corpo docente ou clínico da instituição registrava o desempenho de cada graduando em protocolo de observação tipo checklist previamente elaborado^{20), (21}. Nesse protocolo, o desempenho de cada graduando era classificado em uma de três categorias: "adequado", "parcialmente adequado ou inadequado" ou "não realizado".

Em cada ano de aplicação, as provas práticas foram submetidas a procedimentos de metaavaliação^{17), (23}, que se destinavam a verificar sua validade. Isso foi feito mediante a aplicação aos alunos, imediatamente após as provas, de questionários específicos com itens sobre a adequação das situações e conteúdos das estações. Esse procedimento revelou que os porcentuais de graduandos que registraram insatisfação com os vários aspectos das provas foram repetidamente pequenos ao longo dos vários anos em que as provas foram aplicadas.

Prova de habilidades cognitivas complexas e especiais - foi desenvolvida segundo modificação da técnica Patient Manegement Problem (PMP), que consiste na apresentação de um caso clínico fictício, em etapas que configuram diferentes problemas, sobre os quais os estudantes são solicitados a apresentar soluções, tomar decisões apropriadas e desenvolver tarefas específicas²⁶. As etapas dessa prova consistiam em situações que desencadeavam o exercício das seguintes habilidades: 1) análise de dados da anamnese; 2) análise de dados do exame físico; 3) estabelecimento de hipóteses diagnósticas; 4) proposta de medidas de manejo imediato de situação clínica; 5) prescrição de admissão hospitalar; 6) tomada de medidas após tratamento inicial; 7) solicitação de exames laboratoriais; 8) interpretação de exames laboratoriais; 9) interpretação de eletrocardiograma; 10) interpretação de radiografias; 11) análise de peça cirúrgica; 12) revisão de caso clínico após evolução; 13) análise e solução de problema médico-legal; 14) preenchimento de Declaração de Óbito (l^a parte); 15) preenchimento de Declaração de Óbito (2^a parte); 16) comunicação escrita.

Assim como na análise dos protocolos de observação empregados nos exames de habilidades clínicas e psicomotoras, na correção das respostas às questões de cada uma das etapas da prova de habilidades cognitivas complexas e especiais, o desempenho de cada graduando era classificado em uma de três categorias: "adequado", "parcialmente adequado ou inadequado" ou "não realizado".

Avalição de atitudes - foi feita com emprego de uma escala psicométrica previamente elaborada, testada e validada, seguindo procedimentos técnicos apropriados, descritos em detalhes em publicações anteriores^{12), (15}. Esses procedimentos demonstraram que a escala preenchia critérios de validade e apresentava alto grau de fidedignidade²⁷. A escala continha 52 itens, que representam proporções aproximadamente equivalentes de afirmações favoráveis e desfavoráveis em relação aos seguintes aspectos, que constituíram os fatores da escala (objetos das atitudes avaliadas): 1) aspectos psicológicos e emocionais em doenças orgânicas ementais (11 itens); 2) manejo de situações relacionadas à morte (8 itens); 3) atenção primária à saúde (11 itens); 4) aspectos relacionados à doença mental (8 itens); 5) contribuição do médico ao avanço científico da Medicina (6 itens); 6) outros aspectos relacionados à atuação médica e às políticas de saúde (8 itens).

O instrumento foi construído de modo que a resposta do graduando a cada item expressasse sua opinião sobre cada afirmação segundo a intensidade de sua concordância ou discordância^{15), (27}, obedecendo ao seguinte esquema: 1 -estou totalmente de acordo; 2 -concondo em parte; 3 -estou em dúvida; 4 -discordo em parte; 5 -estou totalmente em desacordo.

Análise dos Dados

Os resultados da prova de conhecimentos foram expressos em escores correspondentes às percentagens de respostas corretas. Analisaram-se, também, as proporções de graduandos com percentuais de acertos superiores a 70% ou inferiores a 50% do total de questões. Com relação às provas práticas (habilidades clinicas, psicomotoras e cognitivas complexas e especiais), o desempenho em cada estação ou etapa foi expresso em percentual de graduandos com desempenho considerado "adequado", a partir da análise dos protocolos de observação ou da correção das questões.

Na avaliação de atitudes, procedeu-se como descrito em outras publicações^{12), (15), (27}: inicialmente, foram computadas as respostas aos itens que expressavam atitudes favoráveis ou desfavoráveis em relação a um dado fator, obtendo-se, em seguida, para cada sujeito, a média das pontuações dos itens de cada um dos seis fatores. Para cada uma das turmas avaliadas ano a ano, calculou-se, finalmente, uma média fatorial geral (M) dos escores em cada conjunto de itens dos fatores estudados. Esta variável M permitiu identificar a tendência atitudinal do grupo como um todo, uma vez que os resultados assim expressos podem ser interpretados da seguinte fo­ma: a) M < 3 - atitudes predominantemente negativas; b) M entre 3 e 3,9 - atitudes conflitantes ou indefinidas; c) M 4 - atitudes predominantemente positivas.

Análise Estatística

As comparações dos resultados obtidos ano a ano foram feitas com emprego de análise de variância convencional e do teste de Tukey-Kramer para comparações múltiplas. As análises das eventuais diferenças entre os resultados agregados correspondentes às duas estruturas curriculares foram feitas pelo teste de x² com a correção de Yates. Em todas as análises, estabeleceu-se o limite de significância em 5%.

RESULTADOS

Prova de conhecimentos médicos gerais

Os resultados obtidos ano a ano revelaram pequenas variações no desempenho relativo a cada uma das áreas, sem haver, porém, diferenças substanciais entre elas. No cômputo geral, observou-se uma diferença expressiva nos resultados agregados, sendo que a média dos escores correspondentes ao novo currículo foi significativamente superior à do antigo currículo (média e desvio-padrão: 63,12; 8,92 versus 55,33; 8,16; p < 0,001). Como mostra a Figura 1, observou-se, também, em associação à reestruturação curricular, um significativo crescimento da proporção agregada dos graduandos com acertos gerais supe­riores a 70% (7,7% vs 26,1%; p < 0,0001), acompanhado de correspondente declínio da percentagem agregada de formandos com média de acertos inferior a 50% (24,5% vs 4,0%; p < 0,0001).

Figura 1
Prova de conhecimentos médicos gerais: Comparação do desempenho agregado dos graduandos dos currículos antigos (1995-97) e novo (1998-2000). O desempenho dos graduandos do novo currículo foi sempre significativamente superior ao do antigo currículo, tanto com relação à proporção de estudantes com escore superior a 70%, quanto à de graduandos com escore inferior a 50%.

Prova de Habilidades Clínicas

A Figura 2 mostra os dados referentes ao desempenho dos graduandos das duas estruturas curriculares na avaliação das várias competências de natureza essencialmente clínica. Em sete das dez competências avaliadas, o desempenho dos estudantes que se formaram sob o novo currículo foi superior ao dos graduandos do antigo currículo. No entanto, as diferenças entre os dois grupos atingiram significância estatística somente para duas dessas sete competências ("orientação à mãe de lactente" e "exame físico do estado nutricional em criança"). Por outro lado, o desempenho dos graduandos do currículo antigo na avaliação da competência "obtenção de história clínica de mãe de criança com possível deficiência de desenvolvimento" foi significativamente superior ao dos graduandos do novo currículo. Ressalte-se, porém, que o número de formandos com desempenho adequado nessa competência foi sempre relativamente pequeno, independentemente da estrutura curricular em que foram formados.

Figura 2
Provo de habilidades clínicas - comparação do desempenho agregado dos graduandos dos currículos antigo e novo nas 10 competências avaliadas: I - obtenção da história clínica de um paciente adulto; II - exame físico: diagnóstico de inspeção em Ginecologia e Obstetrícia; III - orientação ã mãe de lactente; IV - interpretação de exame laboratorial e orientação de paciente quanto nos resultados; V - manejo de infecção respiratória aguda; VI - exame físico do abdome; VII - exame físico do precórdio; VIII - exame físico do estado nutricional em criança; IX - obtenção de história clínica de mãe de criança com possível déficit de desenvolvimento e X - obtenção de história clínica e instituição de medidas preventivas em contexto de importância epidemiológica. Os graduandos do novo currículo tiveram desempenho significativamente superior aos do antigo currículo (N) em 2 competéncias (Ill e VIII), enquanto o inverso ocorreu (A) na avaliação da competência IX.

Prova de Habilidades Psicomotoras

A Figura 3 apresenta os dados relativos ao desempenho dos graduandos dos dois currículos na avaliação de competências para realizar procedimentos diagnósticos e terapêuticos. Para todas as competências avaliadas, o percentual de formandos do novo currículo classificado como tendo desempenho adequado foi superior ao de graduandos da estrutura curricular anterior. Essa diferença entre os dois grupos atingiu significância estatística para cinco das seis competências, sendo que em uma delas -"recepção de recémnascido" -o reduzido percentual de estudantes com desempenho adequado no currículo antigo permaneceu inalterado.

Figura 3
Prova de habilidades psicomotoras - comparação do desempenho agregado dos graduandos dos currículos antigo e novo nas 6 competências avaliadas: I - obtenção de acesso venoso e drenagem de tórax; II - recepção de recém-nascido; III - atenção inicial a paciente poli-traumatizado; IV - atendimento de parada cárdio-respiratório; V - assistência a parto normal e VI - trame ginecológico e colheita de esfregaço vaginal. Em todas as competências avaliadas, exceto uma (II), o desempenho dos graduandos do novo currículo foi significativamente superior (* - P< 0,05) ao dos estudantes do currículo antigo.

Prova de Habilidades Cognitivas Complexas e Especiais

A Figura 4 mostra os dados relativos ao desempenho dos graduandos dos dois currículos na avaliação de habilidades cognitivas complexas e especiais. Nessa prova, o desempenho dos graduandos dos dois currículos nas diferentes etapas foi muito variável, e a comparação entre os dois grupos também foi variável, em contraste com o observado nas demais provas. De fato, o percentual de graduandos do novo currículo com desempenho considerado adequado foi superior ao de formandos do novo currículo somente em uma das etapas ("estabelecimento de hipóteses diagnósticas"). Por outro lado, em cinco das 16 etapas, o desempenho dos graduandos do currículo antigo foi superior ao dos formandos da nova estrutura curricular. Não houve diferenças significativas entre os dois grupos no desempenho observado nas dez etapas restantes.

Figura 4
Prova de habilidades cognitivas complexas e especiais - comparação do desempenho agregado dos graduandos dos currículos antigos e novos nas 16 competências avaliadas: I - análise de dados da anamnese; II - análise de dados do exame físico; III - estabelecimento de hipóteses diagnósticas; IV - proposta de medidas de manejo imediato de situação clínica; V - prescrição de admissão hospitalar; VI - tomada de medidas após tratamento inicial; VII - solicitação de exames laboratoriais; VIII - interpretação de exames laboratoriais; IX - interpretação de eletrocardiograma; X - interpretação de radiografias; XI - análise de peça cirúrgica; XII - revisão de caso clínico após evolução; XIII - análise e solução de problema médico-legal; XIV - comunicação escrita. Os graduandos do novo currículo tiveram desempenho significativamente superior aos do antigo currículo (N) em apenas uma competência (III), enquanto o inverso ocorreu (A) na avaliação das competências IV, V, VI, VII e IX.

Avaliação de Atitudes

A Figura 5 apresenta as médias fatoriais dos graduandos dos dois currículos, em relação aos seis aspectos estudados. Não houve diferenças estatisticamente significativas entre os dois grupos com relação aos aspectos estudados. A análise das médias fatoriais obtidas revelou que os graduandos da instituição, considerando, em conjunto, os formados nos dois currículos, apresentaram atitudes positivas ou favoráveis frente a quatro dos seis aspectos avaliados. Atitudes indefinidas ou conflitantes foram detectadas em relação a dois dos fatores ("manejo de situações relacionadas à morte" e "doença mental").

Figura 5
Avaliação de atitudes: comparação do desempenho agregado dos graduandos dos currículos antigo e novo em 6 aspectos: I - aspectos psicológicos e emocionais em doenças orgânicas e mentais; II - manejo de situações relacionadas à morte; III - atenção primária à saúde; VI - aspectos relacionados à doença mental; V - contribui do médico ao avanço científico da Medicina; VI - outros aspectos relacionados à atuação médica e às políticas de saúde. Não houve diferenças significativas entre os dois currículos quanto a nenhum dos aspectos avaliados.

DISCUSSÃO

Descrições de experiências de avaliação objetiva do desfecho de reformas curriculares em comparação com os currículos anteriores são pouco freqüentes na literatura especializada, sobretudo as que se basearam na influência da mudança do currículo sobre o perfil de desempenho dos graduandos. Isso ocorre, possivelmente, pela escassez de mecanismos de aferição do grau de domínio de competências médicas dos formandos. Mesmo em outros países, onde os graduandos têm que se submeter a exames finais para concluir a graduação, ou a exames de certificação ou qualificação profissional para iniciar treinamento pós-graduado, registram-se poucas descrições do efeito de reformas curriculares sobre o desempenho dos formandos^28)-(31. Em sua maioria, porém, esses estudos concentram-se no desempenho dos graduandos no domínio exclusivamente cognitivo, registrando-se somente uma única experiência de avaliação do efeito de uma reestruturação curricular sobre as competências clínicas³². Deve-se ressaltar, porém, que a preocupação com medidas objetivas do desfecho de reformas curriculares em relação ao perfil de desempenho dos graduandos é relativamente recente³³.

No Brasil, reformas e inovações curriculares efetuadas em várias escolas médicas nas últimas décadas têm resultados ainda pouco evidenciados³, embora muitas das reestruturações sejam bem recentes, e pelo menos uma aferição mais objetiva da influência do novo currículo sobre aspectos particulares do desempenho cognitivo dos estudantes já tenha sido relatada³⁴. Neste sentido, os resultados aqui apresentados, baseados na verificação objetiva das mudanças no perfil de desempenho dos graduandos em competências médicas, englobando não só o domínio cognitivo, mas também as esferas psicomotora e afetiva, parecem constituir uma experiência inédita de avaliação da eficácia de um novo currículo comparativamente ao anterior.

Os resultados obtidos mostraram que a reestruturação curricular se associou à melhora significativa do desempenho dos graduandos na aquisição e retenção de conhecimentos médicos gerais. Por outro lado, entretanto, associou-se a uma aparente redução do grau de domínio de habilidades cognitivas mais complexas ou de natureza especial, como, por exemplo, a execução de prescrição hospitalar de admissão, a indicação de testes laboratoriais e a interpretação de radiografias. Adicionalmente, houve notável melhora no desempenho de habilidades psicomotoras necessárias à execução de procedimentos diagnósticos e terapêuticos, e no exercício de algumas habilidades clínicas, sem prejuízo expressivo da maior parte das competências clínicas testadas. Não se obtiveram evidências de que a reestruturação curricular tenha ocasionado qualqu1er influência no perfil de atitudes dos graduandos da instituição frente a aspectos relevantes da prática médica.

É improvável que vícios de amostragem possam explicar os resultados obtidos, visto que a adesão voluntária ao programa de avaliação terminal aumentou de ano para ano, atingindo virtualmente todos os graduandos, nos últimos anos da aplicação das provas aos formandos do novo currículo^{9), (11), (14}. Assim, um melhor desempenho explicado pela adesão voluntária dos melhores alunos teria ocorrido nos primeiros anos, favorecendo, portanto, o currículo antigo, o que, de fato, não aconteceu. Além disso, a melhora no desempenho na prova de conhecimentos foi sentida já no prin1eiro ano de avaliação do novo currículo e não pode ser atribuída a preparo específico para este tipo de prova, uma vez que não houve diferenças, nem tendência à melhora, nos resultados observados nos três anos consecutivos correspondentes ao antigo currículo (Figura 1). É possível, portanto, que a melhora observada esteja associada às modificações da estrutura curricular pretendidas como facilitadoras do aprendizado^{6), (7}. Entre estas, há que se mencionar a integração de disciplinas afins e a racionalização da grade curricular, de modo que os estudantes dispusessem de mais tempo para estudo. Outra importante característica do novo currículo foi o aumento do período de internato, de um para dois anos, o que pode ter gerado maiores oportunidades de aquisição, na prática, de conhecimentos médicos gerais, bem como maior motivação para o estudo direcionado à solução de problemas clínicos reais.

Não se pode descartar, porém, que outros fatores, não diretamente ligados à nova estrutura curricular, possam ter contribuído para o melhor desempenho dos estudantes na prova de conhecimentos. Entre esses, a maior dedicação ao ensino, por parte de professores desejosos do sucesso da reestruturação curricular. Além disso, fatores externos à instituição podem ter exercido alguma influência positiva na motivação dos estudantes para o estudo e a consequente aquisição de conhecimentos médicos gerais. Entre estes, destaca-se a crescente competição, observada nos últimos anos em nível nacional, por vagas nos programas de Residência Médica, que são conquistadas em função de bons resultados em provas de conhecimento muito semelhantes às desta avaliação curricular. Do mesmo modo, a introdução, em 1998, do Exame Nacional de Cursos do Ministério da Educação ("Provão")³⁵, aplicado anualmente, sob a forma de prova de conhecimentos, a todos os graduandos de todos os cursos superiores do país, pode ter constituído um estímulo adicional à motivação dos graduandos para o estudo, gerando resultados independentes da reestruturação curricular.

Em contraste, o domínio de habilidades cognitivas mais complexas sofreu, aparentemente, certo prejuízo em muitos dos aspectos avaliados. De fato, em apenas uma das 16 etapas da prova correspondente, observou-se significativo aumento do percentual de graduandos com desempenho adequado, associado ao novo currículo, enquanto em cinco outras etapas o desempenho dos formandos do antigo currículo foi significativamente melhor (Figura 4). Uma possível explicação para esse fato é que várias competências avaliadas na correspondente prova seriam presumivelmente adquiridas em etapas mais adiantadas da formação médica, durante o treinamento pós-graduado da Residência Médica. Outra possibilidade de explicação do desempenho insatisfatório é a falta de familiaridade dos nossos graduandos com uma técnica de avaliação pouco usual em nosso pais e, portanto, desconhecida dos nossos estudantes. Este método exige considerável atenção e alto grau de engajamento do avaliando, condições que podem não ter sido atingidas, uma vez que a avaliação era voltada ao currículo, com os graduandos participando das provas como voluntários e não tendo interesse pessoal direto em seus resultados.

Por outro lado, em cinco das 16 etapas da prova de habilidades cognitivas complexas e especiais, houve significativo decréscimo do percentual de graduandos do novo currículo com desempenho satisfatório em relação aos níveis observados com os formandos da estrutura curricular anterior. Isso indica inequívoco prejuízo ao domínio dessas competências, em associação à implantação da nova estrutura curricular. É possível que a falta de domínio destas competências seja devida à redução do tempo despendido em atividades curriculares facilitadoras da reflexão sobre problemas e situações clínicas, bem como do raciocínio clínico mais elaborado. Essas atividades eram mais frequentes no desenvolvimento das disciplinas clínicas mais tradicionais, sendo situadas, na grade curricular anterior, entre o primeiro semestre do terceiro ano e o sexto e último ano, dedicado ao internato. Em decorrência de várias das medidas de implantação do novo currículo e, sobretudo, com a ampliação do internato para dois anos (quinto e sexto anos), houve redução considerável do tempo ocupado pelas mencionadas atividades curriculares.

Esta redução do domínio de habilidades clinicas mais complexas é preocupante, dada a sua grande relevância, uma vez que estas dizem respeito a um atributo fundamental do trabalho médico: o raciocínio clínico, que envolve o diagnóstico e a tomada de medidas terapêuticas apropriadas^{18), (26}. Não obstante, a detecção desta possível distorção do novo currículo pode servir de subsídio a discussões que resultem em correção das deficiências apontadas.

Os resultados da avaliação, por outro lado, evidenciaram que os graduandos do novo currículo apresentaram desempenho significativamente superior ao dos formandos do antigo currículo na grande maioria das competências testadas na prova de habilidades psicomotoras necessárias à execução de procedimentos diagnósticos e terapêuticos (Figura 3). A explicação mais provável para esses resultados é o aumento do período do internato, que trouxe, em consequência, maiores oportunidades de treinamento nos procedimentos em que é necessário o domínio das competências avaliadas. No entanto, é preciso salientar que algumas competências, como a "recepção de recém-nascido" e o "atendimento à parada cardior­respiratória", apresentaram percentual expressivo de graduandos que não demonstraram desempenho adequado, especialmente quando comparadas com outras competências avaliadas na prova correspondente. É possível que isto se deva ao número ainda escasso de oportunidades de treinamento do interno, visto que esses procedimentos, por serem relativamente mais complexos, são executados predominantemente por médicos residentes.

No que se refere às competências essencialmente clínicas, encontrou-se tendência definida à melhora do desempe­nho com o novo currículo, que apresentou maior percentual de indivíduos com desempenho adequado em relação aos formandos da cstruh1ra curricular anterior, na maioria das competências avaliadas (Figura 2). No entanto, deve-se salientar que o nível geral de desempenho dos graduandos do currículo antigo já era bastante satisfatório, com mais da metade dos estudantes apresentando desempenho adequado cm todas as competências, exceto uma. Mesmo assim, observou-se aumento desse percentual, em associação com a introdução do novo currículo, em sete das dez competências testadas. Deve-se notar que, na único competência em que houve deterioração do desempenho com o novo currículo ("obtenção de história clínica de mãe de criança com possível deficiência de desenvolvimento"), a porcentagem de estudantes com desempenho adequado já era bastante reduzida no currículo antigo. No entanto, como já comentado, independentemente da avaliação comparativa entre os dois currículos, a detecção de deficiências nessa importante área de atuação médica, possibilitada pela estratégia de avaliação empregada, pode servir de subsídio para a tomada das medidas corretivas apropriadas.

Quanto à avaliação de atitudes dos graduandos frente a aspectos relevantes da prática médica, a ausência de diferenças mais expressivas e consistentes entre a turma de 1997 e as seguintes (Figura 5) indica que a mudança curricular, resultando em nova estrutura de formação para as turmas de 1998 a 2000, não afetou de modo significativo as atitudes dos estudantes frente aos aspectos avaliados. Ressalte-se que, com relação a quatro dos seis aspectos estudados, o perfil detectado foi de tendência atitudinal claramente positiva, indicando apropriado cumprimento dos correspondentes objetivos educacionais. Nos outros dois aspectos ("manejo de situações relacionadas à morte" e "aspectos relacionados à doença mental"), o perfil detectado, nos graduandos dos dois currículos, de atitudes indefinidas ou conflitantes, assemelha-se ao encontrado em outros estudos^{36), (37}, realizados em estudantes de Medicina³⁶ ou mesmo em médicos experientes³⁷. Deve-se destacar, porém, que o novo currículo proporcionou, inequivocamente, maiores oportunidades de contato com situações relacionadas à morte e à doença mental, devido, sobretudo, ao aumento do período do internato. No entanto, não foi possível demonstrar que a reestruturação curricular tenha trazido atitudes mais positivas dos graduandos frente à doença mental ou a situações associadas à morte. É possível, porém, que um maior tempo de vigência das alterações curriculares, com a consequente consolidação das novas atividades discentes, possa ter maior efetividade no desenvolvimento de atitudes mais claramente positivas frente a esses aspectos. Por outro lado, não se pode descartar que as atitudes detectadas representam tendências mais profundamente arraigadas na cultura institucional, sendo, portanto, pouco influenciáveis apenas pela introdução de uma nova estrutura curricular. Esta interpretação, por sua vez, não invalida a necessidade de providenciar intervenções educacionais específicas, a fim de modificar atitudes que na presente avaliação não se mostraram claramente positivas.

Em conclusão, os resultados desta experiência inédita de avaliação de uma reestruturação curricular, com base na verificação comparativa dos perfis de desempenho dos graduandos do antigo e do novo currículo, mostraram que as mudanças se associaram a um aumento significativo da aquisição de conhecimentos gerais em Medicina, havendo, porém, certo prejuízo ao domínio de habilidades cognitivas mais complexas de grande relevância. A reestruturação do currículo associou-se, também, a um significativo aumento do domínio de habilidades psicomotoras necessárias à execução de procedimentos diagnósticos e terapêuticos, sem afetar negativamente a aquisição de competências clínicas ou o perfil de atitudes frente a aspectos relevantes da prática médica. Adicionalmente, a estratégia adotada na avalia­ção curricular possibilitou a demonstração de algumas deficiências do desempenho dos graduandos, que pode servir de base para discussões de medidas voltadas à sua correção, que devem levar ao aprimoramento do atual currículo de graduação médica da instituição.

REFERÊNCIAS BIBLIOGRÁFICAS

• ^l
  Parsell GJ, Bligh J. The changing context of undergraduate medical education. Postgrad Med J 1995; 71: 397-403.
• ²
  Harden RM, Sowden S, Dunn WR. Educational strategies in curriculum development: the SPICES model. Med Educ 1984; 18: 284-97.
• ³
  Lampert JB. Currículo de graduação e o contexto da for­mação do médico. Rev Bras Educ Méd 2001; 25: 7-19.
• ⁴
  Almeida MJA. Educação Médica e as atuais propostas de mudança: alguns antecedentes históricos. Rev Bras Educ Méd 2001; 25: 42-52.
• ⁵
  Figueiredo JFC, Rodrigues CRC. Estratégias para a reformulação da estrutura curricular na Faculdade de Medicina de Ribeirão Preto na última década e estágio atu­al do processo. Rev Sras Educ Méd 1990; 14: 20-3.
• ⁶
  Prado WA. Desenvolvimento e implantação da nova es­trutura curricular na Faculdade de Medicina de Ribeirão Preto: dificuldades e avanços. Medicina (Ribeirão Preto) 1996; 29: 373-82.
• ⁷
  Troncon LEA. Reestruturação curricular do curso médico na Faculdade de Medicina da Universidade de São Paulo - Ribeirão Preto. Rev Fac Ciências Méd Unicarnp 2000: 7 (Ed Esp): 33-7.
• ⁸
  Troncon LEA, Cianflone ARL, Rodrigues MLV, Piccinato CE, Peres LC, Figueiredo JFC. Avaliação terminal de com­petências dos graduandos em Medicina: relato da experi­ência inicial da Faculdade de Medicina de Ribeirão Preto. [Monografia]. Ribeirão Preto, SP, Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo; 1996.
• ⁹
  Troncon LEA, Rodrigues MLV, Picinato CE, Figueiredo JFC, Peres LC, Cianflone ARL. Overcoming difficulties in the introduction of a summative assessment of clinical competence in a Brazilian medical school. In: Scherpbier ADA, van der Vleuten CPM, Rehtans D, van der Steeg AFW, Editores. Advances in Medical Education. Dodebrecht, Holanda, Kluwer Academic Publishers, 1997, p. 197-9.
• ¹⁰
  Troncon LEA. Avaliação terminal dos graduandos em Medicina. A experiência da Faculdade de Medicina de Ribeirão Preto - USP. In: Marcondes E, Lima-Gonçalves E (Editores). Educação Médica. São Paulo: Sarvier; 1998. p.262-77.
• ¹¹
  Troncon LEA, Figueiredo JFC, Rodrigues MLV, Peres LC, Cianflone ARL, Colares MFA. Implantação de um programa de avaliação terminal de desempenho dos graduandos para estimar a eficácia do currículo na Faculdade de Medicina de Ribeirão Preto. Rev Assoe Med Bras 1999; 45:217-24.
• ¹²
  Troncon LEA, Colares MFA, Figueiredo JFC, Cianflone ARL, Rodrigues MLV, Piccinato CE, Peres LC. Atitudes de graduandos em medicina em relação a aspectos relevan­tes da prática médica. Rev Bras Educ Méd 2003; 27: 20-8.
• ¹³
  Piccinato CE, Figuefredo JFC, Troncon LEA, Peres LC, Cianflone ARL, Colares MFA, Rodrigues MLV. Análise do desempenho dos formandos em relação a objetivos edu­cacionais da Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, em duas estruturas curriculares distintas. Rev Assoe Méd Bras 2004 (50: 68-73).
• ¹⁴
  Figueiredo JFC, Troncon LEA, Rodrigues MLV, Cianflone ARL, Colares MFA, Peres LC, Piccinato CE. Effect of a curriculum reforro in graduating student performance. Med Teach 2004; 26: 1-6.
• ¹⁵
  Colares MFA, Troncon LEA, Figueiredo JFC, Cianflone AR, Rodrigues MLV, Piccinato CE, Peres LC, Dela Coleta JA. Construção de um instrumento para a avaliação das atitudes de estudantes de Medicina frente a aspectos relevantes da prática médica. Rev Bras Educ Méd 2002; 26: 194-203.
• ¹⁶
  Gronlund NE. Measurement and evaluation in teaching. New York: McMillan Publishing Co; 1985.
• ¹⁷
  Pophan, WJ. Educational evaluation. New Jersey: Prentice Hall, Engleword Cliffs;1975.
• ¹⁸
  Newble DJ. Assessing clincal competence at the under­graduate level. Med Educ 1992; 26:504-511.
• ¹⁹
  Viana, HM. Testes em educação. São Paulo: Ibrasa; 1983.
• ²⁰
  Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured clinical examination. Br Med J 1975;1:447-451.
• ²¹
  Harden RM, Gleeson FA. Assessment of clinicai competence using an objective strucrured clinical examination. Med Educ 1979;13:41-54.
• ²²
  van der Vleuten, CPM, Swanson, DB. Assessment of clinicai skills wilh standardized patients: State of lhe Art. Teach Leam Med 1990; 2: 58-76.
• ²³
  Cianflone ARL, Figueiredo JFC, Colares MFA, Troncon LEA, Piccinato, CE, Peres LC, Rodrigues MLV. The role of meta-evaluatioin in the improvement of an evaluation of clinical competence (OSCE). Med Teach 22 (1):88,2000.
• ²⁴
  Troncon LEA, Foss NT, Voltarelli JC, Dantas RO. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados: descrição de dois métodos (Parte 1). Rev Bras Educ Med 1996; 20: 45-52.
• ²⁵
  Barrows HC. Simulated (standardised) patients and other human simulations. North Caroline: Health Sciences Consortium Chapei Hill; 1987.
• ²⁶
  Harden RM. Preparation and presentation of patient­management problems (PMPs). Med Educ 1983 Jul; 17(4):256-76.
• ²⁷
  Pasquali L. Psicometria: teoria e aplicações. Brasília: Editora UnB; 1997.
• ²⁸
  Des Marchais J. From traditional to problem-based curriculum: how the switch was made at Sherbrooke, Canada. The Lancei 1991; 338:234-237.
• ²⁹
  Mennin SP, Friedman M, Skipper B, Kalishman S, Snyder J. Performances on the NBME I, II, and III by medical students in the problem-based learning and conventional tracks ai lhe University of New Mexico. Acad Med 1993; 68: 616-24.
• ³⁰
  Moore GT, Block SD, Style CB, Mitchell R. Toe influence of the New Pathway curriculum on Harvard medical students. Acad Med 1994; 69: 983-9.
• ³¹
  Peters AS, Greenberger-Rosovsky R, Crowder C, Block SD, Moore GT. Long-term outcomes of lhe New Pathway Program at Harvard Medical School: a randomized controlled trial. Acad Mcd 2000; 75: 470-9.
• ³²
  Pfeiffer C, Ardolino AJ, Madray H. Toe impact of a curriculum renewal project on students performance on a fourth­year clinical skills assessment. Acad Med 2001; 76: 173-5.
• ³³
  Wass V, Rkhards T, Cantillon P. Monitoring the medical education revolution. Br Med J 2003; 327:1362.
• ³⁴
  Araújo IM, Araújo RCT, Grácio MCC. Avaliação do aproveitamento do aluno em Nefrologia: estudo comparativo entre o método expositivo tradicional e o método de aprendizado baseado em problemas. Rev Bras Educ Méd 2001; 25: 44-55.
• ³⁵
  Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais. Exame Nacional de Cursos. Disponível em: Disponível em: http://www.inep.gov.br/superior/provao/ Acessado em: 06/01/2004.
  » http://www.inep.gov.br/superior/provao/
• ³⁶
  Martins AEO. Atitudes frente ao doente mental: influências do tipo e do nível de treinamento universitário. Psicol Teor Pesquisa 1987; 3: 92-103.
• ³⁷
  Oickinson GE, Tournier RE, Still BJ. Twenty years beyond medical school: physician's attitudes toward death and terminally ill patients. Arch Intern Med 1999; 159: 1741-4.

Datas de Publicação

• Publicação nesta coleção
  22 Jun 2020
• Data do Fascículo
  May-Aug 2004

Histórico

• Recebido
  09 Mar 2004
• Revisado
  22 Jul 2004
• Aceito
  30 Jul 2004