Avaliação do Ensino de Medicina na Universidade Federal de São Paulo

Resumo:

O ensino de Medicina na Unifesp vem sendo reformulado, com a implantação em 1997 de nova estrutura curricular (Currículo Nuclear). Aspecto fundamental da reformulação é o desenvolvimento de sistemática de avaliação, coerente com a mudança realizada. Três parâmetros vêm sendo utilizados para avaliação do aprendizado: pontuação obtida pelo aluno durante o curso, desempenho do formado na prova de seleção à Residência Médica e o Teste do Progresso. Durante o curso, os alunos vão acumulando pontos, de acordo com notas e conceitos obtidos em atividades teóricas e práticas. A prova de acesso à Residência não é obrigatória, mas todos os formados pela Unifesp dela participam; pode ser considerada uma avaliação final de curso. O Teste do Progresso é um teste de suficiência e consiste na aplicação de uma mesma prova, simultaneamente, a alunos das seis séries do curso. A análise de quatro turmas (377 alunos graduados no período 1994-1997) mostrou significativa relação (p < 0,0001) entre a pontuação obtida durante os seis anos do curso e o desempenho no exame de acesso à Residência Médica. Em 1998, o Teste do Progresso, em sua terceira aplicação, revelou-se instrumento capaz de discriminar as 5^a e 6^a séries (Internato) das demais.

Descritores:
Educação Médica; Avaliação educacional

Summary

In 1997 the Universidade Federal de São Paulo modified its medical curriculum with the introduction of a Core Curriculum. The reform was accompanied by an evaluation program that used three parameters: the punctuation achieved by the student both at the end of six years's course and at the access exam to the Residency Program, and also the Progress Test. Analysis of four graduated cohorts (1994-1997) showed a significant correlation (p < 0.0001) between both punctuation scores. The Progress Test on its third edition (1998), proved to be an useful instrument, capable to discriminate the internship (5^th and 6^th years) from the previous ones.

Keywords:
Medical education; Educational measurement

INTRODUÇÃO

As primeiras Escolas de Medicina no Brasil foram criadas por D. João VI em 1808: a Escola de Cirurgia da Bahia em 18 de fevereiro e a Escola Anatômico-Cirúrgica e Médica do Rio de Janeiro em 5 de novembro. A Escola Paulista de Medicina foi a 11^a a ser fundada, em 1933; a Universidade Federal de São Paulo (Unifesp) resultou da transformação (1994) da Escola Paulista de Medicina. Na graduação, a Unifesp é responsável por cinco cursos de formação profissional: Medicina (1933), Enfermagem (1939), Ciências Biológicas - modalidade médica (1966), Fonoaudiologia (1968) e Tecnologia Oftálmica (1978).

O ensino de Medicina na Unifesp é determinado por algumas características da instituição:

1. é uma Universidade de pesquisa;

2. é especializada no campo das Ciências da Saúde;

3. quase todos os docentes são titulados (pós-graduação stricto sensu) e trabalham em regime de tempo integral;

4. recebe, do vestibular, alunos da elite estudantil do país;

5. existe integração científica (e geográfica) entre áreas básicas e profissionais, que não se separaram (como ocorreu nas demais universidades brasileiras por ocasião da reforma universitária);

6. existe significativo envolvimento de alunos em programas de iniciação científica e de monitoria.

Bom ensino de graduação significa dar aos aspectos formativos importância equivalente aos informativos, para que o aluno aprenda a aprender, aprenda a fazer, aprenda a conviver e aprenda a ser. Com esta perspectiva, o objetivo do curso de Medicina da Unifesp é o de que, ao se formar, o médico tenha:

1. conhecimento do método científico, inclusive o da investigação clínica;

2. obtido treinamento em pesquisa, em programa de iniciação científica;

3. conhecimento das bases molecular e celular da Medicina;

4. conhecimento da estrutura e função de órgãos, sistemas e aparelhos, que permita acompanhar processos fisiológicos e de doença;

5. entendimento crítico de princípios diagnósticos e terapêuticos, que possibilite o exercício profissional baseado na melhor evidência médico-científica disponível;

6. competência para diagnosticar, tratar e orientar portadores das doenças mais prevalecentes, reconhecendo os limites de sua ação;

7. adquirido habilidades básicas específicas da profissão;

8. compreensão das dimensões biológica, psicológica, social, assim como individual e populacional, do processo saúde-doença;

9. conhecimentos básicos de promoção da saúde e prevenção de doenças;

10. competência (conhecimento, habilidades e atitudes) para desempenho profissional ético; só o competente pode ser ético.

A última mudança significativa no ensino de Medicina na Unifesp ocorreu há mais de duas décadas, quando o Internato, que era de um ano, passou a ser desenvolvido nos dois últimos anos do curso (5ª e 6ª séries). O ensino de Medicina na Unifesp vem sendo reformulado por três motivos principais:

1. rápido e significativo progresso das ciências biomédicas e conseqüente desenvolvimento de complexas tecnicas diagnósticas e poderosas armas terapêuticas. O aumento excessivo de horas-aula (dentro da armadura dos seis anos de curso) não evitou que a educação médica perdesse o passo, de um lado, com os avanços da ciência biomédica e, do outro, com as necessidades da prática clínica;

2. desenvolvimento de novas concepções pedagógicas (como, por exemplo, o aprendizado baseado em problemas);

3. efetiva e ampla disponibilidade de acesso eletrônico a fontes de informação biomédica.

A inclusão de novos conhecimentos em grade horária já congestionada (estabelecida através dos anos com a estratégia da "colcha de retalhos") só foi viável com a implantação de novo modelo, que vem sendo chamado currículo nuclear. Este nome não é ideal, pois a parte denomina o todo (que é o currículo pleno). Currículo nuclear é o conhecimento essencial a ser adquirido por todo graduado em Medicina e inclui o currículo mínimo legalmente exigido¹. O currículo nuclear deveria ser comum a todas as escolas de Medicina do país, apesar de se dizer que when you've seen one medical school, you've seen one medical school. Os módulos eletivos, optativos e o "tempo pró­aluno" (tempo de estudo, de pensar ou de lazer) completam o currículo pleno. As disciplinas eletivas têm caráter complementar e são obrigatórias; de um rol de mais de uma centena de disciplinas oferecidas, o aluno escolhe de três a seis por ano letivo para cursar. As optativas têm caráter suplementar e não são obrigatórias. A criação de espaços para a implantação das eletivas .e do tempo pró-aluno exigiu integração interdisciplinar, tanto horizontal (básico-básicas e clínico­clínicas) como vertical (básico-clínicas). A integração fez com que a estrutura curricular fosse simultaneamente condensada e melhorada. O currículo nuclear foi implantado na Unifesp em 1997 e vem sendo implementado gradualmente, isto é, os alunos que ingressaram em 1997 iniciaram o currículo novo (nuclear), enquanto os que em 1997 estavam na 2° série terminarão o curso, no final de 2001, com o currículo antigo.

Um aspecto fundamental da reforma curricular é o desenvolvimento de sistemática de avaliação coerente com a mudança realizada. Devem ser avaliados o processo ensino/ aprendizado (o aluno) e os recursos humanos (corpo docente) e materiais da instituição. A avaliação do alw10, que deve aferir não apenas conhecimento mas também habilidades e atitudes, é o objetivo deste trabalho.

MÉTODO

Três parâmetros vêm sendo utilizados para avaliação do ensino de Medicina na Unifesp: 1) pontuação obtida pelo aluno durante o curso; 2) desempenho do graduado na prova de seleção à Residência Médica e 3) o Teste do Progresso.

1. Pontuação do aluno: durante o curso, os alunos vão acumulando pontos, de acordo com notas e conceitos obtidos em atividades teóricas e práticas; um máximo de 700 pontos pode ser alcançado ao término do curso. O programa de totalização foi elaborado pela Coordenadoria de Avaliação e Integração de Dados Institucionais da Unifesp, levando em conta o fluxograma de avaliação (Figura 1) e critérios (Tabela 1) estabelecidos pela Pró-Reitoria de Graduação; o programa é gerenciado pelo Departamento de Processamento de Dados da Unifesp;

Figura 1
Fluxograma de Avaliação na Unifesp.

TABELA 1
Critério de pontuação do aluno de Medicina segundo conceito e condição de aprovação, na Unifesp

Conceito	Condição	Pontuação
Ótimo	Aprovado	8
Bom	Aprovado	7
Regular	Aprovado	6
Ótimo	Aprovado após exame final	6
Bom	Aprovado após exame final	5
Ótimo	Aprovado após segunda época	4
Bom	Aprovado após segunda época	3
Regular	Aprovado após exame final	2
Regular	Aprovado após segunda época	1
Insuficiente	Reprovado	0

• *Equivalência conceito/nota: Ótimo= 8,6a 10; Bom= 7,0 a 8,5; Regular= 5,0 a 6,9; Insuficiente= O a 4,9.

1. Prova de acesso à Residência: embora não obrigatória, todos os graduados pela Unifesp dela participam. É prova seletiva (180 testes com 5 alternativas, 4 horas de duração), elaborada pela Comissão de Residência Médica a partir de questões fornecidas pelo corpo docente da Unifesp; sua aplicação é terceirizada;

2. Teste do Progresso: é um teste de suficiência e consiste na aplicação simultânea de uma mesma prova, em dia previamente escolhido do mês de novembro, aos alunos das seis séries do curso. Foi inspirado no modelo em uso na Universidade de Maastricht². O teste (180 testes com 5 alternativas, 4 horas de duração) é construído com conhecimentos relevantes que devem ser adquiridos pelo aluno ao final do curso. É elaborado e aplicado pela Pró-Reitoria de Graduação a partir de questões fornecidas pelo corpo docente da Unifesp. Docentes são escolhidos para elaborar questões para o Teste do Progresso sem que a Pró-Reitoria saiba se também prepararam testes para o exame de acesso à Residência. O Teste do Progresso foi aplicado pela primeira vez em 1996, é facultativo e anônimo, isto é, os alunos não são identificados. Para a realização do teste, porém, os alunos são separados segundo a série do curso, de modo que em cada sala realizam o teste alw1os de uma mesma série.

A prova de acesso à Residência e o Teste do Progresso são elaborados de maneira a manter equilíbrio, quanto ao número de questões, entre cinco grandes áreas: cirurgia, pediatria, tocoginecologia, clínica e medicina preventiva. O Teste do Progresso adicionalmente inclui área básica (contendo 20-25% das questões) e questões de medicina legal e ética médica.

RESULTADOS

A análise de quatro turmas - 377 alunos graduados no período 1994-1997 - mostrou significativa relação (p < 0,0001) entre a pontuação obtida pelos alunos durante os seis anos do curso e o desempenho no exame de acesso à Residência Médica da Unifesp (Figura 2). Todos os graduados totalizaram mais de 350 pontos ao final do curso (50% dos 700 pontos possíveis). Na prova de acesso à Residência Médica, três graduados (0,8%) obtiveram pontuação inferior a 72 pontos (40% dos 180 pontos possíveis) e 36 graduados (9,6%) pontuação inferior a 90 pontos (50% dos 180 pontos possíveis).

Figura 2
Relação entre pontuação obtida ao final do curso (Curso) e desempenho na prova de acesso à Residência (Prova).

A Tabela 2 mostra a evolução do Teste do Progresso de 1996 a 1998, considerado o percentual de alunos com índice de acerto igual ou superior a 50%. Verificamos que o teste aplicado em 1996 discriminou alunos até a 3ª série, mas não desta série em diante; o teste aplicado em 1997 melhorou seu desempenho, discriminando alunos até a 4ª série. Apenas em 1998, porém, o teste foi capaz de discriminar o Internato (5ª e 6ª séries) das demais. Em 1998, 347 alunos (52% do total) participaram do Teste do Progresso; a menor participação foi da 2ª série (28%), e as maiores das 5ª e 6^a séries (73%). Nos anos anteriores (1996 e 1997), a adesão foi de respectivamente 342 e 344 alunos, com maior participação, também, das 5ª e 6ª séries.

TABELA 2
Percentual de alunos com acerto 3 50% no Teste do Progresso realizado nos anos de 1996, 1997 e 1998 na Unifesp segundo as séries do curso

Série	1996	1997	1998
1a	0	0	0
2a	7	41	0
3a	80	53	0
4a	91	100	38
5a	90	96	59
6a	100	99	94

A Tabela 3 detalha a Tabela 2 por área de conhecimento. Verificamos que o setor de tocoginecologia ainda necessita adequação, pois o instrumento funcionou com caráter seletivo e não de suficiência; neste, o objetivo é de que a quase totalidade seja "aprovada", isto é, obtenha aproveitamento mínimo de 50%. O desempenho dos alunos no setor de tocoginecologia poderia significar aprendizado insuficiente, o que não nos parece ser o mais provável.

TABELA 3
Percentual de alunos com acerto 3 50% no Teste do Progresso de 1998 por áreas

Série	Básico	Cirurgia	Pediatria	Tocoginecologia	Clínica	Outros
	(41)	(31)	(30)	(28)	(30)	(20)
1a	31	0	0	2	0	10
2a	64	0	6	0	0	16
3a	68	4	2	0	13	45
4a	78	62	42	13	52	38
5a	70	59	64	12	88	59
6a	85	96	94	50	98	62

• *Entre parêntesis o número de questões de cada área.

As Tabelas 4 e 5 informam o percentual médio de acerto, por área de conhecimento, no Teste do Progresso e na prova de acesso à Residência, respectivamente, ambos de 1998. A diferença de desempenho nos dois testes, em áreas comparáveis, foi de 2% na clínica, de 6% na cirurgia, e de 18% na pediatria e na tocoginecologia; na pediatria, o desempenho melhor foi no Teste do Progresso, enquanto na tocoginecologia foi melhor o desempenho na prova da Residência. Estes dados reforçam a hipótese de que no Teste do Progresso o setor da tocoginecologia precisa ser mais bem adequado à finalidade proposta. A Tabela 4 (Teste do Progresso) ainda informa que os conhecimentos básicos (obtidos nas duas primeiras séries) não foram perdidos ao longo do curso.

TABELA 4
Percentual médio de acerto no Teste do Progresso de 1998 por áreas

Série	Básico	Cirurgia	Pediatria	Tocoginecologia	Clínica	Outros	Total
	(41)	(31)	(30)	(28)	(30)	(20)	(180)
1a	44	25	27	28	30	30	32
2a	51	22	27	18	27	30	33
3a	51	32	33	25	37	40	38
4a	54	48	47	32	47	45	46
5a	56	52	50	36	57	50	50
6a	58	64	63	46	63	50	58

• *Entre parêntesis o número de questões de cada área.

TABELA 5
Percentual médio de acerto na prova de acesso à Residência de 1998 por áreas

Área	Número de questões	% médio de acerto
Cirurgia	46*	68
Pediatria	25	52
Tocoginecologia	25	56
Clínica	59**	62
Preventiva	25	64
Total	180	61

• *Clinica Cirúrgica 25, Ortopedia 7, Oftalmologia 7 e Otorrinolaringologia 7 ques­tões; **Clínica Médica 25, Dermatologia 7, Patologia 7, Neurologia 7, Psiquiatria 7 e lmagenologia 6 questões.

DISCUSSÃO

É consensual o discurso de docentes e discentes de que é preciso avaliar o binômio ensino-aprendizado. Por outro lado, temos, docentes e discentes, medo de julgamento e, como consequência, não é incomum desqualificarmos propostas de avaliação, com o argumento de que elas não são as ideais. Com a busca de um ideal não claramente definido nem equacionado, as instituições vão adiando, ad eternum, a implantação de um processo sério e abrangente de avaliação. Os parâmetros usados na Unifesp para avaliar o ensino de Medicina, aqui relatados, procuram ultrapassar o inconveniente da avaliação pontual e única, com o entendimento de que se trata de um processo a ser otimizado com a prática. A prova de acesso à Residência pode ser considerada como avaliação final (e pontual), enquanto a pontuação dos alunos e o Teste do Progresso refletem o desenvolvimento do aluno durante os seis anos de curso.

O conhecimento adquirido pelo aluno ao longo do curso (pontuação) é avaliado objetivamente (provas), mas a aferição de habilidades necessárias ao exercício da profissão vem sendo feita, nos diferentes estágios do Internato, de modo subjetivo e não estruturado (on-the-job assessment). É relatado que o aluno objetivamente avaliado se sente mais seguro ao exercer as habilidades médicas fundamentais: anamnese e exame físico³.

O próximo desafio da Unifesp é implantar um sistema objetivo e sistematizado de avaliação de habilidades médicas, à semelhança do que vem sendo desenvolvido na Faculdade de Medicina de Ribeirão Preto⁴.

A prova de acesso à Residência da Unifesp é altamente competitiva: a relação vaga/candidato é, em média, de 1:13, visto ser o concurso aberto a todos os médicos recém-formados no país. A prova é eliminatória, pois um mínimo de 40% de acerto é exigido para que o candidato passe à fase seguinte do processo seletivo (entrevista e avaliação curricular). Os graduados submetem-se a esta prova depois de uma fase de estudos de recordação (principalmente nos últimos seis meses do curso) e com a intenção de ter o melhor desempenho possível. A prova tem influência decisiva, pois à entrevista/ avaliação curricular podem ser atribui dos no máximo 14 pontos, que se somarão aos pontos obtidos na prova (máximo de 180 pontos). Esta prova pode, portanto, ser considerada como uma avaliação final de curso.

É significativa a relação entre o desempenho do aluno durante o curso e seu desempenho na prova da Residência. Este resultado, de um lado, é esperado, pois o mesmo corpo docente é responsável pelas duas avaliações; por outro lado, reforça a idéia de que uma avaliação pontual bem feita é capaz de informar sobre o conhecimento adquirido pelo aluno.

O Teste do Progresso já foi aplicado por três anos, mas nossos resultados evidenciam que apenas em 1998 conseguimos estruturar um instrumento de avaliação capaz de discriminar o Internato dos ciclos anteriores. Este fato reflete a dificuldade de avaliar estágios eminentemente práticos com o uso de instrumento de avaliação teórica⁵. Verificamos que o conhecimento básico (adquirido durante as duas primeiras séries do curso) não foi perdido durante os seis anos, antes foi reforçado (Tabelas 3 e 4). Isto significa que o ensino básico vem sendo reconhecido como necessário para a futura prática médica⁶.

O sistema de avaliação do ensino de Medicina na Unifesp, aqui descrito, poderá ser comparado com outros sistemas de avaliação: os utilizados por outras Escolas de Medicina, o da Comissão Interinstitucional Nacional de Avaliação do Ensino Médico e o do Ministério da Educação. Necessita também ser aferido por avaliação externa e independente.

REFERÊNCIAS BIBLIOGRÁFICAS

• ¹
  BORGES D. R., Stella, R. C. R. Currículo nuclear: novo modelo na formação do médico. Rev. Ass. Med. Brasil. 1996; 42: 127-129.
• ²
  LOWNY, S. Assesment of students. BMJ 1993; 306: 51-54.
• ³
  ASSOCIATION OF AMERICAN MEDICAL COLLEGES. The role of faculty observation in assessing student's clinical skills. Contemporary Issues in Medical Education 1997; vol 1 nº 1.
• ⁴
  TRONCON, L.; CIANFLONE, A. R. L.; RODRIGUES, M. L.V.; PICCINATO, C. E; PERES, L. C.; FIGUEIREDO, J. F. C. Avaliação terminal de competências dos graduandos em Medicina: relato da experiência inicial da Faculdade de Medicina de Ribeirão Preto. Ribeirão Preto 1996, 118 páginas.
• ⁵
  McMANUS, I. C.; RICHARDS, P.; WINDER, B. C.; SPROSTON, K. A. Clinical experience, performance in final examinations, and learning style in medical students: prospective study. BMJ 1998; 316: 345-350.
• ⁶
  PABST, R; ROTHKÕTTER, H. J. Retrospective evaluation of undergraduate medical education by doctors at the end of their residency time in hospitals: consequences for the anatomical curriculum. Anat. Rec. 1997; 249: 431-434.

Datas de Publicação

• Publicação nesta coleção
  17 Ago 2020
• Data do Fascículo
  Jan-Apr 1999