Avaliação Cognitiva no Internato Médico - Experiência da Disciplina de Clínica Médica, Faculdade de Medicina de Teresópolis, Fundação Educacional Serra dos Órgãos (Feso)

Cognitive Evaluation of a Medical Internship - An Experience with the Course on Internal Medicine at the School of Medicine in Teresópolis, Rio de Janeiro State, Brazil

Resumo:

Relata-se a experiência de avaliação cognitiva dos alunos que cursaram o Internato de Clínica Médica da Faculdade de Medicina de Teresópolis, Fundação Educacional Serra dos Órgãos, de janeiro a março de 2002. Discutem-se, alguns instrumentos de avaliação utilizados no transcorrer desse período, com­ parando-se seus resultados com os obtidos pelos mesmos internos ao longo de toda a sua graduação. Formulam-se propostas para uma escolha mais, adequada de alguns instrumentos e do método de sua utilização. Critica-se o emprego da prova final como instrumento isolado.

Palavras-chave:
Educação Médica; Internato e Residência; Avaliação

Abstract:

The authors report on the cognitive assessment of students during their internship at the School of Medicine in Teresópolis, Rio de Janeiro State, Brazil, in January-March 2002. Several instruments for assessing medical students during internship are discussed, comparing the results from this stage with those of their undergraduate training as a whole. The authors present several proposals for a more appropriate choice of some instruments and their method of use, in addition to criticizing final exams as a single instrument for assessing the interns' cognitive performance.

Key-words:
Education, Medical; Internship and Residency; Evaluation

INTRODUÇÃO

A ciência pode classificar e nomear os órgãos de um sabiá, mas não pode medir seus encantos. A ciência não pode calcular quantos cavalos de força existem nos encantos de um sabiá. Quem acumula muita informação perde o condão de adivinhar: divinare. Os sabiás divinam. Manoel de Barros

O internato é uma importante etapa da formação médica, momento no qual o estudante de medicina tem a oportunidade de colocarem prática seu aprendizado teórico prévio, bem como estabelecer conceitos e aprofundar conteúdos que terão impacto na sua futura atuação profissional¹. Ademais, a estrutura proposta de estágio teórico-prático nas grandes áreas básicas do conhecimento médico - Clínica Médica, Clínica Cirúrgica, Ginecologia e Obstetrícia, Pediatria e Medicina Preventiva - é capaz de proporcionar ao aluno a possibilidade de um contato mais íntimo com diferentes campos do saber médico, favorecendo a construção de um horizonte mais amplo para o exercido da medicina, sob uma perspectiva generalista, ao mesmo tempo em que constitui um importante momento para uma melhor escolha da especialidade.

Neste âmbito se insere o internato de Clínica Médica, por sua relevância tanto nas especialidades de área clínica, quando nas demais, uma vez que é tradicionalmente na Clínica Médica que se exercita, de forma sistemática, a coleta e organização de informações - anamnese e exame físico -, esteios primordiais para a boa atividade do médico. Sob esta perspectiva, no Curso de Graduação em Medicina da Fundação Educacional Serra dos Órgãos (Feso), tem-se a preocupação de estimular a consolidação do raciocínio clinico a partir de três liames fundamentais: treinamento em serviço - no Hospital de Clínicas de Teresópolis Costantino Ottaviano (HCTCO-Feso); consolidação da formação teórica; estimulo à reflexão crítica sobre os conteúdos e práticas do estudante.

Como relevante preocupação no curso, tem-se também a avaliação do aprendizado dos alunos, elemento constitutivo de todo processo educacional². A avaliação cognitiva durante o internato de clínica médica é realizada por meio dos seguintes quesitos: múltiplos “pré-testes" (PT) com questões objetivas e discursivas sobre diferentes conteúdos de clínica médica (ver Quadro 1); observação diária da atuação do interno nos serviços - observação dos aspectos técnicos e éticos, que originam um conceito elaborado pelos tutores; realização de uma prova final (PF) ao término do internato. Na tentativa de obter alguma informação sobre a qualidade destas avaliações, foi realizado o presente trabalho. Na falta de especialistas externos³ que elaborassem testes a ser aplicados ou que examinassem cada um dos nossos testes, optamos por submeter as múltiplas avaliações do internato a uma comparação com o Coeficiente de Rendimento (CR) que o estudante traz consigo e que é produto de avaliações também múltiplas, que inclui os resultados das diversas disciplinas cursadas. O CR é calculado a partir do somatório (Ó) dos produtos das notas finais (NF) pelo número de créditos (NC), valor este dividido pelo número total de créditos (NCC) cursados, ou seja⁴:

$\frac{CR=\mathrm{\Sigma }\mathrm{}\left(\mathrm{N}\mathrm{F}\mathrm{}\mathrm{x}\mathrm{}\mathrm{N}\mathrm{C}\right)}{NCC}$

onde a nota final é atribuída a partir de provas teóricas, atividades práticas e notas de conceitos, os quais têm diferentes pesos, variando de disciplina para disciplina.

QUADRO 1
Assuntos contemplados no Internato de Clínica Médica do HCTCO-Feso, a partir dos quais são elaborados os pré-testes (PT)

Acidente vascular encefálico	Febre reumática
Aids	Hemocromatose
Anemias	Hemorragia digestiva
Angina	Hepatites virais
Artrite reumatóide	Hipertensão arterial
Ascite	Hipertiroidismo
Asma brônquica	Hipotiroidismo
Bacteriologia clínica	Icterícias
Bradiarritmias	Infarto agudo do miocárdio
Câncer de cólon	Infecção do trato urinário
Câncer de próstata	Infecções transfusionais
Câncer de pulmão	Insuficiência cardíaca
Câncer de tiroide	Insuficiência renal aguda
Câncer gástrico	Insuficiência renal crônica
Cardiomiopatias	Lesões orovalvares
Choque	Leucemias
Cirrose hepática	Linfomas
Critérios para hemotransfusão	Lúpus eritematoso sistêmico
Diabetes mellitus	Meningites
Dispepsia	Pericardite
Doença do refluxo gastroesofágico	Pneumonia
Doença inflamatória Intestinal	Reanimação cardiorrespiratória
Doença ulcerosa	Sepse
Doenças da supra-renal	Síndrome de derrame pleural
Eletrocardiografia	Síndromes demenciais
Embolia pulmonar	Síndrome extrapiramidais
Endocardite infecciosa	Taquiarritmias
Exame do abdome	Terapia antimicrobiana
Exame neurológico	Tuberculose
Exame do tórax	Vasculites

Comparamos também os resultados dos pré-testes e os CR com os da prova final do módulo. Consideramos que, se estes métodos têm entre si uma relação estatisticamente significativa, em alguma medida eles se articulam, elevando a chance de que sejam de boa qualidade na avaliação cognitiva. Finalmente, incluímos nesta análise o Simulado, que foi um teste realizado no início de 2002, composto de 100 perguntas de múltipla escolha e dez discursivas (por se tratar de casos clínicos, estas últimas questões propiciaram a avaliação da capacidade de análise e de síntese), igualmente distribuídas pelas grandes áreas médicas acima referidas, elaboradas pelos professores da instituição, com o objetivo de obter uma noção abrangente acerca dos conhecimentos adquiridos no Internato. Fizemos a suposição de que o Simulado, embora seja uma única avaliação, é diferente da prova final do módulo, uma vez que abrange um campo muito extenso do saber, e não é possível uma preparação de última hora para a sua realização.

METODOLOGIA

Local do Estudo

O Hospital de Clínicas de Teresópolis Costantino Ottaviano (HCTCO) é o hospital-escola da Faculdade de Medicina de Teresópolis e da Faculdade de Enfermagem de Teresópolis, ambas pertencentes à Fundação Educacional Serra dos Órgãos. A unidade hospitalar possui 178 leitos para internação de pacientes conveniados com o SUS e 21 leitos para internação de pacientes particulares.

Período de estudo

O trabalho abrange o período de janeiro a março de 2002, que compreende um rotatório do Internato da FMT-Feso.

População

A população foi constituída por 36 internos, sendo17 do 12^o período e 19 do 11° período.

Programação do Internato

As atividades do Internato de Clínica Médica são distribuídas da seguinte forma:

• Manhãs (8h-10h30) de segunda a sexta-feira: atividades práticas, caracterizadas pelo cuidado aos pacientes internados nas enfermarias do Serviço de Clínica Médica do HCTCO-Feso, sob supervisão de médicos e professores da instituição, atuando nas diferentes etapas de diagnóstico, tratamento e estabelecimento de relação médico-paciente;

• Manhãs (10h30-12h) de segunda a quinta-feira: discussão dos principais casos das enfermarias do HCTCO-Feso com os tutores do internato em dois pequenos grupos de 18 alunos cada; nesta atividade são reforçados os elementos do raciocínio clínico;

• Manhãs (10h30-12h) às sextas-feiras: apresentação de seminário sobre temas de Clínica Médica pelos Internos, sob a coordenação dos professores Sávio Silva Santos e Rodrigo Siqueira Batista;

• Tardes (14h-15h) de segunda a sexta-feira: aula expositiva (sobre os mais importantes temas da Clínica Médica, constantes em programa a ser seguido), muitas vezes precedida de entrega de artigos relativos ao tema (em geral, antes do início da aula se realiza um pré-teste);

• Tardes (15h-17h) de segunda a sexta-feira: atividade teórico-prática, em que são feitas revisões teóricas acompanhadas de discussão de casos clínicos, sempre com dois professores (divisão da turma em dois pequenos grupos), fortalecendo e organizando, do ponto de vista clínico, os conceitos vistos na exposição teórica;

• Plantão semanal de 12 horas no Serviço de Emergência do HCTCO, sendo o interno supervisionado por médicos da instituição;

• Plantão de 12 horas nos fins de semana, em caráter rotatório;

• Participação, como relatores, das Sessões Clínicas da Disciplina de Clínica Médica do HCTCO-Feso, sempre realizadas na terceira quarta-feira de cada mês (10h- 12h); estas sessões contam com a presença e a participação dos médicos residentes e dos professores.

Avaliação das Atividades

A avaliação dos internos de clínica médica na FMT-Feso é um processo constituído em múltiplas instâncias, levando-se em conta a participação nas atividades práticas (enfermarias e plantões no serviço de emergência) e nas teórico-práticas. Em relação a esta última instância, foram comparados:

1. a realização de múltiplos pré-testes (PT)antes da maior parte das atividades do período da tarde, constituídos por perguntas de múltipla escolha e discursivas sobre um assunto previamente marcado, as quais devem ser respondidas em cerca de 30 minutos. Os alunos são motivados com um ganho de 0,25% do que conseguirem nestes testes, que será acrescentado à nota da prova final. Não há perda em função de maus resultados;

2. a realização de uma prova no final do período de aprendizado, a prova final de módulo (PF), que compreende todos os assuntos vistos ao longo do curso, sendo constituída por 12 questões de múltipla escolha e quatro questões discursivas;

3. 1 e 2 foram comparados com o CR;

4. 1, 2 e 3 foram comparados com o Simulado.

Critério para Comparação das Três Formas de Avaliação

Foram considerados de boa qualidade os meios cuja comparação se mostrou estatisticamente significativa, segundo critério adotado pelos autores como premissa.

Tratamento dos Dados

O banco de dados constituído no programa Epiinfo do Centers for Disease Control and Prevention (CDC) foi analisado por este mesmo software. No tratamento estatístico, utilizou-se a análise das freqüências, teste do qui-quadrado (C²) e teste exato de Fisher³. Como significância estatística foram considerados valores de probabilidade de significância (p valor) menores que 0,05.

RESULTADOS E DISCUSSÃO

Durante o período avaliado - primeiro trimestre de 2002 -, os internos foram submetidos a 33 PT. Embora o nível de dificuldade de alguns PT seja realmente alto, chama a atenção a média final muito baixa, média = 4,5, com uma mediana de 4,35, para todos os internos em todos os pré-testes. Nos 33 pré-testes, obtivemos os seguintes resultados: média mínima = 1,9; quartil p25 = 3,5; mediana = 4,35; média máxima = 7,0.

Observando o CR destes mesmos internos, vemos que ele é bastante elevado em comparação com os dados acima. Com relação ao CR, temos o seguinte: CR mínimo = 6,37; quartil p25 = 7,08; mediana = 7,43; CR máximo = 8,61. A diferença salta aos olhos, dispensando tratamento estatístico. A variância nos CR é muito pequena, muito diferente do que se observa nos PT, que tem uma variância muito maior e que mais se assemelha às avaliações do Provão⁶ e dos TQC,^7),(8),(9 da Cinaem. Em todo caso, podem ser feitas algumas comparações tomando como base o CR, na tentativa de avaliar o valor discriminativo dos dois métodos de avaliação empregados: os pré-testes e a prova de módulo.

A Figura 1 traz a comparação dos CR com o desempenho dos internos nos 33 pré-testes durante o internato de clínica médica. Ela sugere uma relação linear entre o valor do CR e o desempenho dos estudantes durante o internato, nos PT.

Figura 1
Comparação do CR versus média dos pré-testes

Comparação entre os CR e as médias nos PT durante o internato de clínica médica. Os internos estão representados por números. Estão agrupados pelo valor decrescente do CR em dois blocos: internos do décimo primeiro período (do 1 ao 19) e do décimo segundo período, a partir do número 20.

Na tentativa de obter mais elementos para corroborar este conceito, foi tomada a mediana do CR, 7,43, e a mediana dos PT, 4,35, confrontando-se os valores que estão acima ou abaixo da mediana, com relação ao CR, com os valores da média acima ou abaixo de 4,35 nos PT. Os dados obtidos são apresentados na Tabela 1.

TABELA 1
Relação entre CR e média dos pré-teste

MCR	MPT		Total
	Bom	Ruim
Bom	13	04	17
Ruim	05	14	19
Total	18	18	36

• MCR = média do CR. “bom” - são os indivíduos que têm CR maior que a mediana, 7,43; “ruim” - são aqueles cujo CR não é maior do que 7,43 (há dois CR iguais à mediana, por isto este grupo fica com 19 - a mediana, de fato, separa dois grupos de 17). MPT = médias dos pré-testes. “bom” - são aqueles superiores a 4,35 nos PT (são em número de 18); “ruim” - têm médias nos 33 PT menores do que a mediana (são em número de 18). P = 0,002

A distribuição dos valores mostra que o agrupamento das melhores médias nos PT está entre os melhores CR,13 "bom" CR versus cinco "ruim" CR. As piores médias nos PT (MPT "ruim") estão entre os piores CR, quatro CR "bom" versus 14 CR "ruim". Embora a amostra seja pequena, as diferenças são estatisticamente significativas (p < 0,05). Isto nos sugere que os pré-testes e os CR podem ser instrumentos confiáveis de avaliação cognitiva nas condições aqui adotadas. No entanto, quando comparamos o CR com a PF, temos uma surpresa, conforme se pode verificar na análise da Tabela 2.

TABELA 2
Relação entre CR e a prova de módulo

MCR	MPF		Total
	Bom	Ruim
Bom	10	07	17
Ruim	08	11	19
Total	18	18	36

• MCR “bom”: CR > 7,43; MCR “ruim”: CR ≤ 7,43; MPF (nota prova final) “bom”: nota na PF > 6,6; MPF “ruim”: nota na PF ≤ 6,6. p = 0,32

Comparação entre os CR e as médias nos PT durante o internato de clínica médica. Os internos estão representados por números. Estão agrupados pelo valor decrescente do CR em dois blocos: internos do décimo primeiro período (do 1 ao 19) e do décimo segundo período, a partir do número 20.

A distribuição das notas da PF é mais parecida com a dos CR do que com a dos PT. Há uma variância bem menor do que a dos PT, embora maior do que a do CR; a mínima é 4,0, o quartil p25 é 5,6, a mediana é 6,6 e a máxima é 8,7. Além da menor variância, os valores são bem maiores do que os encontrados nos PT. Apesar desta aproximação com os resultados do CR, a Tabela 2 mostra que não há relação significativa entre os dois momentos (p > 0,32): há uma grande presença de internos com MCR "bom" entre os MPF " ruim", 7 dos 17 bons CR; e uma significativa presença de internos com CR "ruim" entre os MPF "bom", 8 dos 19.

Nestas análises, pode haver alguma distorção devida a algumas faltas no PT, que correspondem à nota zero e à dificuldade dos PT, que, às vezes, como mencionado, foi acima da média. Mas, dado o grande número de PT, acreditamos que isto não impossibilita a utilização dos seus resultados.

É possível aventar a hipótese de que os PT realizados em grande número e em curtos intervalos de tempo, não dando ao aluno chance de se preparar, poderiam refletir o estado de conhecimento estável de cada um, com menor flutuação ao acaso.

Os melhores vão em geral melhor, daí a correlação positiva com os CR. Tanto o CR como os PT são frutos de múltiplas avaliações e talvez por isto retratam melhor a capacidade de cada aluno.

Esta hipótese fica fortalecida quando vemos que o desempenho na PF não tem boa relação com o CR. Isto pode ser conseqüência da utilização de uma avaliação isolada, que é a PF. Para tentar trazer mais argumentos para esta hipótese, comparamos também os resultados da PF com os do PT (Tabela 3). Um simples olhar para essa tabela é suficiente para observar que não há relação entre desempenho nos PT e desempenho na PF.

TABELA 3
Relação entre a média dos pré-testes e a prova de módulo

MPF	MPT		Total
	Bom	Ruim
Bom	11	07	18
Ruim	07	11	18
Total	18	18	36

• p = 0,18

Finalmente, confrontamos as notas obtidas pelos internos de clínica médica no Simulado com os CR, as médias nos PT e com as notas na PF. No Simulado, a distribuição das notas é a seguinte: mínima: 4,0; quartil p25: 4,85; mediana: 5,4; máxima: 8,7. Sua variância é intermediária com relação à variância dos PT e do CR.

A Tabela 4 mostra uma relação estatisticamente significativa entre o desempenho no Simulado e o CR. Façamos uma comparação entre o Simulado e os PT.

TABELA 4
Relação entre as notas no Simulado e os CR

MCR	MSI		Total
	Bom	Ruim
Bom	11	6	17
Ruim	5	14	19
Total	16	20	36

• p = 0,02

Na Tabela 5, podemos observar que é quase idêntica a locação dos valores em relação à observada na Tabela 4. Também é significativa a relação entre desempenho no Simulado e médias nos PT.

TABELA 5
Relação entre as notas no Simulado e os PT

MSI	MPT		Total
	Bom	Ruim
Bom	11	5	16
Ruim	7	13	20
Total	18	18	36

• p = 0,04

Nossa última comparação é entre o Simulado e a PF (Tabela 6). Também entre o Simulado e a PF não existe relação estatisticamente significativa, tal como ocorre entre os outros instrumentos e meios, e a PF.

TABELA 6
Relação entre as notas no Simulado e a prova final

MSI	MPF		Total
	Bom	Ruim
Bom	10	6	16
Ruim	8	12	20
Total	18	18	36

• p = 0,18

CONCLUSÃO

Estes achados poderiam refletir os problemas de uma avaliação, como a prova final, para a qual os internos se preparam estudando em seus "caderninhos", elaborando " macetes", enfrentando "noitadas de estudos de última hora" e se debruçando sobre provas anteriores (embora as nossas provas finais não sejam devolvidas aos alunos).

Por outro lado, um método constituído por múltiplas avaliações, como o conjunto de pré-testes e o CR, ou um outro, como o Simulado, no qual o momento e a quantidade de conteúdo da avaliação não permitem uma preparação de "véspera", teriam melhor possibilidade de uma avaliação mais eficiente, sobretudo pela multiplicidade de quesitos envolvidos no seu cálculo - questões objetivas, discursivas e os conceitos (no caso do CR).

Estas características - multiplicidade e/ou abrangência de conteúdos e de forma de aferição dos conhecimentos - talvez sejam suficientes para explicar por que três dos nossos métodos de avaliação têm significância estatística quando comparados entre si. Obviamente, nossa prova final pode não conseguir avaliar adequadamente, pelo fato de ter sido um instrumento algo limitado para o grande conteúdo a ser abrangido. Desta feita, os resultados nos permitem julgar desnecessária a prova final de módulo no internato. Ela parece não ser um bom instrumento e poderia ser substituída com vantagem por múltiplos testes, os quais, segundo nossos resultados, seriam mais adequados para uma avaliação cognitiva.

CONSIDERAÇÕES FINAIS

Gostaríamos de mudar o "tom" destas ponderações muito abundantes em números e estatísticas - habitualmente um estofo para uma abstração perigosa (veja-se a epígrafe...) - e dirigir umas palavras aos internos que passaram pela clínica médica no período aqui analisado. Eles nos deixaram uma ótima impressão e a certeza de que estão se preparando com esforço e entusiasmo para o exercício desta complexa e bela missão que é a medicina^10),(11),(12. Afinal, todos sabemos que a profissão médica requer muito mais do que a habilidade para responder a perguntas de múltipla escolha ou mesmo discorrer sobre um tema nas páginas em branco de um singelo papel...

REFERÊNCIAS BIBLIOGRÁFICAS

• ¹
  Lo B. Questões éticas na medicina clínica. In: Braunwald E, Fauci AS, Kasper DL, Hauser SL, Longo DL, Jameson JL. Harrison Medicina Interna. 15 ed. Rio de Janeiro: Guanabara Koogan; 2002.
• ²
  Luckesi C. Avaliação educacional: pressupostos conceituais. Tecnologia Educacional 1978; 7(24):5-8.
• ³
  Jozefowicz RF, Koeppen BM, Case S, Galbraith R, Swanson D, Glew RH. The quality of in-house medical school examinations. Acad Med 2002 Feb;77(2):156-61.
• ⁴
  Indicadores de desempenho do corpo discente. Regras de cálculo de coeficientes de rendimento. Teresópolis (RJ): Fundação Educacional Serra dos Órgãos; 2000.
• ⁵
  Soares JF, Siqueira AL. Introdução à estatística médica. Belo Horizonte (MG): Departamento de Estatística - UFMG, 1999.
• ⁶
  Brasil. Ministério da Educação. Exame Nacional de Cursos. Disponível em: <www.inep.gov.br/enc>
  » <www.inep.gov.br/enc>
• ⁷
  Piccini R, Facchini R, Santos R, Tomasi E, Maia MFS. Projeto CINAEM: Teste de progresso 1999. Teresópolis (RJ): Faculdades Unificadas Serra dos Órgãos [Relatório]; 2001.
• ⁸
  Piccini R, Facchini R, Tomasi E, Maia MPS, Ambrósio MAD. Projeto CINAEM: relatório do Curso de Medicina do Centro de Ciências da Saúde de Teresópolis, Rio de Janeiro:[s.n] 1997.
• ⁹
  Piccini R, Facchini R, Santos R. Preparando a transformação da Educação Médica brasileira: Projeto CINAEM III Fase: Relatório 1999-2000. Pelotas: UFPel; 2000.
• ¹⁰
  Siqueira-Batista R. Deuses e Homens: mito, Filosofia e Medicina na Grécia antiga. São Paulo: Landy, 2003.
• ¹¹
  Rego S. A formação ética do médico: saindo da adolescência com a vida (dos outros) nas mãos. Rio de Janeiro: Editora Fiocruz; 2003.
• ¹²
  Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES N^o 4, de 7 de novembro de 2001. Diário Oficial da União, Brasília (DF), 9 de novembro de 2001. Seção 1, p. 38.

• 1
  *Trabalho realizado a partir da colaboração entre o Núcleo de Educação Médica, o Núcleo de Estudos em Filosofia e Saúde e a disciplina de Clínica Médica - Fundação Educacional Serra dos Órgãos (Feso).

Datas de Publicação

• Publicação nesta coleção
  18 Jun 2021
• Data do Fascículo
  Sep-Dec 2003

Histórico

• Recebido
  22 Jul 2003
• Aceito
  11 Set 2003