A avaliação institucional no curso de Medicina da Universidade de Londrina: uma experiência inovadora

Institutional evaluation in the undergraduate medical course of the State University of Londrina - Brazil: an innovatory experience

Resumos

O curso de Medicina da Universidade Estadual de Londrina (UEL) desenvolveu sua proposta de avaliação institucional, contextualizada no panorama nacional e na realidade regional, e a partir de 2003 implantou o Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)¹, cujos princípios se encontram em consonância com o Sistema Nacional de Avaliação da Educação Superior proposto pelo MEC/Inep. O SIAMed¹ engloba o conjunto das dimensões que compõem o curso, envolve todos os que participam do processo deformação do médico e é composto por três fases de desenvolvimento: avaliação interna, avaliação externa e reavaliação. Os resultados possibilitaram identificar as potencialidades efragilidades do curso, as quais foram amplamente discutidas e aprovadas pela comunidade interna. Posteriormente, foram traduzidas em propostas de ação que passaram a integrar os Planos de Ação da Comissão Executiva e das Comissões de Apoio do Colegiado para o biênio subseqüente (2006-2008), fortalecendo o processo de mudança vivenciado pelo curso.

Avaliação Institucional; Educação Médica; Avaliação de Programas Educacionais

RELATO DE EXPERIÊNCIA

A avaliação institucional no curso de Medicina da Universidade de Londrina: uma experiência inovadora^*

Institutional evaluation in the undergraduate medical course of the State University of Londrina - Brazil: an innovatory experience

Gianna Lepre Perim; Marcia Sakai; Márcio Almeida; Maurício Marchese; Tiemi Matsuo

Universidade Estadual de Londrina - UEL, Londrina, Brasil

^{Endereço para correspondência}

RESUMO

O curso de Medicina da Universidade Estadual de Londrina (UEL) desenvolveu sua proposta de avaliação institucional, contextualizada no panorama nacional e na realidade regional, e a partir de 2003 implantou o Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)¹, cujos princípios se encontram em consonância com o Sistema Nacional de Avaliação da Educação Superior proposto pelo MEC/Inep. O SIAMed¹ engloba o conjunto das dimensões que compõem o curso, envolve todos os que participam do processo deformação do médico e é composto por três fases de desenvolvimento: avaliação interna, avaliação externa e reavaliação. Os resultados possibilitaram identificar as potencialidades efragilidades do curso, as quais foram amplamente discutidas e aprovadas pela comunidade interna. Posteriormente, foram traduzidas em propostas de ação que passaram a integrar os Planos de Ação da Comissão Executiva e das Comissões de Apoio do Colegiado para o biênio subseqüente (2006-2008), fortalecendo o processo de mudança vivenciado pelo curso.

Palavras-chave: Avaliação Institucional; Educação Médica; Avaliação de Programas Educacionais.

ABSTRACT

The undergraduate medical course of the State University of Londrina elaborated a proposal for institutional evaluation in the context of the national panorama and of the reality of the region, which was implanted in 2003. The Integrated Evaluation System (SIAMed) analyzes all components of the curriculum and was carried out in three phases: internal evaluation, external evaluation and re-evaluation. These three phases took place from 2003 to 2005. The results allowed identifying the positive and negative aspects of the course, which were discussed with all people involved. As a consequence, new solutions for the identified problems were proposed and approved, and will be implemented in 2006-2008. The evaluation process contributed to consolidating the integrated medical course of the State University of Londrina.

Key words: Institutional Evaluation; Medical Education; Educational Program Evaluation.

INTRODUÇÃO

Considerando o desenvolvimento da avaliação da educação superior e da educação médica no Brasil, o curso de Medicina da Universidade Estadual de Londrina (UEL) construiu sua proposta de avaliação institucional, contextualizada no panorama nacional e na realidade regional, levando em conta suas peculiaridades e inconstâncias, estas geradas pela constância dos processos de mudança, que têm marcado a história do curso na busca permanente de aprimoramento.

O curso tem uma extensa trajetória avaliativa. Desde o início dos anos 1990, participou de várias iniciativas de avaliação no contexto nacional. Foi um dos primeiros cursos a aderir à proposta da Comissão Interinstitucional Nacional de Avaliação do Ensino Médico (Cinaem)² e participou de várias ações avaliativas no contexto do Programa UNI. Com a implantação do currículo integrado, ocorrida em 1998, foram criadas as comissões de apoio ao Colegiado, com a preocupação de acompanhar permanentemente seu desenvolvimento. Uma delas foi a comissão de avaliação, responsável pela avaliação do processo de ensino-aprendizagem e também pela avaliação do curso, valorizando a importância da avaliação no processo de formação³.

Foi nessa perspectiva, antes mesmo da criação do Sistema Nacional de Avaliação da Educação Superior (Sinaes) por força de lei, sobretudo com a preocupação de estabelecer um processo de avaliação mais abrangente e democrático, que a Comissão de Avaliação do Curso (Cavmed) propôs ao Colegiado de Curso a adoção de um novo modelo de avaliação, mais adequado à concepção do currículo integrado adotado desde 1998.

O currículo integrado é caracterizado pelo uso de metodologias ativas de ensino-aprendizagem, pela interdisciplinaridade, pela formação multiprofissional, pelo enfoque sobre os determinantes sociais das doenças, pela aproximação com os serviços de saúde e com as comunidades, pela aproximação entre teoria e prática desde o início do curso e pela eliminação da divisão do curso entre ciclo básico e ciclo clínico. Aproposta, de acordo com as diretrizes curriculares, prevê a superação do modelo hospitalocêntrico, centrado no professor e na doença, e aponta para o modelo voltado ao paradigma da integralidade⁴.

Durante a implantação do currículo integrado, a Comissão de Avaliação desenvolveu diversos processos avaliativos que envolveram estudantes, docentes e coordenadores de módulos ou séries, utilizando técnicas como a auto-avaliação, a avaliação in-terpares, a avaliação pelo tutor e testes de progresso, entre outros. Os instrumentos utilizados integravam a avaliação do processo de ensino-aprendizagem e permitiram, embora de forma assistemática, o acompanhamento do currículo durante a formação da primeira turma (1998-2003).

Em função das dificuldades de organização e sistematização das informações - decorrentes da falta de integração das avaliações realizadas até então e com o respaldo das diretrizes curriculares nacionais, que prevêem o acompanhamento e a avaliação do próprio curso, e não apenas do processo de ensino-aprendizagem -, sentiu-se a necessidade de ampliar o modelo adotado, de forma a dar conta da avaliação do curso como um todo.

Era preciso ampliar o foco e envolver novos atores que, na concepção do currículo integrado, passam a ter maior importância no processo de formação do médico. A formatura da primeira turma reforçou ainda mais a necessidade de conhecer os resultados da nova proposta curricular. Com base na experiência acumulada, a partir de 2003 implantou-se o Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)¹, cujos princípios se encontram em consonância com o Sistema Nacional de Avaliação da Educação Superior proposto pelo MEC/Inep⁵.

UMA EXPERIÊNCIA LOCAL FRENTE À PROPOSTA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR: SIAMED X SINAES

Assim como previsto no Sinaes no que diz respeito à instituição como um todo, no SIAMed¹ estão presentes os mesmos objetivos em relação ao curso de Medicina: conhecer suas fortalezas e seus problemas; tratar da adequação do seu trabalho em relação às demandas sociais; e identificar o grau de envolvimento e compromisso de seus professores, estudantes e servidores, sempre tendo como meta o seu aprimoramento.

No Sinaes, como citado, prevê-se a avaliação da instituição (auto-avaliação e avaliação externa pelas comissões externas de avaliação institucional); a avaliação do curso (auto-avaliação e avaliação externa pelas comissões externas de avaliação de cursos); e a avaliação do desempenho dos estudantes (que será realizada mediante aplicação do Exame Nacional de Desempenho dos Estudantes - Enade).

Traçando um paralelo com o Sinaes, guardadas as proporções, no SIAMed¹ prevê-se a avaliação da escola (auto-avaliação e avaliação externa), a avaliação do curso (auto-avaliação e avaliação externa) e a avaliação do desempenho do estudante (aplicação do Teste de Progresso).

De acordo com as diretrizes estabelecidas pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) para o Enade⁶, o exame busca aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão ligados à realidade brasileira e mundial e a outras áreas do conhecimento, e será aplicado no início e no final de cada curso.

O Teste de Progresso aplicado no curso de Medicina da UEL (TPMed), desde 1998, tem por objetivos fornecer ao estudante uma avaliação longitudinal de seu progresso individual durante o curso e verificar a progressão da turma como um todo, ano a ano, e comparativamente em relação às demais turmas e ao desempenho de outras escolas médicas em exames de caráter geral, realizados no País⁷. Assim como previsto no Sinaes com a aplicação do Enade, a avaliação do desempenho dos estudantes no SIAMed¹ por meio do Teste de Progresso busca identificar o real valor agregado em sua formação, utilizando a mesma prova para avaliar distintas séries do curso. No caso do Enade, no início e no final dos cursos; no caso do TPMed, no final de todos os anos, da primeira à sexta série do curso.

No decorrer da implantação do currículo integrado, buscou-se construir um sistema de avaliação capaz de aprofundar os compromissos e responsabilidades sociais do curso. Trata-se, portanto, de um processo formativo que produz relações sociais de conhecimento, compreensão e julgamento do curso e da instituição, e que caminha na direção da proposta do Sistema Nacional de Avaliação da Educação Superior.

O MODELO DE AVALIAÇÃO¹

O modelo proposto, que considerou a experiência do Paiub e as bases conceituais do Sinaes, envolve todos os implicados no processo (estudantes, professores, gestores, técnicos, pesquisadores, instituição e sociedade), tendo como centro o cumprimento da finalidade essencial do curso: a formação humana, no sentido não só técnico e profissional, mas também social, ético e político. Sendo um processo democrático, exige participação e interação, e é constituído por ações articuladas e complementares, organizadas com intencionalidade essencialmente educativa, portanto, formativo e construtivo¹.

O SIAMed¹ engloba o conjunto das dimensões que compõem o curso e envolve todos os que participam do processo de formação do médico (estudantes, professores, funcionários, dirigentes, técnicos, profissionais de saúde, serviços de saúde, pacientes, comunidade, ex-alunos e sociedade civil organizada), possibilitando a identificação de suas potencialidades e fragilidades na opinião dos diversos segmentos envolvidos.

Tem por objetivo avaliar o curso de Medicina, englobando aspectos pedagógicos, estruturais e administrativos, visando ao estabelecimento de um plano de ação para o seu aprimoramento. O referencial para o novo modelo foram as Diretrizes Curriculares aprovadas em 2001 para o curso médico. A nova proposta, elaborada de forma a considerar as especificidades e a complexidade do currículo integrado, é composta de três fases de desenvolvimento: (a) avaliação interna; (b) avaliação externa; (c) reavaliação.

a) Avaliação interna

Consiste no levantamento e organização dos dados quantitativos e qualitativos do curso, com a participação efetiva das comunidades interna (estudantes, professores e funcionários) e externa local (profissionais da saúde, serviços de saúde, pacientes, lideranças comunitárias, ex-alunos). Isto resulta num conjunto estruturado de informações, que possibilita a construção coletiva de um retrato fiel e atualizado do curso. Cada uma das nove dimensões avaliadas é composta por indicadores que, analisados a partir de três estágios possíveis de desenvolvimento (descritores do indicador), bem como à luz dos resultados dos demais instrumentos de avaliação já aplicados, resultam na avaliação interna do curso:

• Dimensão I - Projeto político-pedagógico.

• Dimensão II - Desenvolvimento da abordagem pedagógica e processo de ensino-aprendizagem.

• Dimensão III - Desenvolvimento das práticas nos cenários de ensino-aprendizagem.

• Dimensão IV - Desenvolvimento do corpo docente.

• Dimensão V - Desenvolvimento do corpo discente.

• Dimensão VI - Desenvolvimento do corpo técnico-administrativo.

• Dimensão VII - Infra-estrutura.

• Dimensão VIII - Desenvolvimento da gestão.

• Dimensão IX - Acompanhamento dos egressos

Procedimentos metodológicos

O processo de avaliação interna, iniciado em 2003, foi coordenado pela Comissão de Avaliação (CAVMed) e envolveu todos os segmentos que atuam no curso, direta ou indiretamente. O Sistema Integrado de Avaliação (SIAMed)^** congregou todas as ações avaliativas em andamento e introduziu novos instrumentos de avaliação, por meio dos quais se tornou possível conhecer a opinião de cada segmento sobre o conjunto de dimensões que compõem o curso de Medicina. As etapas da avaliação foram desenvolvidas de forma integrada, com uso de métodos quantitativos e qualitativos.

Para realizar as novas etapas introduzidas na Avaliação Interna, foram utilizados diversos instrumentos, construídos a partir dos indicadores das dimensões que compõem a avaliação do curso. A escolha dos instrumentos se deu em função dos diferentes níveis de envolvimento dos atores no curso. Durante os anos de 2003 e 2005, foram coletados os dados quantitativos e qualitativos com a participação da comunidade interna e externa local.

Coleta de dados

Para cada segmento envolvido, de acordo com suas especificidades, foram definidos os instrumentos. Apresenta-se na seqüência a descrição do processo de coleta de dados.

Reuniões de avaliação do curso

As reuniões de avaliação foram realizadas com uso do método de construção coletiva de consenso, adotado por Rifkin⁸, a partir da análise da matriz do curso construída coletivamente. Esta apresenta três níveis dos descritores de cada um dos indicadores, contemplando todas as dimensões da avaliação interna. Os níveis dos descritores representam o estágio em que se encontra o indicador: o nível 1 caracteriza um curso mais conservador, voltado para o modelo hospitalocêntrico; o nível 2, um curso intermediário, que introduz mudanças; e o nível 3, um curso inovador, voltado ao atendimento das diretrizes curriculares da área. A matriz é preenchida em conjunto com base nas impressões de cada um a respeito do curso e em informações, dados e apreciações já disponíveis⁹.

Durante a discussão, o grupo deve classificar cada aspecto entre os níveis de 1 a 3, construindo sua opinião sobre o curso. É importante esclarecer que, quanto mais próxima do grau 3 estiver a pontuação sobre determinado aspecto, mais de acordo com as diretrizes curriculares o mesmo se encontra.

Cabe ressaltar que, nas reuniões de avaliação, o objetivo foi realizar um estudo qualitativo, buscando a representatividade dos segmentos envolvidos (professores, estudantes, funcionários, lideranças institucionais, ex-alunos e lideranças comunitárias) para a validação dos resultados, ao invés de se buscar a participação numérica.

Questionários de avaliação do curso

Complementando as reuniões, os objetivos da coleta de dados por meio de questionário foram: ampliar as oportunidades de participação de cada um dos segmentos envolvidos e detalhar/aprofundar os tópicos abordados nas reuniões, garantindo, desta forma, um retrato mais fidedigno da realidade do curso de Medicina.

Os questionários, elaborados especificamente para cada grupo de atores (professores, estudantes, funcionários, residentes e ex-alunos), contêm questões abertas e fechadas, que envolvem as dimensões relativas a cada segmento e utilizam a escala de Likert (de 1 a 5) para as perguntas fechadas, sendo o (1) péssimo ou inadequado, e o (5) excelente ou muito adequado.

A aplicação dos questionários se deu para o universo de todos os segmentos (professores, estudantes, lideranças institucionais, funcionários e ex-alunos).

Entrevistas

O objetivo da realização de entrevistas foi obter a participação dos Serviços de Saúde no processo de avaliação do curso, no caso, entrevistando os dirigentes dos hospitais locais - Hospital Evangélico de Londrina, Santa Casa de Londrina, Mater Dei, Hospital Infantil, Hospital Zona Norte e Hospital Zona Sul - e lideranças da Secretaria Municipal de Saúde - secretário municipal de Saúde, Departamento de Ações de Saúde, Departamento de Serviços Especiais e Coordenação do Programa de Saúde da Família.

Considerando os cargos que ocupam, entendeu-se que a entrevista seria a forma mais apropriada para ouvir a opinião dos Serviços de Saúde locais sobre o curso. A entrevista foi semi-estruturada, e o roteiro incluía questões sobre aspectos positivos e negativos do curso, percepção geral dos serviços sobre o curso e sugestões para o seu aprimoramento.

Reuniões de avaliação do desenvolvimento das competências voltadas à relação médico/paciente/família/comunidade, na formação/atuação dos estudantes

O objetivo das reuniões de avaliação com a comunidade externa local foi obter a percepção dos coordenadores e médicos das Unidades Básicas de Saúde (UBS) que atuaram nos Módulos de Interação Ensino, Serviços e Comunidade sobre o desempenho dos estudantes, enquanto profissionais em formação.

A coleta de dados foi realizada por meio das reuniões de avaliação, buscando o consenso dos participantes a respeito dos aspectos relacionados à atuação na UBS e ao atendimento prestado aos pacientes.

Questionários de avaliação do desenvolvimento das competências relativas à relação médico/paciente/família/comunidade na formação/atuação dos estudantes

Para complementar a avaliação do curso, considerou-se importante conhecer a opinião da comunidade interna e externa local sobre o desempenho dos estudantes enquanto profissionais em formação. A coleta de dados foi realizada por meio de questionários respondidos por pacientes atendidos no Ambulatório do Hospital das Clinicas (AHC), profissionais de saúde (médicos e enfermeiros) que atuam no Hospital Universitário (HU) e na Maternidade Municipal Lucilla Ballalai (MMLB) e preceptores do internato médico.

Os questionários continham questões relativas ao desempenho dos estudantes nas consultas e no atendimento hospitalar, enquanto integrantes de uma equipe multidisciplinar.

Tratamento e análise dos dados

Para o tratamento e análise dos dados qualitativos, também foi utilizada a metodologia de Rifkin⁷ a partir de uma matriz de três níveis (objetivos, dimensões e indicadores) que pretendeu analisar o cumprimento dos objetivos do curso, com base nos dados relativos às dimensões, resultantes da classificação dos indicadores por cada segmento envolvido.

De acordo com a metodologia adotada, a partir da coleta, cada grupo tem a sua opinião sobre o curso. Os resultados são representados por gráficos - um para cada dimensão e um contendo todas as dimensões, na opinião daquele segmento.

Na seqüência, foi feita a sobreposição dos gráficos, o que permitiu a comparação da opinião de cada grupo, em cada uma das dimensões; ou, ainda, no conjunto das dimensões, o que representa a totalidade do curso.

Os dados das questões fechadas dos questionários foram tabulados e analisados com uso do programa Epidata. Num primeiro momento, utilizou-se a análise da distribuição das respostas por escore, da escala de Likert, de acordo com cada segmento, verificando-se o padrão de respostas por indicador e segmento. Num segundo momento, para comparar as diversas percepções dos segmentos envolvidos, calculou-se a média dos escores por questão de cada segmento, e, posteriormente, fez-se uma análise comparativa entre eles.

A sistematização dos resultados foi realizada por meio dos cruzamentos entre os resultados obtidos, e entre os dados qualitativos e quantitativos, de acordo com os indicadores e com as dimensões de análise.

Observou-se a riqueza dos resultados apresentados por cada um dos métodos utilizados no SIAMed¹. O cruzamento dos dados coletados nas reuniões de avaliação e pelos questionários e entrevistas permitiu um olhar mais abrangente e, ao mesmo tempo, mais próximo da realidade do curso.

b) Avaliação externa

Representa um exame de fora para dentro da instituição. É complementar à auto-avaliação e deve ser realizada a partir de sua consolidação junto à comunidade interna, ouvindo pares de outras instituições, lideranças, organizações e demais representações da sociedade organizada sobre o conjunto de informações que representam a totalidade do curso. Aqui estão inclusos os demais mecanismos de avaliação e/ou controle, propostos pelos governos estadual e federal, bem como por programas de fomento:

• Avaliação por pares da comunidade científica pertencentes a outras instituições de ensino superior, de reconhecida capacidade técnica e ampla compreensão da formação de recursos humanos na área da Saúde.

• Avaliação por representantes da sociedade organizada (conselhos, serviços de saúde, associações profissionais, empregadores e representantes da sociedade).

• Sinaes: Exame Nacional do Desempenho do Estudante (Enade) e Avaliação dos Cursos de Graduação (ACG).

• Promed, Pro-Saúde e outras propostas de avaliação do Ministério da Saúde.

• Propostas de avaliação da Secretaria de Ensino Superior, Ciência e Tecnologia do Estado do Paraná (Seti/PR).

• Programa de Apoio e Acompanhamento da Fundação Kellogg.

A avaliação externa foi realizada a partir dos resultados da avaliação interna, e, de acordo com cada segmento que seria ouvido, definiram-se os instrumentos. Foram utilizados questionários, análise de relatórios e documentos, visitas in loco, com acompanhamento de comissão externa, e participação em Exame Nacional.

O processo de avaliação externa foi iniciado em 2004 com a participação dos estudantes do curso no Enade. Participaram 156 estudantes, entre ingressantes e concluintes. A avaliação do curso (ACG) prevista no Sinaes até o momento não foi realizada pelo Inep/MEC.

Em 2005, foi realizada a avaliação externa por iniciativa do Colegiado do curso, que encaminhou convite às seguintes instituições para comporem a comissão:

• Associação Brasileira de Educação Médica (Abem).

• Secretaria de Estado de Ciência, Tecnologia e Ensino Superior do Paraná (Seti/PR).

• Programa de Incentivo a Mudanças Curriculares nos Cursos de Medicina do Ministério da Saúde (Promed/MS).

• Conselho Regional de Medicina.

• Conselho Municipal de Medicina.

Apenas a Seti/PR não indicou representante. Os membros da comissão receberam o relatório da avaliação interna e demais documentos a respeito do curso, tais como o Projeto Pedagógico, Relatórios das Comissões de Apoio e Relatório do V Fórum do Curso. Esse material foi entregue um mês antes da visita à UEL, para conhecimento e análise dos resultados preliminares do processo de avaliação.

Em visita ao curso de Medicina, em maio de 2005, os membros da Comissão participaram de reuniões com coordenadores e docentes do curso, com docentes responsáveis pelos estágios do interna to e com estudantes de todos os anos do curso. Assistiram a uma reunião de grupo tutorial e visitaram laboratórios, salas de aula, biblioteca, o hospital universitário e outras instalações utilizadas pelo curso.

Com base na análise dos relatórios e nas observações feitas durante a visita, a Comissão Externa emitiu parecer sobre cada uma das dimensões do curso, tendo como parâmetro uma sólida formação geral do médico, conforme preconizado pelas Diretrizes Curriculares.

Conclusões da avaliação interna e externa

O Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)¹ possibilitou identificar as potencialidades e fragilidades do curso na visão de todos os segmentos envolvidos na formação do futuro médico, no período de 2003-2005. Participaram do processo interno 1.115 pessoas, entre professores, estudantes, funcionários técnico-administrativos, lideranças institucionais, ex-alunos, lideranças comunitárias, pacientes, profissionais de saúde e serviços de saúde.

Os resultados completos da avaliação interna, com as análises por segmento e por instrumento, encontram-se no Relatório da Avaliação Interna¹⁰, elaborado em conjunto com o Grupo de Trabalho do SIAMed¹ constituído pelo Colegiado do curso de Medicina da UEL. A avaliação externa foi realizada por membros da academia, de instituições governamentais, de associação nacional ligada à educação médica e da sociedade civil organizada. Os resultados completos da avaliação externa encontram-se no Relatório da Comissão Externa¹¹.

Após três anos de levantamentos, estudos e reflexões, pode-se dizer que se obteve um diagnóstico completo do curso. A percepção dos participantes permitiu uma visão abrangente e aprofundada, considerando os aspectos pedagógicos, estruturais e administrativos do curso em todas as suas dimensões. A partir da matriz de avaliação, construída coletivamente, que teve como referência as Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e permite uma análise do que se espera de um curso de Medicina de qualidade, constata-se que os resultados indicam que o curso está no caminho certo, mas também apontam suas fragilidades.

Quando se pensa no conjunto, o curso foi bem avaliado pela comunidade interna e externa. De modo geral, todas as dimensões, algumas mais outras menos, tiveram bom desempenho, na opinião das categorias envolvidas. Entretanto, quando são analisados indicadores em especial, atividades em separado ou questões específicas do processo de ensino-aprendizagem, os resultados são mais críticos e indicam a necessidade de mudanças.

Em linhas gerais, a partir da avaliação interna, a comissão externa concluiu que o projeto pedagógico do curso é inovador e que está de acordo com as Diretrizes Curriculares. Há planejamento do curso, gestão e avaliação continuadas. O método adotado nos quatro primeiros anos estimula o desenvolvimento da autonomia intelectual, o trabalho em equipe, a busca e a visão crítica das informações e o desenvolvimento de habilidades e atitudes. Há uma visão biopsicossocial e uma formação ética e de responsabilidade social. A inserção dos alunos na comunidade, em vários momentos do curso, é, também, um dos pontos fortes. A Comissão considerou que o projeto político-pedagógico deve ser continuado, sempre submetido a avaliações, para identificação e correção de problemas.

Os resultados referem-se aos dados coletados por meio de reuniões de avaliação, questionários e entrevistas, e ao parecer da comissão externa, numa abordagem quantitativa e qualitativa. Além disso, foram utilizados todos os documentos produzidos pelas comissões de apoio do Colegiado do curso, preceptoria do internato e estudantes. Estes resultados já vêm subsidiando o trabalho do colegiado e das comissões de apoio desde 2003.

b) Reavaliação e meta-avaliação

Visa à retomada crítica do processo desenvolvido a partir dos resultados das avaliações interna e externa, com vistas à tomada de decisões, em busca do aperfeiçoamento do curso, mediante o desenvolvimento das seguintes etapas:

• Discussão dos processos internos e externos no âmbito da comunidade acadêmica.

• Reflexão sobre as potencialidades e as fragilidades do curso, identificadas a partir dos processos avaliativos.

• Encaminhamento de propostas de mudança, tendo como pano de fundo o passado avaliado e o futuro projetado para o curso.

• Reexame das práticas avaliativas e adequação do sistema de avaliação.

Os resultados do SIAMed¹, bem como o acompanhamento sistemático da avaliação do processo de ensino-aprendizagem, foram objeto de discussão nas devidas instâncias acadêmicas e administrativas, com a participação de todos os envolvidos, e ainda no Fórum Anual do Curso de Medicina, que conta com a participação de professores, estudantes e gestores. A partir daí, foi possível refletir sobre uma visão de conjunto da evolução do curso e da percepção de todos a respeito dos pontos falhos e dos pontos positivos, permitindo que o mesmo seja constantemente debatido e aperfeiçoado.

Os relatórios da avaliação do curso foram encaminhados a todos os Departamentos envolvidos e ao Centro Acadêmico, para conhecimento e análise. Foram objeto de discussão nas reuniões da Comissão de Avaliação e da Comissão Organizadora do V Fórum do Curso, para análise mais detalhada e preparação das propostas de mudança que seriam debatidas no Fórum.

Os resultados do processo de avaliação do curso, realizado durante 2003 e 2005, e as sugestões do V Fórum do Curso, realizado em novembro de 2003, indicaram a necessidade de várias adequações no projeto pedagógico do curso, que vão desde a melhoria da infra-estrutura até a reformulação do internato, passando pela revisão de conteúdos, de procedimentos e processos. A gestão do curso estava convencida da necessidade e da oportunidade das mudanças, entendendo que superavam em muito as dificuldades e as eventuais incompreensões decorrentes das transformações. No VI Fórum, realizado em novembro de 2005, a comunidade interna deu mais um passo importante, consolidando o processo de mudança e aprovando as propostas que seriam assumidas pelo Colegiado para a necessária correção de rumos.

A proposição do Colegiado naquele momento foi de que algumas mudanças pontuais poderiam ser implementadas com as deliberações do Colegiado Pleno em torno do projeto pedagógico que se encontrava em vigência. Outras, por exigirem análises mais profundas e mais tempo de discussão, para permitir a efetiva participação dos professores e estudantes diretamente envolvidos, seriam tratadas nos próximos anos, na perspectiva de revisão e/ou reformulação do currículo integrado¹².

O IMPACTO DO PROCESSO AVALIATIVO NO CURSO DE MEDICINA DA UEL

Inicialmente, para desenvolver a proposta de avaliação do curso de Medicina da UEL, pensou-se em realizar uma pesquisa participativa, que envolveria de forma representativa todos os atores que fazem parte dessa realidade, a fim de aprimorá-la.

Essa modalidade de investigação sofre muitas críticas quanto ao status de cientificidade e quanto à fragilidade teórica de suas experiências. Entretanto, cumpre uma função estratégica na área de educação e de gestão, sobretudo no campo da avaliação institucional, em especial nos processos de auto-avaliação e avaliação externa¹³.

Do ponto de vista metodológico, analisando-se os procedimentos adotados no SIAMed¹, cumpriram-se todas as etapas desse tipo de investigação, segundo Minayo¹³:

• Inter-relação de grupos com saberes diferenciados.

• Formulação de um quadro teórico referente ao problema para o qual se busca solução.

• Participação dos integrantes do processo em todas as fases de desdobramento do projeto.

• Socialização de todas as discussões sobre os dados.

• Construção, em conjunto, de planos de ação, permitindo enfrentar e resolver com metas de curto, médio e longo prazo os problemas diagnosticados.

Embora com a proposta de uma pesquisa participativa, desde o início pensou-se em combinar métodos quantitativos e qualitativos para atender à complexidade do objeto de estudo, garantindo a consistência dos resultados da avaliação. Como todo o processo era voltado para a construção das propostas de mudanças, entendidas como necessárias para aprimorar o curso, a idéia era que os grupos responsáveis pelas ações, no desenvolvimento do processo, se apropriassem da compreensão dos dados coletados e, a partir destes, adquirissem os subsídios necessários à implementação das mudanças.

Analisando o processo, e com mais elementos sobre a fundamentação teórico-metodológica da pesquisa, percebe-se que o estudo se aproximou muito da abordagem de Triangulação de Métodos segundo a compreensão de Schutz apud Minayo¹³:

Uma dinâmica de investigação que integra a análise das estruturas, dos processos e dos resultados, a compreensão das relações envolvidas na implementação das ações e a visão que os atores diferenciados constroem sobre todo o projeto: seu desenvolvimento, as relações hierárquicas e técnicas, fazendo dele um construto.

Segundo Minayo¹³, além da integração objetiva e subjetiva nos processos de pesquisa, esta proposta inclui os atores contatados em campo, não apenas como objeto de análise, mas, principalmente, como sujeitos de auto-avaliação, uma vez que são introduzidos na construção do objeto de estudo.

A avaliação por triangulação de métodos qualitativos e quantitativos se baseia nas idéias de Kant (1980), que fundamentam a possibilidade de articular estudos de magnitude e de compreensão de forma complementar. Diante do objeto, a abordagem quantitativa e qualitativa produzirá a unidade sintética do múltiplo e do uno. Em torno do objeto, aprofundam-se as reflexões em busca de compreendê-lo e explicá-lo em suas múltiplas dimensões¹⁰.

Ainda segundo Minayo¹³, a proposta de triangulação depende de duas condições imprescindíveis: exigência de uma equipe formada por profissionais de várias áreas que desejam trabalhar cooperativamente e competência disciplinar de cada componente do grupo.

A equipe de estudo deve, num esforço dialógico, participar de todas as fases da investigação, desde a concepção até a apresentação dos resultados. Esse processo requer capacidade de discutir, diferenciar, relacionar teorias, conceitos, noções e métodos, tratados como fragmentos teóricos de uma abordagem mais ampla¹⁰.

Paradoxalmente, conservar a especificidade no diálogo inter ou transdisciplinar é essencial na combinação de métodos, daí a necessária segurança disciplinar do grupo, que irá permitir o aprofundamento teórico-metodológico em relação ao conhecimento do objeto.

Minayo¹³ também aponta que, além da articulação entre os opostos, os avaliadores precisam levar em conta alguns princípios básicos para trabalhar com a triangulação:

• A complexidade, destacando as relações (o todo contém as partes, a parte contém o todo, mas cada um possui características e propriedades específicas).

• A organização recursiva ou auto-organização a partir de elementos previsíveis ou não e por interferências internas ou externas, pensando interativamente (o papel de observador e de observado).

• O discursivo complexo, que comporta a associação entre conceitos e noções complementares e concorrentes, buscando combinar diferentes níveis de desenvolvimento teórico e prático das áreas disciplinares.

A triangulação de métodos valoriza a qualificação, mas compreende a qualidade como indicador e parte da qualidade dos fenômenos, dos processos, dos sujeitos sociais, marcados por estruturas, relações e subjetividade¹³.

Operacionalmente, a triangulação de métodos pode ser desenvolvida em sete passos:

1. Formulação do objeto ou da pergunta referencial que vai guiar o processo;

2. Elaboração dos indicadores;

3. Escolha da bibliografia de referência e das fontes de informação;

4. Constituição dos instrumentos para coleta primária e secundária das informações;

5. Organização e realização do trabalho de campo;

6. Análise das informações coletadas;

7. Elaboração do informe final.

Apesar de não conter todo o rigor científico, e ainda que não de forma intencional, o processo de avaliação do curso de Medicina desenvolveu os sete passos previstos na abordagem da triangulação de métodos.

Desde o início, a equipe formada para a realização da avaliação era multidisciplinar, envolvendo professores de várias áreas das ciências da saúde, professores com formação na área de avaliação e com formação na área de estatística.

A questão inicial que motivava a todos era a qualidade do curso, traduzida naquele momento na capacidade do currículo integrado em formar bons médicos. Naquele ano (2003), formava-se a primeira turma do novo currículo, e era preciso conhecer melhor o novo.

O processo de mudança encontrava-se em crise, e, antes de lutar por sua consolidação, era necessária uma ampla revisão do caminho trilhado até aquele momento. Era preciso rever a metodologia, os conteúdos, as práticas, os processos, a estrutura, a gestão, a capacitação, os cenários, as posturas, a avaliação, enfim, o modelo. Foi com esse propósito que se estruturou a proposta de avaliação.

Além do grupo central que coordenava o processo, houve o envolvimento de outros atores, alguns de modo mais efetivo, desde a concepção do projeto. A escolha do método, a abordagem, a estrutura dos instrumentos de avaliação, os indicadores, as fontes de informação, enfim, todas as propostas eram sempre discutidas com um grupo mais ampliado antes de serem colocadas em prática.

Finalizada a elaboração do projeto de avaliação, contendo seus princípios, objetivos, fases, planejamento das ações, crono-grama e proposta de utilização dos resultados, o projeto foi divulgado amplamente para todos os envolvidos no curso, como parte da etapa de sensibilização da comunidade interna para a realização da avaliação.

Para a construção dos instrumentos, especialmente da matriz de avaliação que embasava todo o projeto, houve a participação de um grupo significativo de docentes do curso, que interagiu de forma permanente com a coordenação, sugerindo, elaborando, criticando, trazendo contribuições teóricas e conceituais, testando e validando a proposta final de cada instrumento e do conjunto das ações.

Esse processo favoreceu muito a discussão sobre o curso. Pensar no que perguntar a cada grupo de atores para construir a sua percepção sobre o curso e pensar em como compreender cada uma dessas partes, que, somadas, deveriam representar o todo exigiu o conhecimento de todos os integrantes do grupo sobre tudo o que dizia respeito ao curso. Foi um exercício interessante, de troca de vivências e saberes, já que, por mais que cada um domine a sua parte no todo, muito pouco se conhece sobre as outras partes. Além disso, era necessário conhecer de outra forma, que permitisse a compreensão do olhar do outro sobre sua parte, sobre cada parte, sobre o todo e sobre a interação no todo.

A construção dos indicadores exigiu o conhecimento aprofundado sobre o projeto pedagógico do curso e sobre as diretrizes curriculares da Medicina. Mais do que isso, exigiu a compreensão dos processos e procedimentos acadêmicos, administrativos e operacionais utilizados no curso em todos os cenários:

a) Das metodologias e estratégias utilizadas no processo ensi-no-aprendizagem, desde a construção do conhecimento, passando por sua aplicação até a avaliação.

b) Das dinâmicas institucionais e dos serviços de saúde para entender como funciona a infra-estrutura física e de apoio.

c) Das políticas institucionais e dos programas de apoio que dão suporte ao curso em relação ao ensino, à capacitação, à pesquisa e pós-graduação, e à extensão.

e) Das relações entre academia, serviços e comunidade. Enfim, exigiu o conhecimento do universo que integra o curso de Medicina para além da proposta curricular.

Segundo Minayo¹⁴, a elaboração de indicadores é um momento de fundamental relevância para o grupo, já que permite alinhar conceitos que geralmente estão na cabeça dos vários participantes, mas não têm o mesmo significado para todos: "Nomeá-los e torná-los mais claros para todos permite um estreitamento interdisciplinar e até transdisciplinar, na medida em que esses conceitos se tornam unidades construídas coletivamente e sob vários ângulos de consideração."¹⁴

Essa fase também exigiu do grupo a compreensão coletiva da concepção de educação que permeia o processo de formação do curso, no qual conceitos como competências, habilidades, currículo integrado, interdisciplinaridade, integração básico-clínico, integração entre academia e serviços, educação permanente, mundo do trabalho, humanização e cidadania, entre outros, dizem muito mais do que o significado literal das palavras e, quando transformados em práticas, produzem sentidos.

Para poder captar esse universo, era preciso construir instrumentos que fossem capazes de traduzir a pluralidade do curso e, ao mesmo tempo, suas especificidades; que fossem amplos sem ser genéricos; e que favorecessem o olhar interno e o olhar externo, o olhar acadêmico e o olhar comunitário.

Daí a escolha da abordagem qualitativa e quantitativa, na tentativa de dar conta da complexidade do processo. Foram construídos questionários específicos para cada segmento:

a) Questionários sobre o curso como um todo, para lideranças institucionais, docentes, estudantes, funcionários, residentes, ex-alunos e profissionais de saúde dos serviços.

b) A matriz de avaliação que contemplava todas as dimensões do curso e era preenchida nas reuniões de avaliação que favoreciam as discussões com cada segmento, de acordo com sua atuação no curso, incluindo, além dos segmentos citados, as lideranças comunitárias.

A organização do trabalho de campo também contou com a participação de mais docentes, funcionários e estudantes, estes mais na segunda etapa do projeto, inclusive participando de forma institucionalizada, a partir do credenciamento do projeto de avaliação como projeto de ensino na universidade.

Desde o início, foi adotada a estratégia de produzir informes avaliativos com o objetivo de informar a comunidade interna sobre as etapas realizadas, dando transparência ao processo, mantendo a avaliação sempre em foco e motivando a participação permanente dos atores envolvidos. Além dos informes, foram utilizadas faixas para divulgar as reuniões de avaliação, bem como matérias de divulgação, algumas publicadas na mídia impressa local, e outras, no boletim informativo do curso, o medicin@.

De acordo com Minayo¹⁴, num processo avaliativo, merece relevância a dinâmica de comunicação de resultados. "Durante o trabalho ou ao final dele é preciso valorizar a comunicação de informações, que permita gerar mudanças, corrigir rumos, potencializar ações e intervenções e constituir um aprendizado para todos."

Além de professores, estudantes e funcionários do curso, foram envolvidas todas as Comissões de Apoio ao Colegiado do curso, o Centro Acadêmico, os Departamentos, as demais instâncias institucionais, as lideranças institucionais, a associação médica local, ex-alunos, profissionais dos serviços de saúde da região, lideranças comunitárias, os Conselhos Municipal e Estadual, associações nacionais, pares de outras instituições, órgãos de fomento e órgãos de controle.

Ainda assim percebia-se que muitos atores da comunidade interna não se envolviam. A rotina cotidiana da universidade não favorece a interação. Espaços físicos distantes, excessiva carga de trabalho didático para docentes e discentes, o trabalho nos hospitais, as tarefas administrativas acumuladas com os projetos de ensino, de pesquisa, de extensão, o trabalho na pós-graduação, a cobrança por produção acadêmica, a cobrança de bons resultados nas provas - tudo isto faz parte de uma dinâmica muito rica que passa a sensação de uma integração efetiva, mas que não acontece na prática.

Na área da saúde, isto se agrava quando consideramos o mundo do trabalho, onde a grande maioria dos docentes é, antes de tudo, médico e atua em seus consultórios, em clinicas, em hospitais, tendo uma dupla jornada de trabalho. Essas questões já interferem no desenvolvimento do curso, que, desde a implantação do currículo integrado, prescindia de uma dedicação muito maior, principalmente do corpo docente.

Essa questão se explicita ainda mais num processo de avaliação participativo, que requer o envolvimento efetivo dos atores, sem que deixem de executar suas demais atividades, o que exige dedicação extra. Pode-se dizer que a avaliação contou com a representação significativa dos segmentos, mas também se pode afirmar que uma parcela importante não se envolveu em momento algum. Entre uma atividade e outra, a avaliação ficava em segundo plano.

O período da coleta de dados foi muito interessante, em particular as reuniões de avaliação, que movimentaram o curso. Elas foram transformadas em agradáveis momentos de interação e, entre outras coisas, serviram para reforçar o quanto esses momentos são importantes. Também aproximaram pessoas que há muito não se relacionavam ou que nem mesmo se conheciam.

De outra parte, como essa não era uma prática constante, nem sempre as pessoas se sentiam à vontade para expressar suas opiniões. Apesar de ter sido feito um esforço de sensibilização sobre os objetivos da avaliação e de ter ficado claro desde o início a que fins serviriam os resultados, alguns se mostravam receosos de explicitar as questões consideradas mais críticas.

Em relação aos questionários, foi obtido um retorno significativo de todos os segmentos, exceto dos ex-alunos que o curso teve muitas dificuldades em contatar. O distanciamento dos ex-alunos e a ausência de um cadastro atualizado foram uma das primeiras constatações do processo de avaliação.

Na fase seguinte, de sistematização e tratamento dos dados, o que mais demandou a equipe central foi a categorização e a sistematização das respostas às questões abertas dos questionários. Isto precisava ser feito por quem entendia do assunto e estava envolvido no processo, sob pena de não compreender a essência das respostas, das críticas e/ou sugestões. Como o volume era grande, foi preciso um esforço extra e o envolvimento de mais pessoas. Este foi mais um momento intenso de troca de olhares e de percepções, que fortaleceu o processo de avaliação.

O acerto da escolha da conjugação de dados quantitativos e qualitativos se revelou à medida que os consensos obtidos nas reuniões de avaliação iam sendo confirmados nas estatísticas resultantes dos questionários aplicados separadamente em cada um dos segmentos. Ao mesmo tempo, aquilo que ficava indefinido na classificação do curso em determinado nível era mais bem explicado nos depoimentos encontrados nas questões abertas.

Outro esforço foi necessário na análise dos resultados: era preciso interpretar a sistematização, os gráficos, as tabelas e os cruzamentos destes de forma a retratar com precisão a opinião dos envolvidos e, em seguida, fazer uma síntese para que os extensos relatórios se transformassem em interessantes informes avaliativos.

Foi mais um momento rico em troca de olhares, experiências e, principalmente, convivência, já que nesse período a equipe se concentrou no trabalho para cumprir o cronograma. Eram dias, noites, madrugadas e finais de semana dedicados ao SIAMed¹. Como proposto desde o início, a avaliação interna deveria estar concluída e seus resultados organizados e divulgados a tempo de subsidiar as discussões que ocorreriam durante o V Fórum do Curso, em novembro de 2003. O projeto de avaliação fazia parte da estratégia de consolidação das mudanças introduzidas a partir da implementação do currículo integrado e que estavam sendo questionadas, em função das resistências internas e das dificuldades inerentes a um processo de mudança.

Conhecer melhor os problemas e se organizar para superá-los, ainda que dessa forma as fragilidades do novo currículo se explicitassem, foi a escolha da gestão do curso naquele momento. Era preciso enfrentar a questão, fosse para avançar, fosse para retroceder. Até então, apesar de manter em andamento algumas iniciativas de avaliação, o novo currículo estava sendo acompanhado de forma empírica e desorganizada.

A avaliação realizada naquele período superou essa questão. Além de resgatar, integrar e sistematizar todas as informações relativas aos inúmeros estudos e levantamentos internos e externos disponíveis até aquele momento,introduziu novos elementos, ouviu outros atores e documentou o processo, aprofundando a compreensão do curso como um todo, ampliando e, ao mesmo tempo, sintetizando e analisando as informações que subsidiaram a comunidade interna para decidir sobre os novos rumos.

A consulta feita à comunidade interna respaldava o enfrentamento da questão central que permeava as discussões acadêmicas em torno do currículo integrado: retornar a uma proposta curricular tradicional ou se manter na proposta inovadora com metodologias ativas de ensino? Os resultados da avaliação, indicando o bom desempenho do curso, mais do que confirmaram que era um caminho sem volta. Mostraram claramente à comunidade interna aquilo que externamente era visível: os avanços do novo currículo na formação do médico, acompanhando as tendências de mudança da educação médica.

A partir do V Fórum¹⁵, que aprovou a manutenção do projeto pedagógico em vigor e assumiu o desafio de corrigir os problemas identificados, o currículo integrado saiu fortalecido. Enfim, seria possível tratar os problemas num contexto mais favorável, onde estes passariam a ser entendidos como oportunidades de correção de rumos e não como obstáculos para impedir que se avançasse na construção da mudança.

Isso não significava que as coisas iam bem, e a gestão do curso soube compreender o momento. Apesar de não abalarem a concepção do novo currículo, como alguns acreditavam, muitos eram os problemas identificados, e não se podia protelar as decisões tomadas no V Fórum¹⁵. As propostas de mudança aprovadas se pautaram nas fragilidades identificadas no processo de avaliação e sugeriam o enfrentamento de questões essenciais que envolviam, além da coordenação do curso, a administração do Centro de Ciências da Saúde e da Universidade.

O Relatório do V Fórum¹⁵, com as propostas de mudança, foi encaminhado a todas as instâncias administrativas envolvidas no curso para que se pudesse avançar no processo de tomada de decisão.

Cabe destacar aqui a importância do cuidado no uso dos resultados da avaliação e na implementação das decisões tomadas. Toda avaliação útil, ética e tecnicamente adequada, acompanha o desenrolar de uma proposta e subsidia a correção de rumos e a reorienta-ção de estratégias de ação. Seu sentido ético alia-se a seu valor técnico e de responsabilidade social¹⁴.

Seguiu-se, então, uma nova fase, em que se desenvolveram as demais etapas previstas no SIAMed: avaliação externa e acompanhamento da implementação das mudanças aprovadas.

Nessa segunda etapa, o processo de avaliação arrefeceu consideravelmente. Não mais com uma consultoria e pessoal de apoio permanentes, mas sob a coordenação da Comissão de Avaliação do Curso (Cavmed), que tem várias outras atribuições, em especial quanto à avaliação do processo de ensino-aprendizagem do curso, as tarefas do SIAMed¹ foram relegadas a segundo plano. De forma natural, havia de se esperar que, com a superação do momento de crise, ainda que de forma temporária, os atores mais envolvidos tivessem que retomar suas outras funções na gestão do curso, sob pena de criarem novos problemas se não atendessem as demandas sob sua responsabilidade.

Para se efetivarem, as propostas de mudança aprovadas no V Fórum dependiam da ação desses mesmos atores. Mais uma vez, ficou explícito o pequeno número de docentes comprometidos com as mudanças do currículo integrado, que exigem mais tempo e dedicação. E, como as demais ações não podiam deixar de ser realizadas, o cronograma do processo de avaliação foi sendo adiado.

Continuou havendo uma participação importante da coordenação do processo de avaliação, bem como dos setores e segmentos envolvidos mais diretamente naquele momento, mas insignificante no universo do curso. Manteve-se a produção dos informes avaliativos, mas em volume bem menor: foram 17 informes referentes à produção da primeira etapa da avaliação (agosto a novembro de 2003) e apenas 5 informes no período subseqüente (dezembro de 2003 a agosto de 2004)¹⁶.

A nova coordenação do Colegiado do curso tentou imprimir um ritmo à comissão de avaliação para manter a periodicidade bimensal dos informes, mas isso só se deu até agosto de 2004. Em função do acúmulo de tarefas do grupo gestor, apenas no final de 2004 é que foi possível estruturar a avaliação externa, concluindo os instrumentos de avaliação dirigidos à comunidade externa local (questionários sobre o desempenho dos estudantes para os profissionais de saúde e questionários para os pacientes) e propondo um novo cronograma para a realização da visita da comissão externa.

A avaliação realizada nesse segundo momento repercutiu muito pouco nos demais espaços do curso. E isto apesar do envolvimento de novos participantes na aplicação dos questionários à comunidade externa local (profissionais de saúde do AHC, do HU, das UBS, da Maternidade Municipal e demais hospitais dos serviços de saúde do município, e pacientes atendidos pelos estudantes dos módulos de interação ensino, serviços e comunidade e do internato), no início de 2005, e do movimento positivo que causou principalmente no AHC e no HU com a participação voluntária das assistentes sociais, dos pacientes e de seus familiares.

A sistematização e a análise dos resultados da segunda etapa mobilizaram novamente o grupo central, o pessoal de apoio e alguns docentes, mas a retomada do processo se deu por ocasião da elaboração do relatório final, essencial à realização da avaliação pela Comissão Externa. Nesse momento, foram necessárias novas análises, novas reflexões e novas sínteses de forma a integrar todas as ações num só documento que pudesse retratar o processo avaliativo e traçar um diagnóstico do curso.

A eficácia da avaliação externa, para Dias Sobrinho¹⁷, está ligada às condições produzidas no momento anterior, ou seja, em grande parte depende da qualidade, utilidade e pertinência dos dados de base, ou ainda das condições que essa organização fatual apresenta para que sejam interpretadas e transformadas em juízos de valor e proposição operacionais.

Agentes externos colocam seus conhecimentos técnicos, suas experiências e suas competências éticas a serviço da melhoria das estruturas e dos processos do universo avaliado com a vantagem de oferecerem uma visão complementar não muito banhada das tensões do cotidiano e nas relações de poder daquela determinada universidade.¹⁷

A comissão externa teve uma atuação importante, não só visitando instalações, mas participando de atividades, ouvindo as pessoas, fortalecendo o diálogo e a troca de experiências.

Entre outras coisas, a vinda da comissão foi salutar para reforçar a necessidade de aprofundar a avaliação do internato do curso. Muitas questões haviam sido apontadas nos resultados da avaliação interna, mas existia grande dificuldade em enfrentá-las. Desde a implantação do currículo integrado, o internato, considerado modelo por grande parte do corpo docente, era tratado como uma questão à parte, como se não precisasse de mudanças para se adequar à nova concepção da educação médica presente no novo currículo. Dadas as resistências internas, foi-se protelando o debate sobre a separação entre as quatro primeiras séries e o internato, e sobre a urgente necessidade de se reavaliar o modelo, ainda muito centrado no hospital.

Essas questões foram enfatizadas pela Comissão Externa e favoreceram o reconhecimento da fragilidade pela comunidade interna, dando respaldo à gestão do curso para avançar na avaliação do internato, com desdobramentos importantes.

O curso foi muito bem avaliado no relatório final da Comissão Externa, confirmando os resultados da avaliação interna. Isto foi muito bem recebido pela comunidade acadêmica, considerando a representatividade dos membros da Comissão na educação médica e nas políticas de saúde tanto regionais quanto nacionais. A reafirmação viria depois com os resultados obtidos pelos estudantes do curso no Exame Nacional de Desempenho, o Enade, um dos componentes da avaliação externa na perspectiva do Sinaes, em comparação com outras escolas médicas.

Dando seqüência ao processo, elaborou-se o informe final com a consolidação dos resultados da avaliação interna e da avaliação externa. A Edição Especial dos informes avaliativos foi publicada em agosto de 2005, exatamente quando o processo de avaliação completava dois anos.

Naquele momento, estavam em andamento os preparativos do VI Fórum do curso, realizado em novembro de 2005. De posse das informações coletadas no decorrer da implantação do currículo integrado, dos resultados do processo de avaliação e com base em diálogos com professores e estudantes, o coordenador do curso elaborou uma Coletânea de Pré-Propostas¹⁸, que, após incluídas as sugestões da comunidade interna, embasou as discussões do VI Fórum e propiciou a revisão do processo avaliativo.

CONSIDERAÇÕES FINAIS

Os resultados desse rico processo, amplamente discutidos e aprovados pela comunidade interna, foram traduzidos em propostas de ação que passaram a integrar os Planos de Ação da Comissão Executiva e das Comissões de Apoio do Colegiado para o biênio subseqüente (2006-2008), fortalecendo o processo de mudança vivenciado pelo curso.

Olhando para trás e considerando, segundo Minayo¹⁴, "a avaliação um processo inacabado, no qual o ponto final provisório obedece a uma lógica de gestão da instituição que executa a intervenção", esses dois anos de intenso vigor avaliativo nada mais foram do que mais uma das etapas vivenciadas por um curso de graduação que exige um repensar permanente.

A avaliação institucional realizada permitiu a revisão do passado, o realinhamento do presente e a correção de rumos para o futuro. E deixou a certeza de que dela não se pode prescindir se o que se pretende é uma formação profissional de qualidade e que atenda aos anseios da sociedade contemporânea.

Dessa maneira, a avaliação se instaura como um pôr em foco os significados da qualidade da ação educativa e um processo gerador da possibilidade de melhora pedagógica a partir do envolvimento dos agentes do trabalho educativo. Conceber, assim, a avaliação resulta de uma outra visão de educação e, então, de sociedade.¹⁹

Recebido em: 10/07/2007

Reencaminhado em: 06/10/2008

Aprovado em: 07/01/2008

Conflitos de Interesse Declarou não haver.

• ¹
  Universidade Estadual de Londrina, Colegiado do Curso de Medicina. Sistema Integrado de Avaliação do Curso de Medicina da UEL - SIAMed. Londrina: Universidade Estadual de Londrina/Colegiado de Curso de Medicina; 2003.
• ²
  Comissão Interinstitucional Nacional de Avaliação do Ensino Médico (CINAEM). Avaliação do ensino médico no Brasil: relatório geral 1991-1997. Brasília: CINAEM; 1997.
• 3. Perim G, Sakai M, Almeida M, Marchese M. Sistema Integrado de Avaliação do Curso de Medicina da UEL: SIAMed. Avaliação: Revista da Rede da Avaliação Institucional da Educação Superior. 2005;10(10):135-169.
• ⁴
  Universidade Estadual de Londrina. Colegiado do Curso de Medicina. Coletâmia de Pré-proposta para o VI Fórum do Curso de Medicina da UEL. Londrina: Universidade de Londrina/Colegiado de Medicina: Paraná; 2005.
• ⁵
  Brasil, Ministério da Educação, Secretaria do ensino Superior (SESU), Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). SINAES - Sistema nacional de avaliação da educação superior. Brasília: MEC; 2003.
• 6. Brasil. Ministério de Educação. Diretrizes do Enade de 6 de agosto de 2004. Diário Oficial da União, Brasília, 9 de Agosto de 2004.
• ⁷
  Universidade Estadual de Londrina.Colegiado do Curso de Medicina. Projeto Político -Pedagógico do Curso de Medicina da UEL-PPPMed.Londrina: Universidade Estadual de Londrina/Colegiado de Curso de Medicina; 2004.
• 8. Rifkin SB, Muller F, Bichmann W. Primary health care: on measuring participation. Soc Sci Méd. 1988; 26(9):931-940.
• 9. Lampert J. Tendências de mudanças na formação médica no Brasil. Tipologia de escolas. São Paulo, Rio de Janeiro: HUCITEC/ABEM; 2002.
• ¹⁰
  Universidade Estadual de Londrina. Avaliação Interna do Curso de Medicina da UEL, 2003-2005. Sistema Integrado de Avaliação do Curso de Medicina da UEL - SIAMed. Colegiado do Curso de Medicina da UEL. Centro de Ciências da Saúde. Universidade Estadual de Londrina. 2005.
• ¹¹
  Universidade Federal de Londrina. Relatório da Avaliação Externa: parecer da Comissão Externa de Avaliação do Curso de Medicina da UEL. Universidade Federal de Londrina: Londrina; 2005. Disponível em: www.ccs.uel.br/medicina/siamed/informe24.pdf [Acesso em: 15 Abril de 2005]
• ¹²
  Universidade Estadual de Londrina. Colegiado do Curso de Medicina. Instrumento de Auto-avaliação dos Cursos de Graduação. Mecanismo Experimental de Credenciamento - MEXA - dos Cursos de Medicina, no âmbito do Setor Educacional do Mercosul, coordenado pelo Ministério da Educação. Londrina: Universidade Estadual de Londrina/Colegiado de Curso de Medicina; 2005.
• 13. Minayo C. O Desafio do Conhecimento; pesquisa qualitativa em saúde. 9.ed. São Paulo: HUCITEC; 2006.
• 14. Minayo MCS. Conceito de Avaliação por triangulação de métodos. In: Minayo MCS, Assis SG, Souza ER, organizadores. Avaliação por Triangulação de Métodos: abordagem de Programas Sociais. Rio de Janeiro: Editora Fiocruz; 2005. p.19-51.
• ¹⁵
  Universidade Estadual de Londrina. Colegiado do Curso, Centro de Ciências da Saúde. Relatório do V Fórum do Curso de Medicina da UEL. Londrina: UEL; 2003.
• 16. Informes Avaliativos do SIAMed. Colegiado do Curso de Medicina da UEL. Centro de Ciências da Saúde 2003-2005. Disponível em www.ccs.uel.br/informes/informes.asp [Acessado em: 1 Abril de 2007]
• 17. Dias Sobrinho J. Funcionamento e modos sociais da Avaliação Institucional. Avaliação. Rev. Rede de Avaliação Institucional da Educação Superior 1998; 3(1):65-76.
• ¹⁸
  Universidade Estadual de Londrina .Coletânea de Pré-Propostas para o VI Fórum do Curso de Medicina da UEL. Colegiado do Curso. Centro de Ciências da Saúde. Londrina: UEL; 2005.
• 19. Dias Sobrinho J. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular; 2002.

*

Os autores deste artigo participaram do Grupo de Trabalho que coordenou o processo de avaliação do curso de Medicina da UEL no período 2003-2005.

**

SIAMed – Sistema Integrado de Avaliação do Curso de Medicina da UEL, Colegiado do Curso, Centro de Ciências da Saúde - UEL. Londrina, 2003 - O Projeto de Avaliação do Curso desenvolvido entre 2003 e 2005 contou com o apoio do Programa de Incentivo as Mudanças Curriculares no Ensino Médico - PROMED do Ministério da Saúde.

Datas de Publicação

• Publicação nesta coleção
  19 Jun 2008
• Data do Fascículo
  Jun 2008

Histórico

• Aceito
  07 Jan 2008
• Recebido
  10 Jul 2007