Avaliação de programa: a experiência da UFSCar no curso de Medicina

Program evaluation: the experience at the UFSCar School of Medicine

RELATO DE EXPERIÊNCIA

Avaliação de programa: a experiência da UFSCar no curso de Medicina

Program evaluation: the experience at the UFSCar School of Medicine

Roseli Ferreira da Silva; Marcelo Marcos Piva Demarzo; Sílvia Helena Zem Mascarenhas; Sissi Marília dos Santos Forghieri Pereira

Universidade Federal de São Carlos, São Carlos, SP, Brasil

^{Endereço para correspondência}

RESUMO

Relata-se a experiência do Grupo de Avaliação de Programa, instituído pelo curso de Medicina da UFSCar por este considerar a avaliação uma atividade permanente e constituinte do processo de ensino-aprendizagem. O grupo tem por finalidade acompanhar o processo de implementação do curso, tornando visíveis avanços e dificuldades, visando à promoção de ações para melhorar processos, produtos e resultados do currículo. Assim, a avaliação constitui um poderoso instrumento de gestão acadêmica. Neste caso, a avaliação de programa é composta prioritariamente pela avaliação sistemática e sistematizada das unidades educacionais e do desempenho de professores e preceptores do curso. Todos os instrumentos aplicados aos estudantes, professores e preceptores são analisados pelo grupo, que produz relatórios de avaliação e, em alguns casos, pesquisas de avaliação que se ancoram na triangulação de métodos.

Palavras-chave: Avaliação. Avaliação de curso. Gestão acadêmica.

ABSTRACT

This article reports on the experience by the Program Evaluation Group established by the UFSCar School of Medicine, where evaluation is considered an on-going process and an integral part of the teaching-learning process. The group aims to monitor the course implementation process, highlighting the gains and difficulties, in order to implement measures to improve the curriculum's processes, products, and results. Evaluation thus becomes a powerful academic management tool. In this case, the program evaluation consists mainly of systematic and systematized evaluation of the academic departments and the course faculty and preceptors' performance. All the instruments applied to students, faculty, and preceptors are analyzed by the group, which produces evaluation reports and in some cases evaluation studies based on methodological triangulation, recommending linkage between multiple perspectives, information sources, and methods.

Keywords: Evaluation. Course evaluation. Academic management.

CONTEXTO

A Universidade Federal de São Carlos (UFSCar) é uma instituição pública federal de ensino superior, vinculada ao MEC, que teve seu curso de Medicina criado em 2005. Como justificativas para a autorização, foram considerados, principalmente¹, o papel estratégico das universidades, em especial as de caráter público para o desenvolvimento do País; a celebração da parceria entre a Prefeitura Municipal de São Carlos e a UFSCar para a constituição da Rede de Saúde Escola e desenvolvimento do curso de Medicina; e a proposição de um projeto político-pedagógico inovador, voltado à formação orientada por competência e segundo uma abordagem educacional construtivista.

O curso de Medicina da UFSCar visa formar profissionais médicos, enfatizando a formação geral, humanista, ética, crítica e reflexiva, orientada por competência e segundo uma abordagem construtivista do processo ensino-aprendizagem e com a avaliação referenciada em critérios de excelência. Visa à articulação ensino-pesquisa-extensão pela participação de estudantes e professores na prestação de cuidados qualificados à saúde, nos diferentes cenários e serviços da Rede de Saúde Escola, à luz dos princípios da universalidade, equidade e integralidade, pela participação de preceptores vinculados aos serviços de saúde na formação dos estudantes, e pela construção de novos saberes voltados à melhoria da saúde das pessoas e, por extensão, da qualidade de vida da sociedade¹.

O curso de Medicina está estruturado em três ciclos educacionais: Integralidade do Cuidado I: primeiro e segundo anos letivos; Integralidade do Cuidado II: terceiro e quarto anos letivos; Integralidade do Cuidado III: quinto e sexto anos letivos (internato).

Cada ciclo é organizado por três unidades educacionais: unidade educacional de Simulação da Prática Profissional, unidade educacional de Prática Profissional e unidade educacional Eletiva. As unidades educacionais oferecidas a todos os estudantes são longitudinais e complementares, sendo estruturadas a partir dos desempenhos esperados para os estudantes nos cenários utilizados para o desenvolvimento da prática profissional. As unidades eletivas são organizadas a partir do interesse de cada estudante, desde que aprovadas pelo docente orientador e coordenador do ciclo, à luz das diretrizes do curso.

As áreas de competência definidas para a atuação médica do egresso do curso de Medicina da UFSCar foram: Saúde (subáreas: "cuidado às necessidades individuais de saúde" e "cuidado às necessidades coletivas de saúde"); Gestão (subáreas: "organização do trabalho em saúde" e "gestão do cuidado"); e Educação¹.

AVALIAÇÃO DE CURSO: CONTEXTO ATUAL BRASILEIRO E MUNDIAL

Criado em 2004, o Sistema Nacional de Avaliação da Educação Superior (Sinaes) ² é formado por três componentes principais - a avaliação das instituições, dos cursos e do desempenho dos estudantes -, como também por todos os aspectos que giram em torno desses três eixos: o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações e vários outros aspectos, sempre à luz das Diretrizes Curriculares Nacionais (DCN)³.

O Sinaes vai ao encontro das diretrizes mundiais mais recentes para a avaliação dos cursos de Medicina. Segundo a Federação Mundial de Educação Médica (WFME), são componentes indispensáveis na melhoria da educação médica a autoavaliação institucional, a avaliação externa e a consultoria de especialistas⁴.

Ainda, a WFME propõe algumas questões disparadoras que poderiam auxiliar as escolas médicas na avaliação de seu programa curricular, como, por exemplo: como a escola médica avalia seu programa?⁴ Existe um grupo que, independentemente, monitoriza a informação sobre o desempenho e os resultados, garantindo que as dificuldades identificadas sejam levadas em conta pelo órgão apropriado? Que tipos de dados de avaliação estão sendo recolhidos? Como a escola médica recolhe, analisa e usa as opiniões dos docentes e discentes acerca de seu programa educacional? Como a escola médica motiva individualmente os docentes e discentes a participar das atividades de avaliação e do subsequente desenvolvimento do programa?

A AVALIAÇÃO CURRICULAR NO CURSO DE MEDICINA DA UFSCAR

Neste contexto do Sinaes e da WFME, e por considerar a avaliação uma atividade permanente e constituinte do processo de ensino-aprendizagem, o curso de Medicina da UFSCar institucionalizou a Avaliação do Currículo e constituiu um grupo de trabalho denominado Grupo de Avaliação. Desta forma, a finalidade deste grupo é acompanhar o processo de implementação do curso, tornando visíveis avanços e dificuldades, visando à promoção de ações de modo a melhorar processos, produtos e resultados do currículo⁵.

Esta avaliação constitui um poderoso instrumento de gestão acadêmica, pois as informações e análises produzidas sobre o desenvolvimento curricular - principalmente pelo currículo prescrito, que é aquele que se pratica de fato na vivência educacional - apoiam a construção permanente do curso. Este sistema de avaliação é composto por três dimensões: o desenvolvimento das atividades curriculares; o desempenho do conjunto de estudantes; e o desempenho dos professores.

A avaliação é critério-referenciada, tanto para o desempenho dos estudantes e professores, como para o desenvolvimento das unidades educacionais. Isto significa que o perfil de competência e os critérios de excelência para cada ciclo e ano letivo dos estudantes, e, ainda, o perfil de competência dos professores, descritos no projeto pedagógico do curso, são utilizados como referências, a partir das quais se compara e avalia o desempenho observado de cada um.

O desempenho do professor deve ser avaliado pelos estudantes considerando-se a capacidade de mediar e favorecer o processo ensino-aprendizagem e de apresentar atitudes coerentes com o seu papel. As unidades educacionais são avaliadas tanto por estudantes como por professores e preceptores¹.

A avaliação do estudante critério-referenciada favorece a colaboração, desestimula a competição entre os estudantes e estabelece um diálogo com grande profundidade educacional entre professores e educandos. O conhecimento dos parâmetros de referência permite que os estudantes conheçam os desempenhos considerados satisfatórios (critérios de excelência) em cada área de competência, orientando sua aprendizagem e o acompanhamento de sua progressão ao longo da formação¹.

AVALIAÇÃO DE PROGRAMA

A avaliação de programa na educação surgiu nos Estados Unidos a partir da necessidade de saber como funcionavam os currículos escolares, buscando identificar como as atividades realizadas atingiam os resultados esperados e não apenas mensurá-los⁶.

As necessidades de avaliação estão geralmente relacionadas à identificação de problemas e outras situações verificadas no processo de implantação de um programa. Desta forma, ocorre para verificar se o programa está atingindo os objetivos e metas propostos, de acordo com as estratégias traçadas, devendo ser a avaliação considerada um processo dinâmico e contínuo. Para isto, devem se utilizar procedimentos sistemáticos e aplicação de critérios e métodos da pesquisa científica⁷.

Neste sentido, Weiss apud Calmom⁸ define avaliação como uma atividade com o propósito de medir os efeitos de um programa em relação aos objetivos propostos, contribuindo para a tomada de decisões e aperfeiçoamentos futuros. Nesta mesma direção, Vedung⁹ define avaliação como um mecanismo para verificar e explicar a implementação, os resultados e o alcance de políticas e programas públicos a fim de gerar decisões. De forma mais ampliada, Guba e Lincoln¹⁰ sustentam que a avaliação deve ir além da aplicação de métodos da pesquisa científica e inserir diversos aspectos humanos, políticos, sociais, culturais e contextuais que envolvem todo o processo. Já Rossi e Freeman¹¹ definem avaliação como a aplicação sistemática de métodos de pesquisa científica para identificar a conceituação, design, implementação e utilidade de programas de intervenção social. No entanto, parece existir um consenso de que a avaliação implica um juízo de valor sobre determinada situação, ou seja, avaliar significa verificar se os objetivos inicialmente propostos foram atingidos e também como ocorreu esse processo, para subsidiar a tomada de decisões a partir da análise de determinada realidade.

Numa avaliação de programa, sempre deve ser explicitado o objeto que será avaliado, ou seja, suas propostas, ações programáticas, metodologias e os profissionais envolvidos, entre outros¹².

Com a finalidade de investigar como um programa está funcionando, deve se incluir a observação das diferentes etapas, dos processos e das estratégias utilizadas para atingir os resultados propostos, procurando uma articulação dos meios com os fins. Desta forma, esse tipo de avaliação não está centralizado nos resultados, mas, sim, nos processos. Portanto, é mais utilizado na fase de implementação de um programa, pois tem como foco os aspectos relacionados com a formação do programa, seus processos e mecanismos de execução¹³.

É nesta perspectiva que o grupo de avaliação de programa do curso de Medicina da UFSCar trabalha e, assim, pretende não somente verificar a efetividade do curso, como também observar a implementação do curso de acordo com seu planejamento inicial. Este curso está em processo de implantação e tem características totalmente inovadoras, constituindo uma verdadeira transformação curricular para a formação do profissional médico. Vale ressaltar que estas transformações estão em consonância com as diretrizes curriculares nacionais.

GRUPO DE AVALIAÇÃO DE PROGRAMA DO CURSO DE MEDICINA DA USFCAR

A fim de implementar e desenvolver o sistema de avaliação do curso de Medicina, foi constituído um grupo de trabalho composto por professores do Departamento de Medicina e professoras do Departamento de Enfermagem com interesse nesta área.

Este grupo vem desenvolvendo atividades que têm promovido a capacitação técnica de seus membros, ao mesmo tempo em que passa a produzir relatórios e pesquisas, que visam subsidiar prioritariamente a gestão do currículo e a reflexão coletiva sobre seu desenvolvimento. O grupo tem como pressupostos de trabalho os seguintes pontos, construídos pelos próprios membros a partir da reflexão sobre sua função e organização:

√ A avaliação deve atender às necessidades internas do curso, sem perder de vista a necessidade de responder às demandas de avaliação externa, tanto no âmbito da própria universidade como no âmbito nacional, de maneira articulada com o Sistema Nacional de Avaliação do Ensino Superior (Sinaes);

√ A avaliação deve ser subsidiada por diversos atores, olhares e fontes de informação;

√ O processo de avaliação deve ser estimulado e compartilhado com todos os envolvidos, sendo papel do grupo de avaliação de programa difundir esta cultura e apoiar tecnicamente os atores;

√ A avaliação deve ser realizada nas perspectivas quantitativa e qualitativa, e abordar processos, produtos e resultados;

√ O plano de avaliação do programa deve ser construído e/ou validado pelo conjunto de atores envolvidos;

√ Os resultados da avaliação devem ser disponibilizados em tempo adequado, permitindo cumprir suas principais finalidades, que são: promover a reflexão sobre a prática educativa (numa perspectiva predominantemente formativa) e subsidiar a tomada de decisões na gestão pedagógica e técnico-administrativa;

√ O processo de avaliação deve garantir o anonimato da identidade dos informantes;

√ A sistemática de avaliação deve ser objeto de autoavaliação e de avaliação externa;

√ O trabalho do grupo de avaliação de programa deve estar pautado no método científico para a produção e divulgação de conhecimento.

Organização do Trabalho

Os membros do grupo de avaliação se reúnem semanalmente para cumprir o plano de trabalho proposto no início de cada ano letivo. Em geral, este plano é constituído pelos seguintes objetivos:

√ Promover a construção coletiva do Plano de Avaliação do curso, que tem também um caráter de formação em avaliação;

√ Validar os formatos de avaliação propostos pelas unidades educacionais;

√ Elaborar análises quantitativas sobre o desenvolvimento de todas as atividades curriculares do curso;

√ Elaborar análises qualitativas sobre o desenvolvimento das atividades curriculares segundo prioridades estabelecidas em conjunto com os gestores (responsáveis por atividades curriculares e coordenação do curso), considerando os resultados das análises quantitativas;

√ Acompanhar os fluxos de produção, coleta e organização de informações;

√ Apoiar os grupos de trabalho das atividades curriculares na análise dos relatórios produzidos;

√ Divulgar os relatórios produzidos sob a forma de informes ou relatórios técnicos;

√ Apoiar atividades de formação dos professores e estudantes em avaliação, tanto em oficinas de trabalho como em atividades de Educação Permanente, conforme a demanda;

√ Produzir e divulgar trabalhos científicos.

A avaliação de programa é composta prioritariamente pela avaliação das unidades educacionais e pela avaliação do desempenho de professores e preceptores do curso, realizada de forma sistemática e sistematizada.

Estas avaliações são sistematizadas em instrumentos predefinidos, que abrangem as dimensões quali e quantitativa da avaliação, instrumento este denominado formato de avaliação. Estes são preenchidos uma ou duas vezes por semestre, dependendo da atividade curricular, ano e ciclo.

Todos os instrumentos aplicados aos estudantes, professores e preceptores que compõem a avaliação de programa são analisados pelo grupo. Desta forma, são produzidos os relatórios de avaliação e, em alguns casos, pesquisas de avaliação. Em ambas as produções, são trabalhadas tanto as dimensões qualitativas como a quantitativa. A pesquisa de avaliação desenvolvida se ancora na triangulação de métodos, que preconiza a articulação entre múltiplas perspectivas, informações e métodos¹⁴.

No que se refere à articulação entre os métodos quantitativo e qualitativo, parte-se do princípio de que a quantidade é uma dimensão da qualidade do social e dos sujeitos, marcados em suas estruturas, relações e produções pela subjetividade herdada enquanto cultura¹⁵. Para isto, envolve-se a articulação de diferentes ancoragens metodológicas e também o diálogo de pesquisadores de formações científicas diferenciadas, realizando uma perspectiva dialógica e um esforço mútuo de comunicação entre os distintos saberes¹⁶.

O desempenho do professor, no papel de facilitador de aprendizagem, é avaliado pelos estudantes considerando-se a capacidade de mediar e favorecer o processo ensino-aprendizagem e de apresentar atitudes coerentes com o seu papel. A avaliação das unidades educacionais é realizada tanto por estudantes quanto por professores e preceptores, considerando tanto os aspectos organizacionais como o desenvolvimento da atividade.

Os formatos são entregues na secretaria do curso em periodicidade pertinente a cada atividade curricular, sendo opcional a identificação nominal. Desta forma, os formatos são constituídos em mosaicos, pelos textos escritos pelos estudantes nos formatos de avaliação, com anonimato preservado, e assim são enviados ao grupo de avaliação para serem trabalhados.

Esta avaliação em processo tem o sentido de avaliação formativa pelo retorno que possibilita em tempo útil aos programas e tem por finalidade "guiar as atividades em andamento e prover as informações necessárias para mudar o foco ou redirecionar as metas do programa, em reposta ou em antecipação às mudanças no alvo do programa"¹⁷(p.111). Neste sentido, o processo corresponde ao uso de determinados recursos (neste caso, recursos pedagógicos) na produção de atividades (curriculares), e sua análise indica "como o sistema realmente funciona" (formação do profissional médico).

CONSIDERAÇÕES FINAIS

Desde que foi constituído, em agosto de 2006, este grupo de avaliação de programa sistematizou vários formatos de avaliação sobre as atividades educacionais, segundo a perspectiva dos estudantes e professores, e formatos de avaliação do desempenho dos facilitadores e preceptores de aprendizagem, segundo a perspectiva dos estudantes. A partir desta sistematização foram produzidos relatórios de avaliação, que foram disponibilizados aos gestores e atores envolvidos na implementação do currículo.

Os relatórios de avaliação foram discutidos pelos diferentes atores que constroem o curso. Estas discussões foram realizadas tanto em momentos mais reservados como em momentos coletivos, tais como: no próprio grupo de avaliação; no grupo gestor do currículo; no Conselho de Coordenação do curso; com os professores e preceptores de cada uma das unidades educacionais; e em encontros de avaliação do curso de Medicina. Estes encontros ocorrem anualmente com a participação de estudantes, professores, gestores do currículo e preceptores da Rede Escola de Cuidados de Saúde de São Carlos, que tiveram como propósito, a partir dos relatórios, refletir sobre o desenvolvimento do curso, seus avanços e desafios, assim como propor ações de superação, levando em conta o projeto pedagógico do curso.

Todo este movimento tem contribuído para uma reflexão contínua acerca do currículo, possibilitando um verdadeiro processo de crítica, análise, revisão e reformulação de atividades e estratégias, em tempo oportuno e em processo. Assim, o curso atua numa dimensão formativa da avaliação e esta se torna um poderoso instrumento de gestão acadêmica, na medida em que se difunde e constrói a cultura de avaliação, que se desenvolve e se justifica para apoiar a tomada de decisões e incentivar ações baseadas em evidências.

Recebido em: 20/09/2009

Reencaminhado em: 11/11/2009

Aprovado em: 22/11/2009

CONTRIBUIÇÃO DOS AUTORES

Todos os autores participaram da elaboração do artigo, sendo que, Marcelo contribuiu na elaboração do contexto do artigo; Silvia contribuiu com a revisão da literatura e na elaboração do texto sobre a avaliação de programa; Roseli e Sissi contribuíram com o texto sobre a avaliação de programa na UFSCar; ainda, Roseli contribuiu na concepção e desenho e na redação e revisão final do artigo.

CONFLITO DE INTERESSES

Declarou ao haver.

• ¹
  Universidade Federal de São Carlos. Centro de Ciências Biológicas e da Saúde. Coordenação da Graduação em Medicina. Caderno do Curso de Medicina. São Carlos: UFSCar; 2007.
• ²
  Brasil. Ministério da Educação. Gabinete do Ministro. Portaria MEC n.º 2.051. Brasília, 09 de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei no 10.861, de 14 de abril de 2004. Diário Oficial da União. Brasília, 12 jul. 2004; Seção 1, v. 139, n. 132, p. 12.
• ³
  Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES nº4 de 7 de novembro de 2001. Institui diretrizes curriculares nacionais do curso de graduação em Medicina. Diário Oficial da União. Brasília, 9 nov. 2001; Seção 1, p.38.
• ⁴
  World Federation for Medical Education. Basic Medical Education WFME Global Standards for Quality Improvement. Denmark: WFME Office, University Copenhagem; 2003.
• 5. Universidade Federal de São Carlos. Centro de Ciências Biológicas e da Saúde. Coordenação da Graduação em Medicina. Plano de trabalho: grupo de avaliação de programa. São Carlos: UFSCar; 2007.
• 6. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saude Coletiva. 2001;6(1)165-81.
• 7. Calmon KMN. A avaliação de programas e a dinâmica da aprendizagem organizacional. Planej Polít Públicas [periódico na internet]. 1999 [acesso em 08 jan. 2008]; 19. Disponível em: http://www.ipea.gov.br/pub/ppp/ppp19.html .
• 8. Calmon KMN. A avaliação de programas e a dinâmica da aprendizagem organizacional. Planej Polít Públicas. [on line] 1999. 19 [acesso em 08 jan. 2008]; Disponível em: http://www.ipea.gov.br/pub/ppp/ppp19.html .
• 9. Verdung E. Modelos de evaluación. Revista de Servicios Sociales y Política Social. Madrid, 2ş trim. 1993. In:Calmon, K.M.N. A avaliação de programas e a dinâmica da aprendizagem organizacional. Planejamento e Políticas Públicas. [on line] 1999. 19 [acesso em 08 jan. 2008]; Disponível em: http://www.ipea.gov.br/pub/ppp/ppp19.html
• 10. Guba E, Lincoln Y. Fourth generation evaluation. In: Calmon, K.M.N. A avaliação de programas e a dinâmica da aprendizagem organizacional. Planejamento e Políticas Públicas. [on line] 1999. 19 [capturado 08 jan. 2008]; Disponível em: http://www.ipea.gov.br/pub/ppp/ppp19.html
• 11. Rossi P, Freeman H. Evaluation: a systematic approach. In: Calmon, K.M.N. A avaliação de programas e a dinâmica da aprendizagem organizacional. Planejamento e Políticas Públicas. [on line] 1999. 19 [capturado 08 jan. 2008]; Disponível em: http://www.ipea.gov.br/pub/ppp/ppp19.html
• 12. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública. 2000;34 (5):547-59.
• 13. Cavalcanti MMA. Avaliação de políticas públicas e programas governamentais: uma abordagem conceitual. Interf Saberes [periódico na internet]. 2006 [acesso em 08 jan. 2008]; 6(1). Disponível em: http://interfacesdesaberes.fafica.com/seer/ojs/include /getdoc.php?id=34&article=24&mode=pdf
• 14. Gomes R, Souza ER, Minayo MCS, Silva CFR. Organização, processamento, análise e interpretação de dados: o desafio da triangulação. In: Minayo MCS, Assis SG, Souza ER, org. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz; 2005. p.185-221.
• 15. Minayo MCS, Sanchez O. Quantitativo-qualitativo: oposição ou complementaridade? Cad Saúde Pública. 1993;9(3):239-48.
• 16. Deslandes SF. Humanização dos cuidados em saúde: conceitos, dilemas e práticas. Rio de Janeiro: Fiocruz; 2006.
• 17. Stenzel, ACB. A temática da avaliação no campo da saúde coletiva: uma bibliografia comentada. Campinas; 1996. Mestrado [Dissertação] - Universidade Estadual de Campinas.

Datas de Publicação

• Publicação nesta coleção
  06 Jan 2011
• Data do Fascículo
  Set 2010

Histórico

• Recebido
  20 Set 2009
• Aceito
  22 Nov 2009