Auto-avaliação nos programas de pós-graduação na área da saúde coletiva: características e limitações

Self-assessment in graduate public health programs: characteristics and constraints

TEMAS LIVRES FREE THEMES

Auto-avaliação nos programas de pós-graduação na área da saúde coletiva: características e limitações

Self-assessment in graduate public health programs:characteristics and constraints

Virginia Alonso Hortale; Carlos Otávio Fiúza Moreira

Escola Nacional de Saúde Pública, Fiocruz. Av. Leopoldo Bulhões 1.480/ 5° andar, Manguinhos. 21041-210 Rio de Janeiro RJ. [e-mail]

RESUMO

O artigo objetiva discutir as características e limitações da avaliação interna ou auto-avaliação dos programas de pós-graduação stricto sensu da área de Saúde Coletiva. Para tanto, realizou-se um estudo com base em relatórios de 25 programas que participaram da avaliação trienal (2001-2003) da CAPES. Para fins de análise, levou-se em consideração a explicitação de três aspectos: (a) instrumentos e/ou procedimentos utilizados; (b) processo de auto-avaliação e (c) produto desse processo. Os resultados mostraram que os procedimentos usados nos programas são variados e usados de forma assistemática. Quanto aos processos desencadeados para alcançar os produtos, na maioria dos programas não ficou explicitado como eles ocorrem, pois os produtos informados nem sempre têm relação direta com os processos desenvolvidos e com a melhoria da qualidade do programa. Discute-se a importância de fazer da auto-avaliação um instrumento de crítica e de tomada de decisões. Sugere-se a implementação de estruturas básicas de funcionamento, dentre elas: grupo de trabalho e equipe de coordenação do processo de avaliação interna; participação efetiva dos integrantes da instituição; compromisso dos dirigentes e do corpo de professores; informações confiáveis; utilização efetiva dos resultados obtidos.

Palavras-chave: Educação Superior, Programas de pós-graduação em Saúde Coletiva, Auto-avaliação.

ABSTRACT

The purpose of this paper is to discuss the characteristics and constraints of internal appraisals or self-assessments in Graduate Public Health Programs, conducted through a study of the report on 25 programs participating in the three-year CAPES evaluation (2001-2003). Three main aspects were considered: (a) tools and/or procedures employed; (b) self-assessment procedures; (c) products for upgrading program quality. The findings indicate that different tools are employed and used improperly. For most of the programs, it is not clear how ongoing processes take place, as the products presented are not directly related to the process as performed and the program quality assurance procedures. The importance of self-assessment is discussed as a tool for exploring the possibilities and boundaries of a process or an institution, as well as for taking decisions. A suggestion is presented: setting up a basic structure with working groups and a self-assessment coordination team; real participation and commitment among staff members and decision-makers; reliable data with effective use of the findings.

Key words: Higher education, Graduate public health programs, Self-assessment.

Introdução

Na educação superior do Brasil, a área da pós-graduação stricto sensu tem dado bons exemplos no que diz respeito à construção e implementação de processos de avaliação institucional. Mesmo considerando as variações na conjuntura política por que tem passado o país, há um bem-sucedido sistema de avaliação em funcionamento desde 1976. Esse sistema segue os padrões internacionais, em que a avaliação por pares acadêmicos e a auto-avaliação institucional fazem parte da metodologia, tendo como unidade de referência o programa de pós-graduação, e não a Instituição de Ensino Superior (IES).

A Coordenação de Aperfeiçoamento de Pessoal do Ensino Superior (CAPES), agência ligada ao Ministério da Educação, responsável pela avaliação trienal dos programas de pós-graduação, tem utilizado um instrumento-padrão composto pelos seguintes quesitos: proposta do programa; corpo docente; atividade de pesquisa; atividade de formação; corpo discente; teses e dissertações e produção intelectual. Cada quesito se subdivide em critérios, para fins de medição, com pesos que variam conforme a área de conhecimento.

Nosso objeto de estudo, a auto-avaliação do programa, aparece como um dos itens que compõem o quesito "Proposta do Programa". Na avaliação trienal de 2001, observadores internacionais perceberam que esse componente, importante instrumento para o aperfeiçoamento dos programas de pós-graduação, não é priorizado^1,2. A auto-avaliação pode ser considerada a primeira etapa do processo da avaliação institucional, e, de acordo com Nunes³, é a palavra-chave para a conquista da qualidade nas IES. Ela consiste na "reflexão sobre os objetivos e os processos do educar e na busca da conscientização, da responsabilidade e do comprometimento de professores e funcionários na aplicação de processos do educar para conquistar qualidade".

O objetivo deste artigo é discutir as características e limitações da avaliação interna ou auto-avaliação dos programas de pós-graduação stricto sensu da área de Saúde Coletiva, esperando com isso contribuir para o aperfeiçoamento dos mecanismos de avaliação voltados para a melhoria da qualidade dos programas de pós-graduação.

Metodologia

Identificamos no portal da CAPES⁴ vinte e cinco programas de Saúde Coletiva que participaram da avaliação trienal de 2001-2003. Destes, três obtiveram o conceito 6; cinco obtiveram o conceito 5; cinco obtiveram o conceito 4 e doze obtiveram o conceito 3. Em uma escala que vai de 3 a 7, os programas com conceito acima de 4 são credenciados para oferecer cursos de mestrado e doutorado.

Nossa intenção não é de apresentar um perfil detalhado dos programas dessa área, mas tão somente sistematizar as principais características da auto-avaliação implementada. Todos os documentos disponíveis estavam no formato pdf. Para realizar a busca com a palavra-chave "avaliação", utilizamos a ferramenta "pesquisa". Das várias ocorrências, selecionamos os conteúdos que correspondiam ao termo "auto-avaliação". Encontramos o maior número de conteúdos correspondentes a esse termo no item "Proposta do Programa – auto-avaliação (P-PG12)" e na "Ficha de auto-avaliação".

Na seleção dos conteúdos, para fins de análise, levamos em consideração a explicitação de três aspectos: (a) instrumentos e/ou procedimentos utilizados; (b) processo de auto-avaliação e (c) produto desse processo visando a melhoria da qualidade do programa. Cada programa foi numerado para fins de descrição de suas características. Tais características foram sintetizadas nos Quadros 1, 2, 3 e 4.

Principais características da auto-avaliação nos programas

Observamos no Quadro 1, referente aos programas com conceito 6, que, dos três programas, dois utilizam os mesmos instrumentos/procedimentos. No entanto, seus processos são diferenciados. Um dos programas informa realizar reuniões mensais com o colegiado e reuniões anuais com todos os docentes e discentes, enquanto no outro, as reuniões com o colegiado são mensais e, com todos os docentes e discentes, semestrais. Em um dos programas, não há descrição explícita de auto-avaliação no período, e os outros dois programas não informam quais os produtos das reuniões voltados para a melhoria da sua qualidade.

No Quadro 2, referente aos programas com conceito 5, os instrumentos/procedimentos são semelhantes aos dos programas com conceito 6. Em relação ao processo, com exceção de um programa que fez comentários gerais sem informar se existem avaliações regulares, todos os outros informaram realizar desde "série de encontros", reuniões trimestrais do colegiado até seminário anual para avaliar os problemas existentes e buscar "estratégias de superação". Os produtos advindos dessas reuniões também foram variados: relatório técnico, revisão do programa para maior integração entre disciplinas até "definição da missão da faculdade e das metas".

No Quadro 3, referente aos programas com conceito 4, em nenhum deles os instrumentos/procedimentos utilizados são explicitados. No entanto, são descritos processos e apresentados produtos. Em dois programas, o processo é descrito da seguinte forma: "alunos sistematicamente avaliados..." e "coordenação se reúne periodicamente com os alunos". Nos outros três programas, apesar de informarem produtos, o processo pelo qual se chegou a eles não foi explicitado.

No Quadro 4, referente aos programas com conceito 3, os instrumentos/procedimentos utilizados são, regra geral, os mesmos utilizados nos programas de maior conceito, com variações na forma de apresentação e nos processos desencadeados. Estes vão desde reuniões semanais, mensais, trimestrais, após as disciplinas até "seminários periódicos". Há produtos explicitados que não estão diretamente relacionados à auto-avaliação, por exemplo, "mapa da universidade", "telefone de contato".

Podemos concluir que, de uma maneira geral, os instrumentos/procedimentos utilizados nos programas são variados. Quanto aos processos desencadeados para alcançar os produtos, ainda que sejam informadas reuniões regulares, não fica claro na maioria dos programas como eles ocorrem e se ocorrem, pois os produtos informados nem sempre têm relação direta com os processos realizados e com a melhoria da qualidade do programa.

A auto-avaliação que praticamos

Em abril de 2004, foi promulgada lei que institui o Sistema Nacional de Avaliação da Educação Superior – SINAES⁵. Sua finalidade é a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especificamente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.

O reconhecimento da diversidade do sistema e o respeito à identidade, à missão e à história das instituições são alguns dos princípios fundamentais do SINAES. Contudo, quiçá por ainda não haver um roteiro específico (em 2004, o Instituto Nacional de estudos e Pesquisas (INEP), do Ministério da Educação, tornou públicas algumas orientações gerais para a auto-avalição das instituições, como parte do SINAES) e critérios que orientem o preenchimento da auto-avaliação dos programas de pós-graduação, observamos na avaliação trienal de 2001-2003 uma considerável variação de interpretações sobre o termo. Assim, a auto-avaliação aparece associada a seminários, reuniões, encontros, oficinas pedagógicas, comissões de seleção, relatos do funcionamento dos programas, preenchimento de questionários, estratégias qualitativas, etc.

No relatório de um dos programas, encontramos, por exemplo, a seguinte descrição do funcionamento de um seminário, um procedimento privilegiado entre os vários referidos acima, para se efetivar a avaliação interna ou auto-avalição: Neste seminário realizamos uma reflexão e avaliação aprofundada na compreensão dos participantes sobre os problemas existentes; idem sobre as estratégias adotadas e uma avaliação sobre os comentários/sugestões e críticas realizadas no último ano em cada um dos itens e indicadores da avaliação considerados pela CAPES. Neste buscamos soluções e alternativas na busca da excelência do programa. E o produto de tal seminário foi "um relatório técnico, político e estratégico com as principais linhas de ação e de programação específica de ações e atividades para o próximo ano".

Conforme descrição acima das características da auto-avaliação nos programas, percebemos que não há homogeneidade nos instrumentos e/ou procedimentos utilizados. Na maioria das vezes, o processo indicado não se caracteriza como sistemático e os produtos não explicitam ações e metas de melhoria da qualidade do programa, sendo compostos basicamente por descrições de estratégias já adotadas ou recomendadas em outros momentos.

Uma das estratégias que identificamos era voltada à redução do tempo de titulação dos discentes, um dos grandes problemas enfrentados em muitos programas. São exemplos: a escolha precoce do orientador, com a integração rápida do aluno às linhas de pesquisa existentes; a incorporação da apresentação de proposta de trabalho para dissertação de mestrado no processo de seleção dos alunos; a criação de oficinas de publicação; o estímulo à elaboração de artigos científicos como forma de avaliação das disciplinas.

Identificamos a estratégia relacionada aos aspectos pedagógicos, ainda que em poucos programas, como por exemplo, a revisão do conteúdo de determinadas disciplinas e a introdução de novas. E, finalmente, estratégias voltadas à gestão acadêmica, como por exemplo, a promoção de linhas de pesquisa menos desenvolvidas; a criação de novas áreas de concentração; a revisão das linhas de pesquisa; a mudança na política de credenciamento e re-credenciamento dos docentes; a criação de comitê de apoio à publicação; a instalação de comissão para estabelecer os critérios e as normas da auto-avaliação institucional.

Em síntese, esses produtos não estão relacionados necessariamente aos instrumentos ou procedimentos utilizados pelos programas, sugerindo que os processos de avaliação nem sempre são utilizados para a tomada de decisão.

Nos programas examinados, apenas dois indicaram de forma clara a constituição de uma comissão específica para tratar da avaliação interna ou auto-avaliação. Dos três programas que receberam conceito 6, somente um explicitou algum mecanismo de auto-avalição, sugerindo que para a avaliação trienal da CAPES não se adotou mecanismos regulares de auto-avaliação.

Porém, pela leitura dos relatórios dos programas, é possível apreendermos diferenças entre eles. Aqueles que ainda lutam pela sua consolidação apresentam relatos marcados pelas dificuldades enfrentadas: número exíguo de pesquisadores/professores e afastamento dos mesmos para realização de doutorado; problemas com a infra-estrutura física das instituições; dificuldades para produzir e publicar trabalhos científicos, limitação do elenco de disciplinas oferecidas, etc.

O principal parâmetro, em vista do qual os processos de avaliação ou auto-avaliação são realizados, continua sendo a produtividade acadêmica e científica dos docentes e discentes. Pouco se diz, por exemplo, sobre o impacto social das atividades desenvolvidas pelo programa ou sobre a inserção destas no contexto do debate nacional e internacional sobre os rumos da Saúde Coletiva.

Identificamos em somente um programa que o processo de auto-avaliação tem como base a proposta do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), que foi criado em 1994 com o objetivo de colaborar com as universidades brasileiras, no sentido de iniciarem um processo de avaliação institucional que as conduza a uma melhora significativa do cumprimento de suas funções de ensino, pesquisa e extensão⁶ e que nunca foi totalmente implementado.

Outros sentidos para a auto-avaliação

A avaliação é concebida como uma atividade orientada ao estímulo, auxílio e apoio de esforços para fortalecer e melhorar programas, cursos, serviços ou instituições. Segundo Romão⁷, "a avaliação pode funcionar como diagnóstico ou como exame; como pesquisa ou como classificação; como instrumento de inclusão ou de exclusão; como canal de ascensão ou critério de discriminação".

Falar em avaliação no sistema educacional e Ciência e Tecnologia significa não somente realizar uma análise pormenorizada de um objeto, mas buscar implementar modelos de análise que levem à compreensão das diversas dimensões que influenciam a qualidade dos resultados obtidos.

De acordo com Roggero⁸, o sistema educativo é um sistema complexo, ou seja, é capaz de proceder a uma auto-eco-reorganização, tomamos consciência de que ele depende de sua história (re), dos relacionamentos com seu meio ambiente (eco) e de sua identidade interna (auto). Toda ação de avaliação deveria, desde já, levar em conta essas dimensões essenciais que não saberíamos avaliar unicamente por indicadores de performance.

Um modelo de análise clássico utilizado em sistemas complexos para avaliações internas, auto-avaliações e avaliações externas é o desenvolvido por Stufflebeam⁹ e denominado modelo CIPP, sigla em inglês que significa contexto, entrada, processo e produto.

O foco na auto-avaliação demonstra a importância que damos à melhoria da qualidade que pode advir de análises sistematizadas em ambientes complexos como os dos programas de pós-graduação stricto sensu. No Brasil, a implementação da auto-avaliação é recente. Em um documento do INEP de 2004¹⁰, encontramos as seguintes observações sobre a auto-avaliação: A avaliação interna ou auto-avaliação tem como principais objetivos produzir conhecimentos, pôr em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição, identificar as causas dos seus problemas e deficiências, aumentar a consciência pedagógica e a capacidade profissional do corpo docente e técnico-administrativo, fortalecer as relações de cooperação entre os diversos atores institucionais, tornar mais efetiva a vinculação da instituição com a comunidade, julgar acerca da relevância científica e social de suas atividades e produtos, além de prestar contas à sociedade.

Realizar tal perspectiva seria efetivamente fazer da auto-avaliação um instrumento de crítica - no sentido de reconhecimento das possibilidades e limites de um processo ou instituição e de tomada de decisões. Isto não parece possível sem o desenvolvimento de uma "cultura da avaliação", na qual a avaliação interna se constitui como um processo contínuo, gerador de conhecimento sobre a própria realidade institucional. Para tanto, ela deve gerar e sistematizar, de forma cíclica, informações, criar mecanismos de análise dos significados, identificar os pontos fracos, os pontos fortes e as potencialidades.

A implementação de um adequado processo de auto-avaliação pressupõe uma estrutura básica de funcionamento: grupo de trabalho e equipe de coordenação do processo de avaliação interna; participação efetiva dos integrantes da instituição; compromisso dos dirigentes e do corpo de pesquisadores/professores; informações confiáveis; utilização efetiva dos resultados obtidos. Tal configuração combina elementos técnicos e políticos, sem os quais os processos institucionais correm sempre o risco de se tornarem precários, do ponto de vista da sua operacionalização, e com baixo nível de legitimidade, no que diz respeito aos seus significados.

Contudo, como saber se estamos no caminho certo se não soubermos onde queremos chegar? Talvez esta questão seja um dos nós do processo de avaliação institucional. Caso contrário, a auto-avaliação continuará sento apenas mais um item da avaliação externa. Toda Instituição de Ensino Superior (IES) tem ou deveria ter um plano de desenvolvimento institucional (PDI) e um projeto pedagógico, que servem para articular as atividades de pesquisa, ensino, gestão (acadêmica e institucional), avaliação e extensão. Sem um sistema básico de referências, como a instituição poderá corrigir rotas e propor novos planos sem o risco de descaracterizá-la e ferir sua própria história?

Pesquisas de opinião recentes^11,12, entre avaliadores, dirigentes e pesquisadores de programas de pós-graduação stricto sensu confirmam a relevância dos processos de auto-avaliação institucional para esses agentes do campo científico. Contudo, ainda parece ser grande a distância entre intenção e gesto. Quiçá o desenvolvimento de uma cultura da avaliação seja um fator diferencial, que possibilite a ampliação da perspectiva apenas instrumental dos processos de avaliação institucional.

Colaboradores

VA Hortale e COF Fiúza participaram igualmente de todas as etapas da elaboração do artigo.

Artigo apresentado em 13/02/2006

Aprovado em 06/10/2006

Versão final apresentada em 24/11/2006

• 1. Spagnolo F, Calhau MG. Observadores internacionais avaliam a avaliação da CAPES. Infocapes 2002; 10(1):7-34.
• 2. Hortale VA. Modelo de avaliação CAPES: desejável e necessário, porém, incompleto. Cad Saúde Pública 2003; 19(6):1837-1840.
• 3. Nunes DJ. Extremismos na avaliação da educação superior. Jornal da Ciência [periódico na Internet]. 2003 Set. [acessado 2005 jan 26]. Disponível em: http:// www.jornaldaciencia.org.br/Detalhe.jsp?id=13007
• ⁴
  Brasil. Ministério da Educação. CAPES. Caderno de avaliação da área de Saúde Coletiva [acessado 2005 Jan 26]. Disponível em: www.capes.gov.br
• 5. Brasil. Lei n° 10.861 de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Diário Oficial da União 2004; 15 abr.
• ⁶
  Brasil. Ministério da Educação e Cultura. Secretaria de Ensino Superior. Programa de Avaliação Institucional das Universidades Brasileiras Brasília: Ministério da Educação e Cultura; 1994.
• 7. Romão JE. Avaliação: exclusão ou inclusão? EccoS Rev.Cient 2002;1(4):43-59.
• 8. Roggero P. Avaliação dos sistemas educativos nos países da união européia: de uma necessidade problemática a uma prática complexa desejável. EccoS Rev. Cient.2002; 2(4):31-46.
• 9. Stufflebeam DL. Strategies for institutionalizing evaluation: revisited. Kalamazoo: Western Michigan University Evaluation Center; 1997.
• ¹⁰
  Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sistema Nacional de Avaliação do Ensino Superior – Roteiro de Auto-avaliação Institucional: Orientações Gerais Brasília: INEP; 2004.
• 11. Spagnolo F, Souza VC. O que mudar na avaliação da Capes? Revista Brasileira de Pós-graduação 2004; 1(2):8-34.
• 12. Moreira COF, Hortale VA, Hartz ZA. Avaliação da Pós-graduação: Buscando consenso. Revista Brasileira de Pós-graduação2004; 1(1):26-40.

Datas de Publicação

• Publicação nesta coleção
  17 Jan 2008
• Data do Fascículo
  Fev 2008

Histórico

• Aceito
  24 Nov 2006
• Revisado
  06 Out 2006
• Recebido
  13 Fev 2006