Avaliação da qualidade da formação: contribuição à discussão na área da saúde coletiva

Quality education evaluation: contribution to the discussion in the collective health area

TEMAS LIVRES FREE THEMES

Avaliação da qualidade da formação: contribuição à discussão na área da saúde coletiva

Quality education evaluation: contribution to the discussion in the collective health area

Virginia Alonso Hortale^I; Carlos Otávio F. Moreira^I; Lilian Koifman^II

^IEscola Nacional de Saúde Pública, Fiocruz. Av. Leopoldo Bulhões, 1.480, 5º andar, Manguinhos, 21041-210, Rio de Janeiro RJ. [e-mail]

^IIInstituto de Saúde da Comunidade da Universidade Federal Fluminense

RESUMO

Visando contribuir com a discussão da implantação e implementação de mecanismos de avaliação de qualidade da formação na área da saúde coletiva, são abordadas neste artigo as principais características de processos de avaliação educacional a partir de alguns autores que tomam por base o conceito de qualidade. Entende-se ser necessária a criação de instrumentos de avaliação em todos os níveis da educação e que os instrumentos de avaliação das instituições de ensino devam ser calcados em princípios determinados pelos setores e representações pertinentes.

Palavras-chave: Formação em saúde coletiva, Avaliação de qualidade, Mecanismos de avaliação da qualidade da formação

ABSTRACT

Aiming at contributing to the discussion of the set up and implementation of quality education evaluation procedures in the collective health area, based on authors that discuss the concept of quality, the main characteristics of educational evaluation process are presented in this paper. It is understood that is necessary to build evaluation tools in all educational levels and that these tools, arising from educational institutions, should be developed by principles decided by appropriate actors.

Key words: Collective health education, Quality assessment, Quality education evaluation procedure

Introdução

Nesta década, avaliar a formação vem sendo uma preocupação essencial das instituições brasileiras de ensino de pós-graduação, devido à necessidade de qualificar profissionais competentes quer para a pesquisa, o ensino ou o mercado de trabalho. Considerando as atuais concepções pedagógicas e epistemológicas na sociedade moderna, a qualidade da formação orienta qualquer intenção de transformação do sistema educacional.

No Brasil, durante a década de 1990, foram desenvolvidas algumas experiências de avaliação que abrangem diversas dimensões, ainda que pouco integradas: avaliação da aprendizagem na formação discente (Exame Nacional de Cursos), avaliação das condições de cursos do ensino superior, Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) e as avaliações periódicas, realizadas pela Capes, dos programas de pós-graduação.

Em sua proposta de reforma da avaliação do ensino superior, lançada em 2003, o Ministério da Educação (MEC) propõe criar o Sistema Nacional de Avaliação da Educação Superior (Sinaes). Conforme documento editado pelo MEC (2003), as atuais avaliações contemplam de forma predominante aspectos de fiscalização e prestação de contas em detrimento de aspectos referentes ao processo, à diversidade regional e à complexidade das instituições. Ainda nesse documento, o conceito de avaliação tem como referências centrais a autonomia, a integração e a participação. Aponta para um formato de avaliação a ser realizada em função dos objetivos estabelecidos pela própria instituição (auto-avaliação), complementada por avaliações externas. Tudo isso para que as instituições fortaleçam seus projetos acadêmicos e pedagógicos e reformulem, quando necessário, suas metas.

No referido documento, indica-se que as reflexões e estudos da CEA (Comissão Especial de Avaliação) foram alimentadas por um amplo processo de interlocução com a sociedade (MEC, 2003). Contudo, há que se assinalar duas críticas públicas a esse processo de diálogo com as instituições envolvidas. A primeira, na reunião do Fórum Brasil de Educação (IV Encontro Nacional – Avaliação e Expansão), realizado no dia 3 de novembro de 2003, na sede do Conselho Nacional de Educação, em Brasília, no qual um dos autores deste artigo esteve presente. Nos debates desse evento, um dos participantes afirmou publicamente (sem que tenha havido contestação) que a referida comissão havia, de certa forma, esquecido das contribuições apresentadas pelos representantes de entidades da sociedade civil (inclusive universidades). A segunda foi uma carta aberta assinada por consultores da Secretaria de Educação Superior (SESU-MEC) e do Inep, e publicada no Jornal da Ciência do dia 23/10/2003. Diz a carta: A proposta não levou em consideração as 38 audiências públicas, pois não mostra como ela resolve os problemas apresentados ou como incorpora as sugestões feitas. Assim, a proposta implementa o programa de governo Lula, independente das audiências públicas.

Em dezembro de 2003, foi assinada uma Medida Provisória (MP), instituindo o Sistema Nacional de Avaliação e Progresso da Educação Superior (Sinapes), que passa a considerar quatro itens na avaliação das instituições de ensino superior: o processo de ensino, o processo de aprendizagem, a capacidade institucional e a responsabilidade do curso com a sociedade. Para cada um desses itens será construído um indicador parcial. Combinados, os quatro indicadores comporão o Índice do Desenvolvimento do Ensino Superior (Ides), que será atribuído a cada curso e a cada instituição. Com a mudança no comando do MEC, a proposta do governo voltou a ter o título de Sinaes.

Em 14 de abril de 2004, após quase um ano do lançamento público da proposta, é promulgada a lei nº 10.861, que institui o Sinaes. Tem por finalidades a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.

Para implementar o Sistema, deverá estar instituída, no prazo de sessenta dias, a Comissão Nacional de Avaliação da Educação Superior – Conaes, órgão colegiado de coordenação e supervisão do Sinaes. Esta comissão tem como principais atribuições: propor e avaliar as dinâmicas, procedimentos e mecanismos da avaliação institucional, de cursos e de desempenho dos estudantes; estabelecer diretrizes para organização e designação de comissões de avaliação e articular-se com os sistemas estaduais de ensino, para estabelecer ações e critérios comuns de avaliação e supervisão da educação superior.

Embora a cultura da avaliação esteja progressivamente sendo incorporada às instâncias de gestão acadêmica das instituições de ensino superior, ainda nos ressentimos de maior amadurecimento e experiência na criação de instrumentos de controle e acompanhamento, que combinem as abordagens quantitativa e qualitativa e que possam contribuir com a melhoria da qualidade da formação em saúde coletiva.

Esperamos, ao abordar neste artigo as principais características de processos de avaliação a partir de alguns autores que tomam por base o conceito de qualidade, estar contribuindo com a discussão da implantação e implementação de mecanismos de avaliação de qualidade da formação na área da saúde coletiva.

Avaliação da qualidade e gestão da qualidade da formação: duas faces da mesma moeda

Na América Latina, na década de 1990, foram implementados, de forma quase generalizada, instrumentos nacionais de avaliação na área da educação. Se tais instrumentos formariam ou não verdadeiros sistemas de avaliação, capazes de monitorar efetivamente a qualidade dos serviços prestados, não parecia ser uma questão visível então. Mas o fato é que esse processo se incluía em um amplo arranjo global e regional das políticas públicas de educação; arranjo esse que contou com ajuda financeira e monitoramento estratégico de instituições como o Banco Mundial e o Banco Interamericano de Desenvolvimento (BID).

Ao fazer um balanço dessas reformas na América Latina no contexto da globalização, Casassus (2001) considera que esse não é um fenômeno novo: O atual ciclo é um segundo ciclo de reformas educacionais na América Latina. O primeiro ciclo se deu na década de 1960 e sua regionalidade manifestou-se pela simultaneidade e características comuns. O primeiro ciclo, independentemente dos diferentes níveis de desenvolvimento, teve por característica comum a de ser um ciclo de reformas orientadas para a expansão dos sistemas educativos de modo que se ampliassem as possibilidades de um maior número de pessoas ingressarem no sistema. O segundo ciclo está configurado por processos mais complexos e que são denominados de segunda geração, pois estão relacionados com temas como os de gestão de sistema e de qualidade.

Segundo esse autor, três objetivos têm orientado as reformas educacionais na América Latina:

1) Colocar a educação e o conhecimento no centro da estratégia de desenvolvimento, devido à sua contribuição tanto no aspecto econômico quanto social. Para tornar isso possível, mais recursos financeiros seriam alocados no setor a partir do esforço interno, mas também através do aumento do crédito internacional mediante endividamento nacional.

2) Iniciar uma nova etapa de desenvolvimento educacional através de mudanças na gestão do Estado, orientando-a para a abertura do sistema; para o estabelecimento de novas alianças, processos de descentralização e finalmente, dando ênfase à qualidade e eqüidade.

3) Empreender melhora nos níveis de qualidade do aprendizado por meio de ações macro e micro. A instalação de sistemas nacionais de avaliação, o desenvolvimento de programas compensatórios de discriminação positiva e a reforma curricular foram os instrumentos utilizados no nível macro das reformas. No nível micro, o foco foi posto na escola, em particular na sua gestão, na implantação de graus de autonomia e em um currículo adaptado às características das escolas (Casassus, 2001).

Royero (2002) considera que a construção de instrumentos de avaliação se faz necessária, pois eles são mecanismos objetivos de interpretação da realidade educacional em uma perspectiva de busca constante da qualidade do conhecimento, do planejamento e da gestão da instituição.

Quando falamos de "mecanismos objetivos", estamos nos referindo a métodos e técnicas, a instrumentos científicos para examinar o funcionamento de instituições sociais. Mas o diagnóstico que se pode elaborar através de um instrumento de avaliação, por mais completo que seja, será algo provável, possível, nunca exato e verdadeiro. Contudo, esse olhar científico pode (e deve) servir como base para orientar de forma justa e objetiva a execução de planos, projetos e programas de gestão de uma instituição de ensino superior.

Nesse sentido, é possível considerar como telos – como fim que deve servir de referência no processo de desenvolvimento da avaliação institucional – a qualidade, seja do conhecimento produzido, seja da transmissão (ensino) do saber acumulado.

A qualidade é, como bem indica Royero (2003), uma categoria fundamental para conduzir a avaliação das instituições de educação superior no mundo, ainda que o conceito em si tenha um caráter quase indefinível. Porém esse autor destaca, a partir de obras de outros autores, acordos possíveis sobre o referido conceito: 1) a qualidade se inscreve em um quadro multidimensional e complexo, abarcando os processos educativo e social; 2) a qualidade é uma categoria socialmente determinada, referida a contextos socioeconômicos específicos na qual se inscreve; 3) a qualidade está associada à transformação e adaptação contínua dos sistemas educativos; 4) a qualidade se integra ao processo de eficiência social das instituições de educação superior (um elemento político explícito); 5) o conceito de avaliação deve ser concebido no mundo do que é mensurável. Este mesmo autor, indica algumas dimensões básicas para se mensurar a qualidade: relevância, efetividade, disponibilidade de recursos, eficiência, eficácia e processos.

Contudo, podemos nos perguntar por que a qualidade ou o discurso sobre a qualidade vem ocupando um espaço cada vez mais importante nas referências e nas práticas organizacionais das instituições de ensino superior.

Segundo Santiago (1998), em certos países – aqueles em que há uma grande competição instalada entre as instituições de ensino superior – o desenvolvimento de programas de qualidade é justificado com base em comportamentos reativos da organização em função da pressão externa. Em um contexto menos competitivo, a qualidade parece funcionar como um dispositivo de auto-regulação ou como uma resposta justificativa diante das pressões externas, como alterações de expectativa no quadro social, alteração na relação de poder entre a administração central e as organizações de ensino superior. Nesse caso, um aumento da autonomia corresponde a um crescimento de dispositivos e de ações de controle.

Mas com que conceito de qualidade seria possível trabalhar? De acordo com Santiago (1998), cada sujeito ou grupo de interesse elabora representações daquilo que para si é a qualidade, apoiados na crença de ter circunscrito todos os aspectos que a configuram. Algumas lógicas possíveis seriam as seguintes: a) a satisfação dos alunos como pressuposto básico do conceito de qualidade (uma lógica que reproduz o modelo da indústria ao considerar o aluno como cliente); b) a capacidade da organização em definir uma missão, identificar problemas e obstáculos e estabelecer prioridades na decisão e na ação; c) uma construção local, ou seja, a lógica que faz interagir ação, experiência e conhecimento. Nesse caso, até mesmo a base heurística é suscetível de se tornar um objeto de negociações entre os atores da organização, e a qualidade é vista como uma matéria de negociação, o que implica a conciliação dos desejos dos atores, que se transformam em missões, metas e objetivos de ensino e pesquisa, que por sua vez devem ser concretizados, tornando-se a efetivação da qualidade.

Estudando instituições educacionais européias, Santiago observa que cada vez mais as de ensino superior desenvolvem programas de gestão e avaliação da qualidade sem, no entanto, alcançar os objetivos propostos de acompanhar a qualidade da educação. Ele dá sua interpretação para essa inadequação: (...) a educação, a formação e a investigação constituem essencialmente experiências qualitativas, que não podem ser totalmente, ou mesmo parcialmente, traduzidas numa lógica empresarial funcionando como padrão absoluto de referência para as práticas de gestão nas organizações educativas.

Ao considerar a centralidade da atribuição de valor na avaliação educativa, Tiana (1997) lembra algumas concepções existentes: (a) instrumental (serve como instrumento para a tomada de decisão), (b) conceitual ou esclarecedora (ilumina a concepção que uma comunidade tem de uma parcela da realidade educativa, aportando informações relevantes e elementos de reflexão acerca da mesma) e (c) persuasiva (função eminentemente argumentativa a serviço do discurso político seja este de governo ou de oposição).

Na perspectiva do uso da avaliação para a tomada de decisão, Tiana ressalta a tendência de ser algo bem mais complexo do que sugere a concepção instrumental: Qualquer pessoa que tenha enfrentado a experiência direta de ter que tomar decisões em algum campo de atuação sabe que os elementos sobre os quais se apóia esse processo são muito variados e de diversas ordens. Por um lado, costuma-se contar com informação direta ou indireta, procedente de diversas fontes e com maior ou menor pertinência e confiabilidade em cada caso. Por outro lado, deve-se levar em conta certos condicionamentos, de caráter normativo, institucional ou pessoal, que determinam a margem de manobra existente. Deve-se levar também em consideração o contexto de relações interpessoais, antecipando as reações que se possam produzir. Por último, devem ser realizadas negociações multilaterais com o objetivo de conseguir que todos os atores implicados se sintam partícipes da decisão adotada. Em suma, trata-se de uma tarefa delicada em que o conhecimento e a informação desempenham um papel relevante, mas também a capacidade de negociação e de mobilização de interesses, o sentido de oportunidade e inclusive a intuição (Tiana, 1997).

É o fator político que serve para sustentar esse argumento do valor relativo, e muitas vezes secundário, da avaliação para a tomada de decisão. Mas isto significa também considerar que as evidências objetivamente captadas pelos instrumentos de avaliação e pesquisa podem vir a desempenhar, em determinados contextos, um papel secundário.

Quanto aos níveis de aplicação da avaliação – individual, institucional e sistêmico –, Tiana afirma que a aplicação mais frutífera é aquela que se baseia em uma análise realizada no mesmo nível que o da aplicação. Nesse sentido, a avaliação individualizada de um professor, por exemplo, é a mais adequada para avaliar sua atuação e tomar decisões sobre credenciamento, promoção e progressão na carreira.

Para a tomada de decisão, esse autor indica que os níveis mais específicos (individual e institucional) são mais adequados a um uso instrumental orientado para a tomada de decisão, enquanto no nível mais geral (sistêmico) predomina o uso esclarecedor.

Tiana considera que, embora a avaliação seja uma tarefa tecnicamente complexa, não é de responsabilidade exclusiva dos técnicos. O contexto em que ela se desenvolve afeta e interessa a uma diversidade de indivíduos e coletivos, onde todos têm o que dizer. Nessa perspectiva é introduzido o conceito de audiência: todas as pessoas e grupos que têm interesse legítimo em um determinado processo de avaliação. Isso significou um avanço histórico importante, substituindo a relação bilateral avaliador X patrocinador por uma outra, multilateral, onde os diversos agentes educativos ocupam um lugar específico e assumem sua própria responsabilidade.

No marco do que se poderia considerar um sistema de avaliação, Toranzos (2003) sugere quatro enfoques em torno dos quais se localizam questões que podem ser objeto de discussão.

O primeiro deles se relaciona aos espaços institucionais da avaliação. Aqui surge uma primeira questão: a especificidade dos processos técnicos de avaliação deve conduzir necessariamente à criação de uma unidade de avaliação na estrutura de gestão?

O segundo enfoque se refere aos componentes que integram o sistema de avaliação: que tipo de ações e que tipo de objetos de avaliação se adotam – avaliação da aprendizagem dos alunos, do desempenho docente, da gestão institucional ou dos programas e projetos?

O terceiro enfoque diz respeito aos dispositivos técnicos, isto é, aos instrumentos de coleta de informação, de análise dos resultados, a aplicação, a operação e o processamento. A autora ressalta que deve haver uma necessária correspondência entre o objeto, os propósitos e os instrumentos.

Para o quarto e último enfoque – difusão e uso das informações, a autora ressalta ser necessário que as áreas de avaliação contribuam firmemente para formar e estruturar a demanda por informação, e isto se vincula diretamente à criação de uma cultura da avaliação.

Considerações finais

Em uma sociedade aberta, e que se quer democrática, parece pouco plausível a idéia de se opor à criação ou ao desenvolvimento de mecanismos de controle da qualidade dos serviços prestados à própria população, como é o caso das instituições de ensino superior, que inclui as de formação na área da saúde coletiva. Contudo, propor ajustes e melhorias nos mecanismos existentes parece ser algo bem mais razoável do que alimentar a antiga e dispendiosa prática da descontinuidade administrativa (há sempre que recomeçar do zero!), como se as instituições sociais fossem um brinquedo da infância política de sucessivos governantes.

Ao liderar o processo de criação do Sistema Nacional de Avaliação da Educação Superior (Sinaes), o atual governo parece atento ao anseio da comunidade científica brasileira por uma melhor conformação dos processos de avaliação das instituições de ensino superior. Os instrumentos de avaliação em vigor, em todos os níveis de ensino, têm funcionado para alimentar um importante banco de dados, que podem ser utilizados no planejamento e na gestão do sistema educacional brasileiro.

Em nossa opinião, há que se ver nesse contexto um aspecto necessário e legítimo: a criação de instrumentos de avaliação em todos os níveis da educação, reconhecendo-se o princípio de que avaliar é parte inerente à gestão dos bens públicos e de que os cidadãos têm o direito a conhecer os rumos das instituições que financia com os impostos. Contudo, acreditamos que os instrumentos de avaliação das instituições de ensino, principalmente aqueles que estão no foco das nossas reflexões, devam ser calcados em princípios determinados pelos setores e representações pertinentes. Não podemos, porém, deixar de lembrar dos riscos de se instalar uma cultura de avaliação com predominância de baixa transparência e pouca regulação.

Colaboradores

VA Hortale, COF Moreira e L Koifman participaram da elaboração do artigo, definindo sua estrutura e conteúdos.

Artigo apresentado em 8/4/2004

Aprovado em 20/5/2004

Versão final apresentada em 8/10/2004

• BRASIL 2004. Lei nº 10.861 (Institui o Sistema Nacional de Avaliação da Educação Superior – Sinaes), DOU de 15/04/2004 – Seção – p. 3.
• Casassus J 2001. A reforma educacional na América Latina no contexto de globalização. Cadernos de Pesquisa 114:7-28.
• Royero J 2002. Contexto mundial sobre la evaluación en las instituciones de educación superior Disponível em <http://www.campus-oei.org/revista/deloslectores/334royero.pdf>. Acesso em 23 ago. 2003.
• Santiago RA 1998. O conceito de qualidade no ensino superior, pp. 355-379. In Encontro INA, 1, Porto. A avaliação da administração pública. Anais.. INA, Porto.
• Sistema Nacional de Avaliação 2003. Bases para uma nova proposta de avaliação da educação superior. Comissão Nacional de Avaliação. Ministério da Educação. Brasília.
• Tiana Ferrer A 1997. Tratamiento y usos de la información en evaluación Programa Evaluación de la calidad de la educación. Documento 5. Disponível em <http://www.ince.mec.es/cumbre/d1-05.htm>. Acesso em 5/8/2003. Instituto Nacional de Calidad y Evaluación, Madri, España.
• Toranzos LV 2003. "Una visión latinoamericana de los sistemas nacionales de evaluación". Organización de Estados Iberoamericanos Programas Calidad y Equidad. Disponível em <http://www.campus-oei.org/calidad/toranzos3.htm>. Acesso em 3 março 2003.

Datas de Publicação

• Publicação nesta coleção
  05 Jun 2007
• Data do Fascículo
  Dez 2004

Histórico

• Aceito
  08 Out 2004
• Recebido
  08 Abr 2004
• Revisado
  20 Maio 2004