Acessibilidade / Reportar erro

Avaliação e participação na Universidade Federal do Rio Grande do Sul (UFRGS) antes e depois do SINAES: o papel dos Núcleos de Avaliação das Unidades (NAUs)1 1 Este artigo foi originalmente apresentado ao AVALIES 2019, 4º Simpósio Avaliação da Educação Superior, realizado em Salvador, Bahia, em outubro de 2019, elaborado sob a orientação da Profa. Dra. Cláudia Rodrigues. Agradecemos especialmente à Profa. Ana Maria e Souza Braga, cuja contribuição foi fundamental para que esse artigo fosse possível, especialmente no que se refere ao resgate do histórico dos Núcleos de Avaliação das Unidades (NAUs) na UFRGS, estruturas que contaram com sua contribuição decisiva para existir, ainda nos anos 1980.

Evaluation and participation in Universidade Federal do Rio Grande do Sul (UFRGS) before and after SINAES: the role of Nucleos de Avaliação das Unidades (NAUs)

Resumos

Este artigo tem como objetivo abordar as características próprias do processo de avaliação na Universidade Federal do Rio Grande do Sul (UFRGS), e as consequências diante da implantação do SINAES (Sistema Nacional de Avaliação da Educação Superior). Esse processo teve seus primórdios nos anos 1980, e intensificou-se nos anos 1990, contando com grande participação da comunidade acadêmica, chegando a uma consolidação nos anos 2000 até a contemporaneidade. Os debates sobre avaliação, que se faziam na linha da valorização da participação democrática, com organização de fóruns e seminários, resultaram, ainda naquele período, na formação de Núcleos de Avaliação das Unidades (NAUs). Com o advento do SINAES, em 2004, foi necessário um redirecionamento na arquitetura da avaliação institucional. O sistema previa a criação de Comissões Próprias de Avaliação (CPAs) nas Instituições de Educação Superior, mas não de estruturas descentralizadas. Este artigo busca desenvolver uma reflexão que relaciona o contexto contemporâneo com a necessidade de retomar a relação entre avaliação e participação.

Palavras-chave:
SINAES; Avaliação; Avaliação e participação


This article aims to address the characteristics of the evaluation process at the Federal University of Rio Grande do Sul (UFRGS), and the consequences of the implementation of the SINAES (National Higher Education Evaluation System). This process had its beginnings in the 1980s, and intensified in the 1990s, with the great participation of the academic community, reaching a consolidation in the 2000s until contemporary times. The debates on evaluation, which were held in line with the valorization of democratic participation, with the organization of forums and seminars, resulted, during that period, in the formation of Nucleos de Avaliação das Unidades (NAUs). With the advent of SINAES in 2004, it was necessary to redirect the architecture of institutional evaluation. The system provided for the creation of Comissões Próprias de Avaliação (CPAs) in Higher Education Institutions, but not decentralized structures. This article seeks to develop a reflection that relates the contemporary context with the need to resume the relationship between evaluation and participation.

Keywords:
SINAES; Evaluation; Evaluation and participation


1 Introdução

Este artigo tem como objetivo abordar as características do processo de avaliação na UFRGS, ressaltando as formas de organização e estrutura da avaliação institucional, bem como as adaptações realizadas diante da implantação e desenvolvimento do SINAES (Sistema Nacional de Avaliação da Educação Superior).

Realiza uma reflexão sobre o impacto que representou a criação do SINAES e sua repercussão na UFRGS. Num primeiro momento, aborda o contexto de construção das estruturas avaliativas na instituição, que incluem grande participação da comunidade acadêmica. A seguir traz os resultados da implementação do SINAES e a reflexão que levou à manutenção das estruturas descentralizadas participativas, as quais fundamentavam a avaliação institucional pré e pós-SINAES.

Ressalta-se que o SINAES traz ao mesmo tempo um avanço democrático e um maior controle do Estado sobre as instituições. Na época de seu surgimento, início dos anos 2000, essa característica era vista como positiva, pois houve grande expansão do ensino superior em curto espaço de tempo, sobretudo de instituições privadas. A grande expansão precisava ser acompanhada de qualidade, e a verificação da qualidade pressupunha avaliação. Porém, o que se deseja enfatizar neste artigo é a importância de refletir sobre o significado desse controle em novos contextos. E convidar a uma reflexão: em contextos não democráticos, o risco diante do conhecimento global de resultados e a não transparência podem ou não gerar distorções imprevistas? Diante desse risco, revalorizar o modelo de avaliação que pressupõe estruturas descentralizadas e participativas pode ser uma saída.

Busca-se, assim, evidenciar as lacunas no debate a respeito de estruturas descentralizadas e seu potencial participativo, com consequências positivas para uma avaliação que se quer transformadora, em especial diante de contextos institucionais e econômicos adversos.

A metodologia utilizada para desenvolver a reflexão foi pautada em referenciais das ciências humanas e sociais, predominantemente qualitativos. A reflexão teórica se faz dentro de um pressuposto epistemológico de indissociabilidade entre teoria e prática, abordando a avaliação institucional a partir, sobretudo, de um debate sobre as lacunas vislumbradas na aplicação do SINAES. Estes questionamentos teóricos são a seguir aplicados à reflexão sobre o caso específico da UFRGS. Como se verá, as concepções teóricas estão presentes ao longo de toda reflexão, revelando uma indissociabilidade entre teoria e prática.

2 Metodologia

Para o desenvolvimento desta reflexão, a metodologia utilizada foi predominantemente qualitativa, com referenciais oriundos das Ciências Sociais, entre as quais destacamos a discussão metodológica realizada por MAGALHÃES (2008MAGALHÃES, Nara. Eu vi um Brasil na TV: televisão e cultura em perspectivas antropológicas. Santa Maria, RS: Editora UFSM, 2008.) E PEREIRA DE QUEIROZ (1988PEREIRA DE QUEIROZ, Maria Izaura. Relatos orais: do 'Indizível' ao 'Dizível'. In: VON SIMSON, O. M. (org.). Experimentos com histórias de vida (Itália-Brasil). Rio de Janeiro: Vértice, 1988. p. 14-43.), entre outros. Fazem parte da abordagem adotada a pesquisa bibliográfica e o estudo de caso, além da realização de entrevistas semidiretivas.

Sabemos que o método científico pressupõe a indissociabilidade entre teoria e prática, e a escolha metodológica está diretamente relacionada ao quadro teórico que orienta a pesquisa. A pesquisa bibliográfica, portanto, se fez nesse contexto teórico-prático, buscando percorrer um material já elaborado sobre avaliação institucional e cotejando com o case UFRGS que se procurava ao mesmo tempo relatar e compreender cientificamente num universo mais amplo.

A partir de materiais já elaborados, em especial livros e artigos científicos, e também a partir dos documentos legais, regulatórios da avaliação institucional, buscou-se conhecer o histórico dessa avaliação, seu significado e os principais questionamentos aos seus limites. Procedeu-se, inicialmente, uma revisão da abordagem de especialistas sobre o SINAES, com destaques para seus avanços e possíveis lacunas após sua implementação. Assim, destacou-se o entendimento de autores quanto a questões como: avaliação participativa, autonomia de CPAs, limites estabelecidos às atribuições da CONAES, ranqueamentos indesejados entre instituições, entre outros.

Para a compreensão das características e desenvolvimento da avaliação institucional na UFRGS, além da revisão da bibliografia especializada, contou-se também com a revisão de relatórios institucionais, entre eles o Plano de Gestão do período, relatos de seminários institucionais realizados, entre outros.

Com base em trabalhos anteriores desenvolvidos (MAGALHÃES; RODRIGUES, 2016MAGALHÃES, Nara; RODRIGUES, Cláudia. A Trajetória da Avaliação na UFRGS: entre a avaliação externa e a autoavaliação In: SIMPÓSIO AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 2., 2016, Porto Alegre. Anais [...]. Porto Alegre, RS: Editora da Universidade Federal do Rio Grande do Sul, 2016. Repositório digital LUME. Disponível em: http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf. Acesso em: 2 set. 2019..
http://www.ufrgs.br/avalies2016/anais-do...
, 2019) percebeu-se que a avaliação institucional, na UFRGS, é vinculada a significados que a enquadram, ao mesmo tempo, como democrática, participativa e como base para a gestão institucional desenvolver seus projetos. Assim, o estudo de caso sobre a avaliação institucional UFRGS foi o embasamento para desenvolver hipóteses acerca das características próprias da avaliação.

Como se sabe, o estudo de caso é caracterizado pelo estudo profundo e exaustivo de um determinado objeto, buscando na profundidade a explicação científica para suas características. Segundo os especialistas, o estudo de caso é utilizado sempre o delineamento entre o caso e o contexto não está totalmente definido, ou quando os limites de determinada situação da vida real não estão claramente definidos (YIN, 2002YIN, R. K. Case study research: design and methods. Thousand Oaks: SAGE Publications, 2002 ).

Pierre Bourdieu aborda a importância de interrogar sistematicamente um caso particular para chegar as suas propriedades invariantes, de modo a compreender além das aparências de singularidade. Portanto, busca-se entender o caso particular para dele extrair o que pode ser generalizado, sem deter-se no empirismo (BOURDIEU, 1989BOURDIEU, Pierre. O poder simbólico. Rio de Janeiro: Bertrand, 1989.).

O filósofo Bachelard, questionando-se a respeito da possibilidade do conhecimento cientifico sobre a realidade, e sobre a possibilidade desse conhecimento cientifico ser experimental ou não, conclui que não é possível que todas as noções empregadas tenham um sentido experimental, muitas vezes elas se baseiam em experiências fictícias. E conclui que “Encontra-se o real como um caso particular do possível. Esta perspectiva é sem dúvida apropriada para marcar o alargamento do pensamento científico” (BACHELARD, 1978BACHELARD, Gaston. O novo espírito científico. São Paulo: Abril Cultural, 1978. (Os pensadores)., p. 119).

Considerando a UFRGS como foco no estudo de caso e o SINAES como um contexto, ou seja, o sistema de avaliação aplicável a todas as universidades, questiona-se como distinguir os critérios de avaliação adotados na UFRGS em relação às demais instituições, submetidas todas aos mesmos parâmetros nacionais? Por esta razão, o estudo de caso foi considerado um método adequado para ser empreendido neste trabalho. As reflexões teórico-metodológicas sobre o SINAES se fazem aqui cotejando a experiência na UFRGS com o debate nacional.

Outro destaque da metodologia foi a realização de entrevistas semidiretivas com gestores da avaliação institucional na Universidade. As entrevistas foram realizadas com base numa metodologia qualitativa oriunda das Ciências Sociais, em especial a área de antropologia, e que tem várias referências teóricas conhecidas, tais como Pereira de Queiroz (1988PEREIRA DE QUEIROZ, Maria Izaura. Relatos orais: do 'Indizível' ao 'Dizível'. In: VON SIMSON, O. M. (org.). Experimentos com histórias de vida (Itália-Brasil). Rio de Janeiro: Vértice, 1988. p. 14-43.), Magalhães (2008MAGALHÃES, Nara. Eu vi um Brasil na TV: televisão e cultura em perspectivas antropológicas. Santa Maria, RS: Editora UFSM, 2008.), entre outras.

Considera-se que a entrevista semidiretiva é aquela em que o entrevistado é convidado pelo pesquisador a discorrer livremente sobre um determinado tema, sem uma ordem pré-estabelecida, mas a partir da abordagem de alguns pontos chave sobre o tema que se busca conhecer cientificamente. No caso das entrevistas realizadas, o convite foi para que os gestores abordassem o período em que estiveram na direção da avaliação institucional, qual o foco da sua gestão, principais desafios e principais avanços ou resultados alcançados. Além das entrevistas realizadas diretamente, uma fonte indireta de dados foi a obra de KLERING (2013KLERING, Luís Roque. Avaliação e controle de desempenho de Universidades. Entrevistada: Profa. Ana Maria e Souza Braga. In: KLERING, L. R. (org.). Temas contemporâneos sobre gestão universitária. Florianópolis: BOOKESS, 2013. ), o qual realizou entrevistas com especialistas em avaliação, destacando-se aqui uma das entrevistas realizadas pelo autor, como se verá.

3 O estudo de caso da avaliação na UFRGS e os desafios trazidos pelo SINAES

Na UFRGS, a experiência de avaliação começou cedo: a avaliação da pós-graduação existia desde o final dos anos 1970. Já nos anos 1980 os debates eram intensos, e os fóruns de debates sobre o tema avaliação, segundo relatos de quem os vivenciou, adquiriam caráter de verdadeiras assembleias, com grande participação da comunidade acadêmica. Os depoimentos que relatam esse contexto foram colhidos em entrevistas com gestores da avaliação, realizadas com a finalidade de reconstituir o histórico da avaliação na UFRGS. O assunto foi abordado em MAGALHAES; RODRIGUES (2016MAGALHÃES, Nara; RODRIGUES, Cláudia. A Trajetória da Avaliação na UFRGS: entre a avaliação externa e a autoavaliação In: SIMPÓSIO AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 2., 2016, Porto Alegre. Anais [...]. Porto Alegre, RS: Editora da Universidade Federal do Rio Grande do Sul, 2016. Repositório digital LUME. Disponível em: http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf. Acesso em: 2 set. 2019..
http://www.ufrgs.br/avalies2016/anais-do...
; 2017).

Em 1994 a universidade já avaliava suas deficiências e potencialidades, e procurava implementar mudanças que as avaliações mostravam ser necessárias. Uma das referências para a avaliação da Universidade na época foi a Conferência Mundial sobre Educação Superior, realizada pela UNESCO, que motivou o debate do projeto acadêmico UFRGS, de forma coletiva, no Seminário UFRGS Século XXI: Compromissos e Ações, realizado em 1999 (UFRGS, 1999, p. 3UFRGS. Avaliação Institucional da UFRGS: PAIUFRGS. Projeto UFRGS Século XXI, Compromissos e Ações,. 1999.).

O contexto vivenciado na UFRGS era compartilhado em nível nacional: os anos 1980 constituíram-se num período de efervescência no debate sobre avaliação no Brasil. Nos anos 1990, o MEC propôs a Comissão Nacional de Avaliação (CNA), presidida pelo então Reitor da UFRGS, Prof. Helgio Trindade, articulação que deu origem ao Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), em 1993. A aceitação deste Programa por parte das Universidades foi grande: quatro anos depois, 80% das Universidades já haviam aderido. Essa efervescência no debate foi relatada em entrevistas realizadas com gestores da avaliação, sobre as experiências vivenciadas no período (MAGALHÃES; RODRIGUES, 2016MAGALHÃES, Nara; RODRIGUES, Cláudia. A Trajetória da Avaliação na UFRGS: entre a avaliação externa e a autoavaliação In: SIMPÓSIO AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 2., 2016, Porto Alegre. Anais [...]. Porto Alegre, RS: Editora da Universidade Federal do Rio Grande do Sul, 2016. Repositório digital LUME. Disponível em: http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf. Acesso em: 2 set. 2019..
http://www.ufrgs.br/avalies2016/anais-do...
).

Já em 1996, apenas três anos após a implantação do Programa, o MEC mudou as regras e extinguiu o PAIUB. A UFRGS decidiu então manter um programa nos mesmos moldes localmente, com a denominação PAIURGS (Programa de Avaliação Institucional da Universidade Federal do Rio Grande do Sul), que vigorou desde meados dos anos 1990 até 2000.

A implantação e coordenação geral do Programa foram delegadas à Comissão Central de Avaliação - CCA, a qual era presidida solidariamente pelos Pró-Reitores de Graduação e de Planejamento, e composta por Pró-Reitores de Pesquisa, Pós-Graduação e Extensão, um representante do Conselho de Coordenação do Ensino e da Pesquisa - COCEP. A CCA instituiu a Coordenadoria Executiva do Programa de Avaliação (CEPAV), que foi o órgão que executou e coordenou a avaliação institucional no âmbito do PAIUB desde 19942 2 A descrição sobre os órgãos responsáveis pela avaliação na UFRGS e quem os compunha encontra-se no Relatório de Gestão [xref ref-type="bibr" rid="r15"](UFRGS, 2000)[/xref]). .(2000UFRGS. Secretaria de Avaliação Institucional. Relatório de gestão. 2000. Disponível em: http://www.ufrgs.br/ufrgs/arquivos/relatorios-de-gestao/relatorio-de-gestao-ufrgs-2000. Acesso em: 2 set. 2019.)

Foi nos anos 1990 que começou a Avaliação Interna na UFRGS: iniciou-se um processo que remetia ao autoconhecimento institucional, envolvendo quase todas as Unidades de Ensino e a Administração Central. Nesse período, os procedimentos de avaliação de natureza externa serviam como balizadores dos trabalhos avaliativos internos. Os Núcleos de Avaliação das Unidades (NAUs) começaram nessa época.

Os NAUs consistem em estruturas existentes em cada Faculdade, Escola, Colégio ou Instituto da Universidade, e que congregam membros da comunidade acadêmica (professores, técnicos e estudantes) para refletir, planejar e executar trabalhos e análises sobre avaliação institucional. No período inicial, anterior à legislação do SINAES, estas organizações se envolviam sobretudo na avaliação interna.

É desta época o início do debate na UFRGS sobre a avaliação do trabalho docente: o trabalho com os questionários das Unidades surgiu na área de agrárias, no final dos anos 1980, início dos anos 1990. A Associação Latinoamericana de Educação Agrícola Superior (ALEAS) e a Associação Brasileira de Educação Agrícola Superior (ABEAS) criaram um grande projeto nacional para área de agrárias: as Unidades de Apoio Pedagógico (UAPs). A partir desses projetos, na UFRGS iniciaram-se trabalhos sobre metodologias para avaliação do trabalho docente, sob liderança da Profa. Tânia Fisher em conjunto com a Profa. Ana Maria e Souza Braga, além do professor Fábio de Lima Beck. Mais tarde, esse trabalho foi considerado modelo, sendo apresentada às demais universidades federais brasileiras. A abordagem sobre este período da avaliação na UFRGS conta com os dados obtidos através da realização de entrevistas qualitativas com os gestores da avaliação. Ver MAGALHÃES; RODRIGUES (2016MAGALHÃES, Nara; RODRIGUES, Cláudia. A Trajetória da Avaliação na UFRGS: entre a avaliação externa e a autoavaliação In: SIMPÓSIO AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 2., 2016, Porto Alegre. Anais [...]. Porto Alegre, RS: Editora da Universidade Federal do Rio Grande do Sul, 2016. Repositório digital LUME. Disponível em: http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf. Acesso em: 2 set. 2019..
http://www.ufrgs.br/avalies2016/anais-do...
; 2019MAGALHÃES, Nara; RODRIGUES, Cláudia. Programas de avaliação externa no ensino superior brasileiro, repercussões até o SINAES e consequências no contexto UFRGS. Avaliação, Campinas; Sorocaba, v. 24, n. 2, p. 475-492, jul. 2019. Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772019000200475&script=sci_arttext&tlng=pt. Acesso em: 2 set. 2019. ) e também a entrevista realizada com a Profa. Ana Maria e Souza Braga, em KLERING (2013KLERING, Luís Roque. Avaliação e controle de desempenho de Universidades. Entrevistada: Profa. Ana Maria e Souza Braga. In: KLERING, L. R. (org.). Temas contemporâneos sobre gestão universitária. Florianópolis: BOOKESS, 2013. ).

A Lei N° 10.861/2004, que implantou o SINAES, trouxe uma série de indicadores e recomendações a respeito de como avaliar Universidades. A promulgação dessa lei foi o coroamento de um intenso debate nas universidades a respeito da avaliação da educação superior, debate esse que se opôs fortemente a uma corrente de pensamento neoliberal que vigorava no final dos anos 1990 no Brasil, expressado principalmente por algumas abordagens da mídia, pelas políticas educacionais do governo FHC e pelo CRUB - Conselho de Reitores das Universidades Brasileiras (que congrega as instituições privadas de ensino superior). Uma abordagem sobre esse contexto de debate nos anos 1990 é realizada por LEITE (2000LEITE, Denise (coord.). Inovação como fator de revitalização do ensinar e do aprender na Universidade - o caso da avaliação institucional - estudo desenvolvido por grupos interinstitucionais de pesquisa. Porto Alegre/ UFRGS: Editora UFRGS, 2000. ).

O SINAES, portanto, foi uma conquista do debate democrático a respeito da avaliação das universidades, dos critérios adequados para avaliar a educação (os quais, entende-se, devem ser diversos da avaliação empresarial), bem como do debate sobre a importância da participação da comunidade acadêmica na avaliação. Entendeu-se que a comunidade deveria ter uma participação ativa nos processos de avaliação e valorizou-se também os processos de autoavaliação, considerando-se que o conhecimento dos sujeitos envolvidos nos processos do fazer universitário poderiam contribuir para seu aperfeiçoamento.

Sobre avaliação participativa e democracia nas universidades, a abordagem de Denise Leite é esclarecedora:

Para atingir patamares elevados de qualidade, institucional e educacional, as universidades precisam partir do retrato falado de si próprias, ou seja, da avaliação protagonizada pelos atores institucionais, - seus docentes, discentes, técnicos-administrativos e provedores. Esta avaliação, que pode levar à mudança por dentro da instituição, constitui um instrumento de responsabilidade democrática. Por isto, ela tem o nome de Avaliação Participativa ou AP, uma forma de avaliação institucional que se alicerça em princípios de democracia direta ou radical (LEITE, 2005LEITE, Denise. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005. Disponível em: http://www.ufrgs.br/inov/docs/refrmasuniv_avaliainstpartic. Acesso em: 2 set. 2019.
http://www.ufrgs.br/inov/docs/refrmasuni...
, p. 11).

Ou seja, conceber a avaliação no princípio da participação significa pensar que a avaliação pode ser vista como transformadora da instituição. Era essa visão que vigorava na UFRGS nesse período do início do SINAES. Assim, o desafio institucional era combinar uma tradição democrática com uma nova proposta que não previa estruturas descentralizadas de avaliação, mas que também era resultado de uma construção coletiva.

O trabalho intenso com a avaliação interna e os NAUs culminou na criação da Secretaria de Avaliação Institucional (SAI) da UFRGS, no ano de 2000. A SAI, desde seu início, trabalhou na sensibilização da comunidade universitária para importância da avaliação, na busca de metodologias para avaliar o ensino de graduação e de pós-graduação, a pesquisa, a extensão, a gestão acadêmica e administrativa, na perspectiva do desenvolvimento da avaliação interna autônoma.

Num período logo anterior à criação da SAI, havia começado a experiência de aplicação do questionário de avaliação do trabalho docente, inicialmente na área de ciências agrárias, e depois expandindo-se a outras áreas e Unidades. Os questionários eram aplicados em papel, em geral ao final do semestre, nas salas de aula. Essa prática aconteceu de modo intermitente em algumas Unidades até o ano de 1997. Já no ano de 2001, a SAI desenvolveu uma experiência piloto em conjunto com os cursos de Agronomia, Administração, Engenharia Química e Psicologia: foi utilizado um instrumento de avaliação, pela primeira vez disponibilizado online. Já no segundo semestre de 2006, pela primeira vez foi aplicado o questionário para toda UFRGS, com geração de um banco de dados informatizado.

Além das primeiras experiências com os questionários, é importante salientar que, paralelamente, a organização dos Núcleos de Avaliação das Unidades (NAUs) foi avançando nesse período, culminando no ano de 2003 com a existência de NAUs em todas as Unidades da UFRGS, fortalecendo a perspectiva da autoavaliação3 3 Atualmente são 29 Unidades Regionais e Acadêmicas na UFRGS, incluindo o Campus Litoral Norte (CLN), que foi inaugurado em 2014, e todas contam com organizações de NAUs. Na época, eram 28 Unidades. .

A nova lei recomendava a criação da Comissão Própria de Avaliação (CPA). Assim, a Portaria 3395, de 13 de dezembro de 2004, instituiu a CPA na UFRGS, obedecendo ao que estabelecia a nova Lei. Alguns anos mais tarde, o Conselho Universitário (CONSUN) aprovou o Regimento da CPA, através da Decisão 184/2009, definindo suas atribuições e competências. Esta definição de atribuições foi necessária diante da organização local da avaliação, a qual previa um papel para os NAUs, os quais enfrentavam o risco de desaparecer diante das novas diretrizes. A solução encontrada foi propor um trabalho articulado: a CPA se dedicaria às dez dimensões do SINAES numa perspectiva macro, enquanto as realidades específicas das Unidades seriam tratadas pelos NAUs, os quais passaram a ter uma estrutura semelhante à CPA, prevista na legislação (Cf. Artigo 11, da Lei 10.861/2004).

Após a promulgação da Lei do SINAES, um novo papel coube à SAI como executora e articuladora do processo de avaliação institucional na Universidade: promover a avaliação na articulação entre CPA e NAUs, e reorientar a avaliação interna para contemplar a avaliação externa. A opção institucional, portanto, foi de fortalecer a avaliação a partir da valorização de um trabalho existente, com identidade própria.

A CPA debateu intensamente a mudança geral no foco da avaliação que, com o SINAES, passava a ser a avaliação externa. Nesse período, os processos de planejar a gestão e refletir sobre seu alcance e possibilidades de melhoria, através da avaliação institucional, começaram a se fortalecer, de modo a contemplar as exigências legais sobre a autoavaliação e avaliação externa.

E neste ponto cabe o alerta levantado por Barreyro e Rothen (2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.), quanto à possibilidade de autonomia das CPAs que a lei recomendava. Segundo a autora:

A identidade das CPAs depende do grau de autonomia e liberdade que elas possam efetivamente conseguir nas instituições, podendo adquirir características centralizadoras, burocráticas, utilitaristas ou emancipatórias, dependendo do grau de envolvimento dos atores institucionais e do uso que a autoavaliação tenha no interior da instituição. Apesar da legislação declarar a autonomia das CPAs em relação aos colegiados e órgãos da instituição, o cumprimento desta é um ato que depende da vontade política institucional e da estrutura organizacional (BARREYRO; ROTHEN, 2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006., p. 969).

De um modo geral, analisando-se a evolução histórica do processo avaliativo na UFRGS, é possível depreender que, a partir da criação do SINAES, a Universidade passa por um momento avaliativo mais voltado ao MEC e ao SINAES, externos à Universidade. Mas este voltar-se para a avaliação externa se faz com base no fortalecimento da avaliação interna, respeitando a identidade e as tradições locais de grande participação no processo avaliativo.

3.1 SINAES amplia o foco da avaliação na UFRGS, mas deixa lacunas

O SINAES propõe uma avaliação tripartite, ou seja: um dos focos é a avaliação da Instituição de Ensino Superior (IES), através da autoavaliação, outro foco é a avaliação dos Cursos, por meio das Comissões de Avaliadores que realizam Visitas in loco organizadas pelo Inep, e o terceiro foco é a avaliação do conhecimento adquirido pelos estudantes de graduação, suas habilidades e competências, através do Exame Nacional de Desempenho dos Estudantes (ENADE).

Para a autoavaliação das IES, o SINAES estabelece que são 10 (dez) as Dimensões a serem avaliadas, então a UFRGS voltou-se para ampliar gradativamente o foco da avaliação. As avaliações internas, especialmente a avaliação do trabalho do docente pelo discente, feita através dos Questionários informatizados, não era suficiente. Gradativamente, a avaliação foi sendo ampliada, até chegar no patamar atual, em que vários instrumentos de avaliação têm sido aprovados pela CPA e implementados, como: a Autoavaliação Docente, a Avaliação de Atividades EaD em Cursos Presenciais, a Avaliação de Cursos EaD, a Avaliação da Pós-Graduação, Avaliação da Infraestrutura, entre outros.

Além dos questionários informatizados, outra fonte de informação sobre a Universidade como um todo é o Relatório de Autoavaliação Institucional (RAAI), o qual vem sendo produzido desde 2004-2005 na UFRGS, com a participação de setores da Administração Central e participação das Unidades, através dos NAUs. Esse Relatório tem passado por constantes aperfeiçoamentos na Universidade, de modo a realizar um efetivo processo de autoavaliação, que possa expressar a identidade UFRGS, em constante aprimoramento.

Outro foco previsto pelo SINAES é a avaliação externa, através das visitas de Avaliação in loco, realizadas por avaliadores do INEP, com vistas a avaliação de Cursos. Na análise de indicadores para refletir sobre as condições de melhoria e aperfeiçoamento necessárias às instituições, os Relatórios produzidos pelas Comissões Externas, após as visitas de avaliação, são fundamentais, pois eles expressam as fragilidades e indicam possíveis ações de melhoria a serem propostas aos gestores, internamente.

O terceiro foco de avaliação previsto no SINAES é o ENADE (Exame Nacional de Avaliação do Desempenho do Estudante), respondido pelos estudantes concluintes de cursos de graduação4 4 Inicialmente, os ingressantes também precisavam responder todo o Exame, em 2011 os ingressantes passaram a responder apenas a Formação Geral. A partir de 2012, apenas os concluintes passaram a responder o exame. Ver mais detalhes no site do INEP, em www.inep.gov.br , o qual, juntamente com o Questionário do Estudante, compõe um conjunto de dados que subsidiam parte significativa da elaboração do Conceito Preliminar de Curso (CPC).

Percebe-se que, com este foco tripartite, a UFRGS, que possuía grande experiência em avaliação interna, e contava com participação massiva da comunidade universitária na avaliação dos anos 1990, gradativamente teve que se especializar e se voltar também para os focos externos propostos pelo SINAES.

Nos debates dos especialistas, várias têm sido as lacunas apontadas sobre a abordagem do SINAES, destacando-se sobretudo a questão da ausência de indicadores sobre internacionalização e a ausência de reflexões sobre o trabalho com os egressos, entre outras (VERHINE, 2015VERHINE, Robert. Avaliação e regulação da educação superior: uma análise a partir dos primeiros 10 anos do SINAES. Avaliação, Campinas; Sorocaba, SP, v. 20, n. 3, p. 603-619, nov. 2015. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2323/pdf . Acesso em: 2 set. 2019.
http://periodicos.uniso.br/ojs/index.php...
). No entanto, verifica-se também que, no modo como os indicadores têm sido interpretados, há uma excessiva ênfase no ranqueamento de instituições, que não fazia parte da proposta original do Sistema (LACERDA, 2015LACERDA, Leo Lynce Valle de. SINAES, teoria e prática: pressupostos epistemológicos em oposição. Avaliação. Campinas; Sorocaba, SP, , v. 20, n. 1, p. 87-104, mar. 2015. Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2167/1898. Acesso em: 2 set. 2019.
http://periodicos.uniso.br/ojs/index.php...
; DIAS SOBRINHO, 2008DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285 . Acesso em: 2 set. 2019.
http://periodicos.uniso.br/ojs/index.php...
; BARREYRO; ROTHEN, 2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.). Parece-nos que há uma outra ausência necessária de ser abordada, e que está relacionada à ênfase na participação democrática na avaliação, a qual foi precursora do SINAES nos anos 1990, mas perdeu força à medida que o raciocínio sobre medidores avançou.

Assim, quando se aborda a história da avaliação na UFRGS e se enfatiza que houve prioridade para a manutenção e qualificação da estrutura de NAUs, conectada à CPA, procura-se contribuir nesse debate.

O SINAES, ao mesmo tempo que significava uma legislação que buscava uma avaliação emancipatória, favorecia o controle das instituições. Segundo Barreyro e Rothen (2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.):

Na proposta da CEA5 5 A Comissão Especial de Avaliação da Educação Superior (CEA), foi criada pelo governo federal em 2003, com o objetivo de propor um sistema que unificasse as propostas e programas de avaliação anteriores, e foi a comissão responsável pela proposição do SINAES. , a função principal da avaliação é entendida como emancipatória, e o agente principal é a comunidade interna das IES, como no PAIUB; por sua vez, na lei, a função é o controle e os agentes principais são as agências do Estado [...], que a constituem numa lei híbrida [...]. (BARREYRO; ROTHEN, 2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006., p. 963).

A autora enfatiza, portanto, o controle das instituições que o sistema permite. Conforme o ângulo que se analise, este aspecto pode ser considerado positivo. Na época, diante da proliferação de instituições de ensino privado, ocorrida nas décadas que precederam a legislação, sem dúvida foi um avanço. A grande expansão precisava ser acompanhada de qualidade, e a verificação da qualidade pressupunha avaliação. Porém, o que se deseja enfatizar neste artigo é o controle que o sistema permite, mesmo quando se conhece a qualidade das instituições avaliadas. Em contextos não democráticos, o risco diante do conhecimento global de resultados e a não transparência de análises globais podem gerar distorções imprevistas.

Barreyro e Rothen alertam que, com o foco tripartite, a Lei Nº10.861/2004 direciona a avaliação para as instituições, os cursos e os estudantes, recupera e reconfigura aspectos parciais de cada uma das experiências avaliativas anteriormente realizadas, mas não menciona a análise global do sistema (BARREYRO; ROTHEN, 2006BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.). Pode-se depreender das afirmações da autora que a mesma está se referindo à centralização da análise dos resultados globais. Anteriormente, era proposto pela Comissão Especial de Avaliação da Educação Superior (CEA) que a Comissão Nacional de Avaliação da Educação Superior (CONAES)6 6 Aqui faz-se referência a duas instâncias: a Comissão Especial de Avaliação da Educação Superior (CEA), já definida na nota anterior (9), e a Comissão Nacional de Avaliação da Educação Superior (CONAES), órgão colegiado de coordenação e supervisão do SINAES, definida no próprio corpo da Lei 10861/2004, em seus artigos 6º e 7º. pudesse realizar as análises globais. Porém, após a promulgação da Lei do SINAES, essa Comissão passou a ter um caráter mais consultivo que de decisão ou execução, e as análises dos resultados dos instrumentos de avaliação e dos resultados globais passou a ser responsabilidade técnica do Inep.

Assim, percebe-se que a legislação que implantou um sistema de avaliação nacional, o qual foi resultado de um amplo debate no país, incluindo a participação ativa das instâncias educacionais, já na época de sua implantação deixava dúvidas quanto ao efetivo exercício de sua vocação democrática e participativa. Na UFRGS, para tentar garantir esse espaço, houve a decisão de manter uma estrutura local prévia, ligada à CPA, como forma de garantir um trabalho conjunto, que fortalecesse as características da identidade institucional e contribuísse para a consolidação de sua autonomia. Esse foi o papel dos NAUs, como é apresentado a seguir.

3.2 A avaliação na UFRGS Pós-SINAES e a qualificação dos NAUS

No começo, entre os anos 1990 e 2000, as atribuições dos NAUs relativas ao trabalho com avaliação eram muito amplas. Como se pode perceber na descrição de suas atribuições da época (Plano de Gestão, 2000), esperava-se dos NAUs um trabalho bastante complexo e completo no âmbito da avaliação institucional interna e externa (o que hoje é mediado pela SAI e CPA); esperava-se também dos NAUs um trabalho com os egressos e entidades cientificas; e igualmente que construíssem uma perspectiva crítica e replicassem no interior das Unidades acadêmicas as necessidades de melhoria apontadas pelos avaliadores externos nas Visitas in loco, realizando uma discussão com a comunidade acadêmica.

Alguns anos mais tarde, com a aprovação do Regimento da CPA pelo Conselho Universitário (CONSUN), através da Decisão Nº 184/2009, a especialidade do trabalho dos NAUs começou a ganhar um escopo mais específico, como se percebe no Art. 8ºdo referido Regimento, que estabelece: “Aos Núcleos de Avaliação das Unidades, articulados com a SAI, compete: a) Implantar o processo de avaliação das Unidades, segundo o SINAES/PAIPUFRGS7 7 O PAIPUFRGS é o Programa de Avaliação Institucional Permanente da Universidade Federal do Rio Grande do Sul. , envolvendo a comunidade de alunos, professores e servidores técnico-administrativos; b) Realizar eventos que sirvam de suporte teórico e prático ao processo de avaliação; c) Responsabilizar-se pela análise do diagnóstico de sua Unidade, coordenando o processo de Avaliação Interna; d) Participar de grupos de trabalho organizados pela SAI; e) Elaborar o projeto de avaliação interna da Unidade, contemplando suas peculiaridades e especificidades, entendendo as dimensões do SINAES/PAIPUFRGS como referências orientadoras; f) Organizar relatórios de avaliação, de acordo com o cronograma geral do SINAES/PAIPUFRGS”.

Assim, gradativamente o trabalho de avaliação na Universidade foi se desenvolvendo: nos anos 2009 até hoje, houve uma especialização do trabalho da CPA e dos NAUs, com a especificação do escopo de atuação da avaliação e da gestão. Fortaleceu-se a visão da avaliação como base para o planejamento e a gestão. Ou seja, o papel da avaliação institucional como responsável pelo fornecimento de análises e diagnósticos que possibilitem à gestão o papel da tomada de decisões e a atuação no sentido da resolução de problemas que foram apontados pela avaliação. Foi institucionalizado em 2018 o Programa Permanente de Qualificação em Avaliação e Regulação na Universidade, uma ação da Secretaria de Avaliação em conjunto com a Pró-Reitoria de Gestão de Pessoas. Esse programa tem auxiliado tanto os integrantes dos NAUs e CPA, quanto outras instâncias da Universidade a compreender melhor as diversas atividades que envolvem o trabalho de avaliação. Diversos cursos já foram ofertados para a comunidade, a saber: Análise dos Resultados IGC, CPC e Enade; Introdução ao NVivo; Orientações para preenchimento do formulário eletrônico de avaliação e preparação para visita in loco nos processos autorizativos de cursos de graduação; Técnicas para Análise Qualitativa de Dados; Validade e fidedignidade de instrumentos para pesquisa quantitativa; SPSS para integrantes dos NAUs; Elaboração do Relatório de Autoavaliação Institucional (RAAI) UFRGS 2019 - membros dos NAUs; Elaboração do Relatório de Autoavaliação Institucional (RAAI) UFRGS 2019 - membros da Administração Central; Oficina Preparação para o Enade 2019, entre outros. (Disponível em: http://www.ufrgs.br/sai/dados-resultados/programa-permanente-de-qualificacao).

Atualmente, a autoavaliação se fortalece, mas articulada com a avaliação externa. Busca-se apoiar e reconhecer ainda mais o trabalho dos NAUs, e fortalecer a identidade institucional com este trabalho. O objetivo é um maior acompanhamento e apoio ao trabalho dos NAUs e da CPA, relativos à avaliação interna, mas sempre tendo no horizonte de atuação a avaliação externa.

3.2.1 Práticas participativas e descentralizadas de avaliação: os NAUS nas unidades

A UFRGS atualmente conta com 29 Unidades regionais e acadêmicas8 8 São as seguintes as Unidades Regionais e acadêmicas da UFRGS: Campus Litoral Norte; Colégio Aplicação; Escola de Administração; Escola de Educação Física, Fisioterapia e Dança; Escola de Enfermagem; Escola de Engenharia; Faculdade de Agronomia; Faculdade de Arquitetura; Faculdade de Biblioteconomia e Comunicação; Faculdade de Ciências Econômicas; Faculdade de Direito; Faculdade de Educação; Faculdade de Farmácia; Faculdade de Medicina; Faculdade de Odontologia; Faculdade de Veterinária; Instituto de Artes; Instituto de Biociências; Instituto de Ciências Básicas da Saúde; Instituto de Ciências e Tecnologia de Alimentos; Instituto de Filosofia e Ciências Humanas; Instituto de Física; Instituto de Geociências; Instituto de Informática; Instituto de Letras; Instituto de Matemática; Instituto de Pesquisas Hidráulicas; Instituto de Psicologia; Instituto de Química. . Cada uma dessas Unidades em geral possui mais de um Curso, e as especificidades de cada uma traz desafios à abordagem da avaliação. Cada uma das Unidades possui um Núcleo de Avaliação, que é estimulado a trabalhar na perspectiva externa e interna, tratando dos focos do SINAES - autoavaliação, análise dos relatórios das visitas in loco e análises sobre o Enade - e dos resultados das pesquisas internas, através da aplicação de instrumentos que são aprovados pela CPA e que envolvem tanto a graduação quanto a pós-graduação.

Assim, tem-se um trabalho dinâmico e intenso desenvolvido pelos NAUs, os quais são estimulados a realizar o registro de suas representações legais, através de Portarias que regulamentam suas representações e tempos de mandato, garantindo o trabalho assegurado tanto pela Lei do SINAES quanto das legislações internas da UFRGS. Os NAUs participam do Relatório de Autoavaliação Institucional (RAAI) de toda UFRGS, com elaboração de relatórios próprios; organizam eventos para apresentação de resultados de avaliação aos gestores, para que tomem medidas de melhoria; participam também do Salão de Ensino, evento anual que congrega experiências de ensino da instituição (graduação, EaD, pós-graduação); participam do Fórum dos NAUs, instância que reúne todos os Núcleos para intercâmbios de experiências, semestralmente; trabalham de modo integrado com outras instâncias da Unidade e, quando possível, participam dos Conselho da Unidade, de modo a garantir respaldo em suas ações e análises; procuram manter uma boa comunicação interna e externa, inclusive através de seus sites, para que o trabalho de avaliação tenha visibilidade e seja valorizado.

Entre as ações de avaliação desenvolvidas pelos NAUs, vem se consolidando uma denominação que partiu dos próprios Núcleos, de “Boas Práticas dos NAUs”, as quais envolvem exemplos e modos de trabalhar sobre avaliação, que são objeto de interesse e troca entre os próprios Núcleos. Alguns exemplos dessas boas práticas são a realização de estudos e análises sobre os dados quantitativos e qualitativos de avaliação interna recebidos no painel de avaliação (abordado adiante).

No que se refere a estudos com os alunos, identifica-se as seguintes iniciativas de promoção de escutas mais específicas de seus pontos de vista, além daquela promovida através dos instrumentos da CPA: estudos com formandos sobre a qualidade dos cursos; estudos sobre egressos; estudos qualitativos e quantitativos sobre evasão nos cursos de graduação; promoção de eventos locais para integração e troca de experiências entre alunos ingressantes e concluintes; estudos visando compreender diferenças de desempenho e conhecer demandas de alunos de cursos diurnos e noturnos; práticas diversas para conhecer o posicionamento dos alunos a respeito da qualidade do ensino, como: Cabine Anônima de Avaliação, rodas de conversa, seminários, entre outras.

Os NAUs têm se envolvido também na elaboração de instrumentos próprios de avaliação, sobre variadas temáticas, e têm procurado estimular a participação de técnicos-administrativos na avaliação da Universidade. Um exemplo são os instrumentos sobre infraestrutura nas Unidades; outro exemplo é a elaboração coletiva de Instrumento próprio de Avaliação dos Internatos do Curso de Medicina (envolvendo participação de alunos, professores e integrantes da SAI/CPA). Outros exemplos de boas práticas dos NAUs são a realização de enquetes junto à comunidade externa (escolas ensino médio, pais, professores), bem como enquetes próprias para a comunidade interna (universitária). Algumas iniciativas de inclusão de novos tópicos na avaliação, como: a avaliação da orientação e avaliação da qualidade de Trabalhos de Conclusão de Curso (TCCs) produzidos nas Unidades, também merecem destaque.

Quanto às propostas de melhorias nas metodologias de ensino-aprendizagem, identifica-se várias iniciativas, como: a promoção de evento de premiação do melhor professor na Unidade; a integração de professores pesquisadores ao NAU, com experiências de pesquisas sobre boas práticas docentes, pesquisas sobre o que é considerado um “bom professor”; o apoio e estímulo a professores para realização de depoimentos voluntários sobre melhorias de seus métodos de ensino a partir da avaliação. Percebe-se, também, uma qualificação científica do trabalho de avaliação, com a formação de grupos de pesquisa sobre avaliação, envolvendo professores, técnicos e estudantes.

No que se refere à visibilidade e publicização do trabalho do NAU: elaboração de sites dos NAUs, vinculados ou não aos sites das Unidades; divulgação do trabalho dos NAUs através de vídeos, fotos, entrevistas, etc., postados nos sites das Unidades; elaboração de Projeto Piloto de publicação chamado Cadernos de Avaliação; publicações de Informativos, Boletins, Folders e periódicos sobre avaliação; promoção de eventos de avaliação anualmente, e participação em eventos externos.

Alguns NAUs têm conseguido realizar um trabalho mais aprofundado de análise sobre os Relatórios resultantes das Visitas de Avaliação in loco, identificando as possíveis ações de melhoria que poderiam ser executadas pelos gestores para enfrentar as fragilidades apontadas. Merecem destaque, também, algumas análises e estudos realizados por alguns NAUs sobre o desempenho de estudantes no Enade, comparando o desempenho de estudantes em cursos de diferentes instituições da cidade, do estado e do país.

Não se pode negar que são muitas as dificuldades a serem superadas no trabalho dos NAUs, entre elas a exigência, comum no ambiente universitário, de grande número de participações em outros Conselhos, Comissões, Núcleos, etc. Alguns grupos constituídos de NAUs também encontram dificuldades para realizar efetivamente o trabalho de avaliação, relatando a percepção de que seus membros atribuem prioridade a outros compromissos mais prestigiados academicamente, como a pesquisa e a pós-graduação. Isso sem citar a já conhecida resistência à avaliação em si, que vem sendo gradativamente superada.

Mas o que se pode perceber nessa abordagem sobre boas práticas avaliativas, é que elas revelam caminhos para o trabalho dos NAUs: aqueles que buscam o envolvimento de toda comunidade da Unidade no debate e no trabalho sobre avaliação; realizam um bom trabalho em equipe, com decisões conjuntas sobre o planejamento e execução do trabalho de avaliação; buscam uma integração no trabalho com outros setores da Unidade, procurando identificar os pontos frágeis e colaborando com a direção da Unidade com sugestões para a promoção de melhorias, são os que têm conseguido ser fortalecidos no processo.

3.2.2 Painel de avaliação, ferramenta de apoio ao trabalho dos NAUS

Para desenvolver o trabalho sobre autoavaliação institucional, ou avaliação interna da qualidade, os NAUs contam com o recurso ao Painel de Avaliação: trata-se de um espaço informatizado, que concentra os resultados da avaliação na forma de banco de dados organizados, com informações qualitativas e quantitativas sobre os resultados da avaliação interna, obtidos a partir da resposta aos instrumentos aprovados pela CPA.

Através do Painel de Avaliação, os NAUs têm acesso aos resultados da Avaliação das atividades de ensino ministradas. Tem-se os seguintes instrumentos em vigência na UFRGS: Avaliação do Docente pelo Discente, Autoavaliação Docente, Avaliação de Atividades EaD em Cursos presenciais; Avaliação de Cursos EaD, Avaliação da Pós-Graduação e Avaliação da Infraestrutura.

A seguir apresenta-se uma tela para exemplificar o modo como os dados estão organizados no Painel. Na avaliação do Docente pelo Discente, em uma Unidade “x”, aparecem os resultados da avaliação, respondida on line pelos estudantes, com as médias obtidas (na escala de 1 a 5), desvio padrão, percentual de respondentes, percentual de “não se aplica”9 9 O campo “Não se aplica” ajuda a legitimar a avaliação, pois quando registra baixos índices, significa que o respondente considerou pertinente a pergunta. Esse argumento tem sido importante para vencer resistências à avaliação. .

Figura 1
Tela disponível para os NAUs no Painel de Avaliação/UFRGS

Na Figura 1, percebe-se na última coluna à direita, que são disponibilizados gráficos para cada questão, os quais são apresentados no formato a seguir:

Figura 2
Gráfico disponível para os NAUs no Painel de Avaliação/UFRGS

Existe também o acesso dos NAUs a uma planilha contendo comentários qualitativos dos alunos, que se posicionam livremente num espaço aberto: após cada questão quantitativa há um espaço para o aluno se manifestar. Se as questões quantitativas não contemplam todas as variáveis sobre as quais o aluno deseja se manifestar/posicionar, ainda é disponibilizado um espaço aberto geral, que é analisado pela CPA. Cabe salientar que, tanto nas questões quantitativas, quanto nas questões qualitativas, o anonimato dos respondentes é sempre preservado.

De posse desses dados, cabe aos NAUs realizar análises e elaborar relatórios para serem entregues aos gestores (Coordenadores de Comissões de Graduação, Chefes de Departamento, Diretores de Unidades, NDEs), para que os mesmos possam tomar as providências de melhoria necessárias. Para dar conta deste processo, de suma importância, foi estabelecido pela Decisão Nº 2/2015, a Semana de Avaliação Institucional UFRGS.

3.2.3 Entrega de resultados da avaliação na UFRGS

O evento denominado Semana de Avaliação foi estabelecido na UFRGS a partir da Decisão CPA Nº 2/2015, e consiste num momento de entrega dos resultados de avaliação institucional aos gestores: a CPA entrega os resultados gerais das avaliações da UFRGS para gestores da Administração Central (Reitor, Vice-Reitor, Pró-Reitores, Secretários, Diretores, etc.), enquanto os NAUs apresentam os resultados das avaliações da Unidade aos gestores da mesma (Direção, Vice-Direção, Chefes de Departamentos, Coordenadores de Comissões, Colegiados, etc.), contando com a participação da CPA.

O objetivo é fortalecer a avaliação, contribuir para o estabelecimento de uma cultura de avaliação institucional. Entende-se por cultura da avaliação:

[o]conjunto de valores acadêmicos, atitudes e formas coletivas de conduta que tornam o ato avaliativo parte integrante do exercício diuturno das funções universitárias. A cultura da avaliação, para instalar-se, necessita de construção coletiva com intensa participação da comunidade, tanto nos procedimentos e implementação, quanto na utilização dos resultados (BRAGA; LEITE, 2006BRAGA, Ana; LEITE, Denise. Verbete Cultura da Avaliação. In: MOROSINI, Marília Costa; et al. Enciclopedia de Pedagogia Universitária. Glossário, v. 2. Brasília: INEP / RIES - Rede Sulbrasileira de Investigadores da Educação Superior, 2006. p. 469., p. 469).

Percebe-se nesta definição, que se pode falar na existência de uma cultura de avaliação institucional, quando a avaliação passa a fazer parte das ações institucionais, e já se faz presente desde o planejamento. À medida que isto acontece, e a avaliação vai se tornando parte do exercício de todas as funções universitárias, no planejamento, execução e avaliação de resultados, com a identificação de pontos frágeis e necessidades de melhorias, percebe-se que não é só a cultura de avaliação que se solidifica, mas também o caráter de processo cíclico da avaliação vai se tornando mais claro. Uma cultura forte de avaliação pressupõe melhoria constante, num processo permanente.

Como se verifica, a entrega de resultados na Semana de Avaliação aos gestores possibilita que, cada vez mais, os objetivos de construção e consolidação de uma cultura de avaliação se concretizem.

4 Conclusão: o case UFRGS frente ao panorama geral da avaliação institucional

Pode-se perceber que na UFRGS o caminho para a consolidação da cultura de avaliação passa pelos NAUs. A história de sucesso da avaliação institucional pode ser explicada pela articulação entre uma forte avaliação interna e a avaliação externa, pelo respeito à história local de envolvimento da comunidade universitária, com grande participação nos processos. Os NAUs, articulados com a SAI e a CPA, têm sido um diferencial na trajetória institucional de consolidar uma avaliação participativa, contribuindo para garantir os excelentes resultados da UFRGS na avaliação nacional. Seus trabalhos de boas práticas de avaliação, aliados a estruturas semelhantes à da CPA, distribuídas nas Unidades Acadêmicas e regionais, permitem um exercício descentralizado e participativo de todas instâncias na avaliação institucional.

Essa ligação entre avaliação e participação não é evidente, e o próprio sistema de avaliação em vigor permite vislumbrar algumas lacunas, abordadas aqui com ajuda de especialistas. Destacou-se que o SINAES, ao invés da emancipação anteriormente idealizada, proporcionou um controle maior por parte das agências governamentais. Ressalta-se aqui que esse controle pode ser positivo, ao referir-se especificamente à necessidade de expansão de instituições com qualidade, mas pode ser perverso em contextos sociais não democráticos.

Ressaltou-se, também, que houve uma mudança nas atribuições planejadas inicialmente para a CONAES, tendo como resultado a realização de análises globais realizadas não por um órgão participativo, mas predominando as análises técnicas a cargo do INEP. Além disso, verifica-se, no modo como os indicadores têm sido interpretados, que há uma excessiva ênfase no ranqueamento de instituições, o qual não fazia parte da proposta original do Sistema.

Quando se aborda a história da avaliação na UFRGS e se enfatiza que houve prioridade para a manutenção da estrutura de NAUs, conectada à CPA, procura-se contribuir no debate de retomada da vocação participativa da avaliação institucional, que pode gerar transformações. O papel dos NAUs na Universidade é estratégico, pois seria muito difícil dar conta de uma Lei tão ampla, como a Lei do SINAES, se não houvesse a participação colaborativa de toda a Universidade. Para tanto, é preciso que essa estrutura esteja cada vez mais qualificada e que entenda o objeto e os objetivos da avaliação. É preciso que a Universidade incentive o comprometimento e a motivação para com o trabalho e, assim, busque a responsabilidade de cada parte envolvida. NA UFRGS, pode-se dizer que muito já se avançou na parte relativa a qualificação das instâncias para com o tema avaliação e regulação, a partir do Programa Permanente de Qualificação em Avaliação e Regulação.

Pode-se dizer que a estrutura de trabalho assumida pela UFRGS em relação à avaliação institucional pode ser aplicada a qualquer tipo de instituição, pública ou privada. Existe um enorme desafio em relação as Instituições multicampi, mas a forma de escolha do NAU atualmente na UFRGS, pode ser instituída por Campi nessas Universidades, por exemplo, e a CPA pode possuir na sua estrutura uma representação por Campi.

O desafio proposto neste trabalho é o da participação, do envolvimento, do comprometimento e da qualificação. É preciso que as instituições queiram efetivamente implementar nas suas diferentes instâncias, estruturas descentralizadas de avaliação e essas estruturas necessitam ser reconhecidas, normatizadas e valorizadas, porque se isso não ocorrer, a própria estrutura cai no descrédito.

Atualmente é esse reconhecimento que a UFRGS busca e está comprometida. No esforço de auxiliar os NAUs a entenderem a relevância dos seus papeis, de se qualificarem, de inovarem na busca de metodologias de trabalho e, principalmente, no esforço de colaboração, como bem coloca Leite (2005LEITE, Denise. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005. Disponível em: http://www.ufrgs.br/inov/docs/refrmasuniv_avaliainstpartic. Acesso em: 2 set. 2019.
http://www.ufrgs.br/inov/docs/refrmasuni...
). Acredita-se que o maior desafio é na manutenção desta cultura de avaliação, que impacta todas as atividades na Universidade.

Assim, ao relacionar a participação democrática com a eficácia da avaliação, considerando-a como uma ausência necessária de ser abordada no debate sobre o SINAES, a reflexão aqui desenvolvida busca propor a retomada da ênfase na participação democrática como indispensável para pensar a avaliação institucional no contexto atual.

Referências

  • BACHELARD, Gaston. O novo espírito científico. São Paulo: Abril Cultural, 1978. (Os pensadores).
  • BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. “SINAES” CONTRADITÓRIOS: CONSIDERAÇÕES SOBRE A ELABORAÇÃO E IMPLANTAÇÃO DO SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR. Educação e Sociedade, Campinas, v. 27, n. 96 - Especial, p. 955-977, out. 2006.
  • BOURDIEU, Pierre. O poder simbólico. Rio de Janeiro: Bertrand, 1989.
  • BRAGA, Ana; LEITE, Denise. Verbete Cultura da Avaliação. In: MOROSINI, Marília Costa; et al Enciclopedia de Pedagogia Universitária. Glossário, v. 2. Brasília: INEP / RIES - Rede Sulbrasileira de Investigadores da Educação Superior, 2006. p. 469.
  • DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285 . Acesso em: 2 set. 2019.
    » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285
  • KLERING, Luís Roque. Avaliação e controle de desempenho de Universidades. Entrevistada: Profa. Ana Maria e Souza Braga. In: KLERING, L. R. (org.). Temas contemporâneos sobre gestão universitária. Florianópolis: BOOKESS, 2013.
  • LACERDA, Leo Lynce Valle de. SINAES, teoria e prática: pressupostos epistemológicos em oposição. Avaliação. Campinas; Sorocaba, SP, , v. 20, n. 1, p. 87-104, mar. 2015. Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2167/1898 Acesso em: 2 set. 2019.
    » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2167/1898
  • LEITE, Denise (coord.). Inovação como fator de revitalização do ensinar e do aprender na Universidade - o caso da avaliação institucional - estudo desenvolvido por grupos interinstitucionais de pesquisa. Porto Alegre/ UFRGS: Editora UFRGS, 2000.
  • LEITE, Denise. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005. Disponível em: http://www.ufrgs.br/inov/docs/refrmasuniv_avaliainstpartic Acesso em: 2 set. 2019.
    » http://www.ufrgs.br/inov/docs/refrmasuniv_avaliainstpartic
  • MAGALHÃES, Nara; RODRIGUES, Cláudia. A Trajetória da Avaliação na UFRGS: entre a avaliação externa e a autoavaliação In: SIMPÓSIO AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 2., 2016, Porto Alegre. Anais [...]. Porto Alegre, RS: Editora da Universidade Federal do Rio Grande do Sul, 2016. Repositório digital LUME. Disponível em: http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf Acesso em: 2 set. 2019..
    » http://www.ufrgs.br/avalies2016/anais-do-evento/artigos-1/156467.pdf
  • MAGALHÃES, Nara; RODRIGUES, Cláudia. Programas de avaliação externa no ensino superior brasileiro, repercussões até o SINAES e consequências no contexto UFRGS. Avaliação, Campinas; Sorocaba, v. 24, n. 2, p. 475-492, jul. 2019. Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772019000200475&script=sci_arttext&tlng=pt. Acesso em: 2 set. 2019.
  • MAGALHÃES, Nara. Eu vi um Brasil na TV: televisão e cultura em perspectivas antropológicas. Santa Maria, RS: Editora UFSM, 2008.
  • PEREIRA DE QUEIROZ, Maria Izaura. Relatos orais: do 'Indizível' ao 'Dizível'. In: VON SIMSON, O. M. (org.). Experimentos com histórias de vida (Itália-Brasil). Rio de Janeiro: Vértice, 1988. p. 14-43.
  • UFRGS. Avaliação Institucional da UFRGS: PAIUFRGS. Projeto UFRGS Século XXI, Compromissos e Ações,. 1999.
  • UFRGS. Secretaria de Avaliação Institucional. Relatório de gestão. 2000. Disponível em: http://www.ufrgs.br/ufrgs/arquivos/relatorios-de-gestao/relatorio-de-gestao-ufrgs-2000. Acesso em: 2 set. 2019.
  • VERHINE, Robert. Avaliação e regulação da educação superior: uma análise a partir dos primeiros 10 anos do SINAES. Avaliação, Campinas; Sorocaba, SP, v. 20, n. 3, p. 603-619, nov. 2015. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2323/pdf Acesso em: 2 set. 2019.
    » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2323/pdf
  • YIN, R. K. Case study research: design and methods. Thousand Oaks: SAGE Publications, 2002
  • 1
    Este artigo foi originalmente apresentado ao AVALIES 2019, 4º Simpósio Avaliação da Educação Superior, realizado em Salvador, Bahia, em outubro de 2019, elaborado sob a orientação da Profa. Dra. Cláudia Rodrigues. Agradecemos especialmente à Profa. Ana Maria e Souza Braga, cuja contribuição foi fundamental para que esse artigo fosse possível, especialmente no que se refere ao resgate do histórico dos Núcleos de Avaliação das Unidades (NAUs) na UFRGS, estruturas que contaram com sua contribuição decisiva para existir, ainda nos anos 1980.
  • 2
    A descrição sobre os órgãos responsáveis pela avaliação na UFRGS e quem os compunha encontra-se no Relatório de Gestão [xref ref-type="bibr" rid="r15"](UFRGS, 2000)[/xref]).
  • 3
    Atualmente são 29 Unidades Regionais e Acadêmicas na UFRGS, incluindo o Campus Litoral Norte (CLN), que foi inaugurado em 2014, e todas contam com organizações de NAUs. Na época, eram 28 Unidades.
  • 4
    Inicialmente, os ingressantes também precisavam responder todo o Exame, em 2011 os ingressantes passaram a responder apenas a Formação Geral. A partir de 2012, apenas os concluintes passaram a responder o exame. Ver mais detalhes no site do INEP, em www.inep.gov.br
  • 5
    A Comissão Especial de Avaliação da Educação Superior (CEA), foi criada pelo governo federal em 2003, com o objetivo de propor um sistema que unificasse as propostas e programas de avaliação anteriores, e foi a comissão responsável pela proposição do SINAES.
  • 6
    Aqui faz-se referência a duas instâncias: a Comissão Especial de Avaliação da Educação Superior (CEA), já definida na nota anterior (9), e a Comissão Nacional de Avaliação da Educação Superior (CONAES), órgão colegiado de coordenação e supervisão do SINAES, definida no próprio corpo da Lei 10861/2004, em seus artigos 6º e 7º.
  • 7
    O PAIPUFRGS é o Programa de Avaliação Institucional Permanente da Universidade Federal do Rio Grande do Sul.
  • 8
    São as seguintes as Unidades Regionais e acadêmicas da UFRGS: Campus Litoral Norte; Colégio Aplicação; Escola de Administração; Escola de Educação Física, Fisioterapia e Dança; Escola de Enfermagem; Escola de Engenharia; Faculdade de Agronomia; Faculdade de Arquitetura; Faculdade de Biblioteconomia e Comunicação; Faculdade de Ciências Econômicas; Faculdade de Direito; Faculdade de Educação; Faculdade de Farmácia; Faculdade de Medicina; Faculdade de Odontologia; Faculdade de Veterinária; Instituto de Artes; Instituto de Biociências; Instituto de Ciências Básicas da Saúde; Instituto de Ciências e Tecnologia de Alimentos; Instituto de Filosofia e Ciências Humanas; Instituto de Física; Instituto de Geociências; Instituto de Informática; Instituto de Letras; Instituto de Matemática; Instituto de Pesquisas Hidráulicas; Instituto de Psicologia; Instituto de Química.
  • 9
    O campo “Não se aplica” ajuda a legitimar a avaliação, pois quando registra baixos índices, significa que o respondente considerou pertinente a pergunta. Esse argumento tem sido importante para vencer resistências à avaliação.

Datas de Publicação

  • Publicação nesta coleção
    16 Abr 2021
  • Data do Fascículo
    Jan-Apr 2021

Histórico

  • Recebido
    25 Out 2019
  • Aceito
    22 Jun 2020
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br