Análise do processo de avaliação de bibliotecas universitárias

Analysis of the evaluation process of university libraries

Resumo:

Este trabalho analisou o processo de avaliação das bibliotecas da Universidade Federal da Paraíba, baseado nos indicadores de avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, da Organização Internacional de Normalização 11620 de 2014 e da Federação Internacional de Associações e Instituições Bibliotecárias. De natureza qualitativa, a pesquisa contou com levantamento bibliográfico e documental. No tratamento dos dados coletados, a técnica utilizada é a análise de conteúdo. As fontes foram os documentos oficiais das avaliações institucionais e federais, o Plano de Desenvolvimento Institucional 2019-2023 e a autoavaliação de 2020 da referida Universidade. Concluímos que, ao analisar os processos avaliativos utilizados pelas bibliotecas da Universidade Federal da Paraíba à luz das diretrizes de avaliação enfocadas, há uma lacuna entre tais indicadores e os instrumentos do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, bem como os instrumentos institucionais. Constatamos a necessidade de uma avaliação específica com finalidade de melhor diagnosticar e servir de apoio à gestão, no processo de melhoria e nas constantes atualizações tecnológicas impostas por uma sociedade digital.

Palavras-chave:
avaliação do ensino superior; avaliação de bibliotecas; bibliotecas universitárias; avaliação de bibliotecas universitárias; Universidade Federal da Paraíba

Abstract:

This work analyzed the evaluation process of the libraries of the Federal University of Paraíba, based on the evaluation indicators of the National Institute of Educational Studies and Research Anísio Teixeira, the International Organization for Standardization 11620 of 2014 and the International Federation of Library Associations and Institutions. Qualitative in nature, the research included a bibliographic and documentary survey. In the treatment of collected data, the technique used is content analysis. The sources were the official documents of institutional and federal evaluations, the Institutional Development Plan 2019-2023 and the 2020 self-assessment of the aforementioned University. We conclude that, when analyzing the evaluation processes used by the libraries of the Federal University of Paraíba in the light of the focused evaluation guidelines, there is a gap between such indicators and the instruments of the National Institute of Educational Studies and Research Anísio Teixeira, as well as the institutional instruments. We note the need for a specific assessment in order to better diagnose and support management, in the improvement process and in the constant technological updates imposed by a digital society.

Keywords:
higher education evaluation; university libraries; evaluation of libraries; evaluation of university libraries; Federal University of Paraiba

1 Introdução

Em um contexto social de crescimento do ensino superior no Brasil, fez-se necessário desenvolver em paralelo os setores adjacentes de apoio, os quais foram imprescindíveis ao desenvolvimento das instituições desse nível de ensino. Dentre esses, destacaram-se especialmente as bibliotecas universitárias (BU) na função de apoio ao ensino, à pesquisa e à extensão.

Em uma perspectiva diacrônica, as bibliotecas foram perdendo o perfil restritivo que as caracteriza inicialmente para se tornarem referência na disseminação da informação. Com isso, passaram a ser protagonistas importantes na formação do sistema da educação superior, na construção pedagógica e na mudança sociocultural do país.

A evolução tecnológica, desde a criação da prensa até a internet e seus ambientes virtuais, trouxe para as bibliotecas a possibilidade de tornarem seus acervos cada vez mais acessíveis a uma quantidade maior de usuários. Por outro lado, para absorverem todas essas modificações, foi necessário executar mudanças estruturais em sua organização, com vistas a suportar o desenvolvimento e as transformações que começavam a acontecer de forma acelerada. Essa transição exigiu muitas adaptações, muitas delas sem o tempo hábil, sem o orçamento ou planejamento necessários.

Nessas circunstâncias transitórias e evolutivas, intensifica-se a necessidade de avaliar esse processo e mensurar se os caminhos percorridos levam aos objetivos traçados. Movidas por essa perspectiva, organizações internacionais da biblioteconomia, de normatização, da ciência da informação e áreas afins desenvolveram muitos estudos sobre o tema, dos quais resultaram alguns balizadores para a avaliação em bibliotecas. Dentre os estudos, dois se destacam: as diretrizes da Federação Internacional de Associações e Instituições Bibliotecárias (IFLA) e a norma 11620 (2014) da Organização Internacional de Normalização (ISO) .

Com o crescimento e o desenvolvimento do país, a necessidade de planejar e avaliar tornou-se evidente e generalizada. Assim, o Plano Diretor de Reforma do Aparelho do Estado, em meados da década de 1990 ( BRASIL, 1995), teve como objetivo a melhoria dos processos de gestão e da capacidade administrativa do Estado, entre os quais as Instituições Federais de Ensino Superior (IFES).

Nesse cenário, floresceram muitas tentativas do governo de instituir um processo avaliativo, o que culminou no atual Sistema de Avaliação do Ensino Superior (SINAES), criado pelo Ministério da Educação (MEC) do Brasil em 2004, pela Lei n.º 10.861, para avaliar e acompanhar o desenvolvimento das instituições de ensino superior (IES) no país. O SINAES define o sistema de avaliação de todo o ensino superior no Brasil, com o intuito de garantir a “[...] eficácia institucional e efetividade acadêmica e social” ( BRASIL, 2004, p. 1). A responsabilidade pela implementação compete ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

Além da possibilidade de nortear rumos, a avaliação é fundamental para a prestação de contas à sociedade dos serviços de educação oferecidos pelas instituições de ensino. As bibliotecas universitárias incluem-se nesse processo de forma ainda mais urgente, pois, como lembrado por Cunha (2000, p. 72), “[...] o enfoque do mercado globalizante pode ser perverso para as bibliotecas universitárias, porque elas, tradicionalmente, são centros de custos, e não de captação de recursos”.

Frente a isso, é importante analisar se os instrumentos oficiais de avaliação são capazes de auferir a realidade das bibliotecas universitárias e se estão em sintonia com suas necessidades de desenvolvimento. É fato que a biblioteca tem seu lugar delimitado na avaliação do SINAES, e não poderia ser diferente, pois esse processo tem pretensão de englobar todas as variáveis da atividade pedagógica no processo de avaliação das instituições de ensino superior.

Entretanto, é preciso refletir se os itens abordados nesse processo avaliativo realmente medem a eficácia e a qualidade dos serviços oferecidos pelas bibliotecas da Universidade Federal da Paraíba (UFPB), se realmente medem o índice de satisfação dos usuários e mensuram o quanto essas avaliações estão servindo como parâmetro ao processo de melhoria das bibliotecas. Para alcançar tal reflexão, escrutinaremos a literatura científica da área e também os documentos específicos, como a Norma ISO 11620 (2014), as Diretrizes da IFLA sobre avaliação de bibliotecas, os instrumentos de Avaliação do INEP/MEC, a autoavaliação da UFPB (2020) e os documentos de gestão da UFPB.

Dessa forma, realizamos esta pesquisa com o seguinte objetivo: analisar o processo de avaliação das bibliotecas universitárias, especificamente da UFPB, com base nos indicadores do INEP/MEC, da autoavaliação da UFPB, da Organização Internacional de Normalização (ISO) 11620 (2014) e da Federação Internacional de Associações e Instituições Bibliotecárias (IFLA). Nessa perspectiva, apresenta-se a seguir o percurso metodológico e, na sequência, retrata-se a fundamentação teórica na qual são abordados temas como avaliação do ensino superior, bibliotecas universitárias e avaliação de bibliotecas. Em seguida, é apresentada a análise e as discussões dos resultados e, por fim, as considerações finais.

2 Metodologia

De acordo com a abordagem do problema, esta pesquisa caracteriza-se como qualitativa, com base em que alguns autores consideram o método qualitativo como sendo “[...] mais intuitivo, mas também maleável e mais adaptável a índices não previstos, ou à evolução das hipóteses” ( BARDIN, 2016, p. 145).

Como procedimentos técnicos, elegeu-se um levantamento bibliográfico e documental da Lei nº10.861 do SINAES ( BRASIL, 2004), das diretrizes do IFLA ( POLL; BOEKHORST, 2007), da ISO 11620 (2014), das avaliações do INEP/MEC e dos documentos Institucionais da UFPB, realizando um cruzamento de seus dados. Dessa maneira, construímos esta pesquisa a partir do estudo de livros, artigos e periódicos na área de avaliação e gestão de bibliotecas e do ensino superior, de documentos oficiais do INEP e da UFPB, demonstrando o quanto os estudos bibliográficos destacam a importância do conhecimento adquirido para a construção de novos trabalhos.

A pesquisa de cunho documental evidenciou-se por ter como base os documentos que serviram de fontes da investigação, que foram a norma ISO 11620 (2014), as diretrizes da IFLA, os instrumentos de avaliação institucional e de curso do INEP/MEC, o Plano de Desenvolvimento Institucional (PDI) 2019-2023 da UFPB (2019), o Relatório de Avaliação Externa de 2013 e o Relatório de Autoavaliação da UFPB (2020), disponíveis, respectivamente, nos sites do ISO, do INEP e da UFPB.

Foi realizada a análise utilizando a técnica do cruzamento de dados com análise de conteúdo documental, definida por Bardin (2016) como um:

[...] conjunto de técnicas de análise das comunicações visando obter, por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) dessas mensagens. ( BARDIN, 2016, p. 48).

Nossa análise elegeu dimensões, categorias e subcategorias, sendo três dimensões, a saber: Dimensão de Uso; Dimensão de Recursos, Acessos e Infraestrutura; e Dimensão de Eficiência. A estas foram acrescidos 21 indicadores de avaliação, que nos serviram como as subcategorias alocadas em categorias, de acordo com as dimensões a que pertencem.

Os indicadores utilizados são descritos nas diretrizes do IFLA e na ISO 11620 (2014), sendo selecionados apenas os mais adequados à realidade da instituição e com possibilidade de execução imediata nas Bibliotecas da UFPB, visto que os demais não se aplicam, seja por necessitarem de recursos ainda indisponíveis ou por tratarem de serviços ainda inexistentes.

Ao realizarmos o cruzamento dos dados das fontes com os indicadores, buscamos identificar quais das fontes analisadas utilizam algum destes indicadores para avaliar os serviços das bibliotecas, em particular das bibliotecas da UFPB, classificando-os com os seguintes conceitos: Avalia Completamente, Avalia Parcialmente e Não Avalia - os quais foram estabelecidos e elaborados pelos pesquisadores para basear a pesquisa nas fontes anteriormente referenciadas, destacadamente na IFLA e na ISO 11620.

Construímos ainda tabelas e gráficos que nos auxiliaram a entender, comparar e analisar esses dados de forma a nos proporcionar um diagnóstico acerca do processo de avaliação das bibliotecas da UFPB, com base nas diretrizes internacionais, nos instrumentos de avaliação da UFPB e do INEP/MEC.

3 Bibliotecas no contexto atual

A evolução das bibliotecas tem sido constante e acelerada, pois ainda estamos sobre crescente explosão bibliográfica, que, apoiada pela tecnologia, vem revolucionando, mais uma vez, as bibliotecas.

Os avanços dos recursos tecnológicos, a globalização da informação e o surgimento de uma sociedade ávida por conhecimentos fazem surgir novos modelos de bibliotecas, a exemplo as bibliotecas digitais, eletrônicas e virtuais. Bacalgini e Silva (2015) ressaltam as transições ocorridas pois:

[...] as bibliotecas passaram por mudanças com as tecnologias de informação e comunicação (TIC), as quais trouxeram automação de atividades operacionais e administrativas, comunicação virtual com os usuários, sistemas de busca on-line e a criação de acervos digitais. ( BACALGINi; SILVA, 2015, p. 6).

A informação tem sido produzida e disponibilizada com grande velocidade. O mundo atual exige que as bibliotecas ofereçam a seus usuários um destaque competitivo; afinal, a informação é hoje um dos maiores diferenciais de um pesquisador e até mesmo de um país que almeja o desenvolvimento econômico.

A biblioteca do futuro é aquela que vai conseguir se adaptar melhor às mudanças tecnológicas e atender às necessidades dos usuários. As bibliotecas atuais precisam ser capazes de armazenar fisicamente, dispor de recursos para oferecer novos suportes ao conhecimento produzido e oferecer a informação correta, de forma rápida e precisa, ao usuário que a solicita.

Nesse contexto desafiador de mudança e migração de novas modalidades do conhecimento, é crucial avaliar o trabalho e os resultados adquiridos. Dessa forma, veremos a seguir como se inserem as bibliotecas universitárias.

3.1 Bibliotecas universitárias e seu processo de gestão

Dentro da instituição, as bibliotecas universitárias (BU) têm a função de servir de apoio ao ensino, à pesquisa e à extensão; entretanto, há de se considerar que, por meio da evolução tecnológica e comportamental do usuário, cada vez mais conectado, as BU têm transcendido o seu papel de suporte para serem também produtoras de conhecimento e contribuírem na formação intelectual e crítica do discente e da comunidade. Como destaca Sousa (2009, p. 12), “[...] não basta a disponibilização de livros e periódicos, bases de dados e equipamentos de última geração, é preciso que tais recursos sejam mobilizados a favor de seus usuários”.

Essas bibliotecas representam um elo entre a sociedade e a produção de seus docentes e discentes, bem como espaço de disseminação de conhecimento científico, cultural e social, sendo desafiadas a ressignificarem seu conceito diante da comunidade acadêmica. Apesar de estar incorporada em outro universo maior, o da universidade, a BU em si também representa um organismo complexo e com muitas frentes de atuação, pois precisa gerir recursos, pessoas, processos técnicos, serviços e usuários, bem como traçar suas próprias metas e objetivos, os quais devem estar alinhados com as da instituição na qual está inserida.

A gestão de uma biblioteca precisa de um plano organizacional capaz de gerir os recursos financeiros, físicos, pessoas, processos técnicos, formar e desenvolver coleções, aprimorar a experiência do usuário bem como introduzir novas tecnologias que possibilitem ampliar o acesso à informação. Cunha (2008, p. 283) acrescentam que o planejamento de uma biblioteca deve levar ao seu aperfeiçoamento, identificando suas metas e objetivos e os meios de atingi-los.

Neste cenário, o processo avaliativo é imperativo para toda e qualquer gestão que almeje ser estruturada e funcional, Almeida Júnior (2013, p. 221) ressalta a importância da avaliação “[...] não apenas como instrumento de análise da criação, implantação, desenvolvimento e manutenção de serviços [...], mas também como elemento desencadeador de reflexões sobre a concepção [...]”. A seguir, veremos as normas internacionais sobre avaliação de bibliotecas.

4 Avaliação em bibliotecas

A IFLA discutiu amplamente o tema e as pesquisas que o abordavam e publicou, em 1996, suas diretrizes voltadas à medição da qualidade e do desempenho das bibliotecas em um documento que levou o título de “ Measuring Quality: Performance Measurement in Libraries”, no Brasil intitulado de “ Medindo a Qualidade: Medição de Desempenho em Bibliotecas”. Em 2007, esse trabalho foi revisto e melhorado pelos autores Poll e Boekhorst, que incluíram também os serviços eletrônicos.

As diretrizes do IFLA para medição de desempenho em bibliotecas constituem um instrumento completo e prático para avaliação de bibliotecas e seus serviços. Os indicadores podem ser usados por completo ou em parte, de acordo com a realidade de cada biblioteca, como cita o IFLA:

As bibliotecas variam quanto à missão e objetivos, coleções e serviços, tamanho e tipo de população. Portanto, nem todos os indicadores de desempenho serão aplicáveis em cada biblioteca. A coleção não tem o objetivo de ser prescritiva. As bibliotecas devem escolher os indicadores que melhor se adaptam às suas necessidades e às circunstâncias locais e pode ser necessário modificar os métodos de coleta de dados. ( POLL; BOEKHORST, 2007, p. 4, tradução nossa).

Com essa característica de completude e aplicabilidade, essas diretrizes logo tornaram-se uma publicação de grande destaque internacional e aceita por todos os profissionais da área das Bibliotecas e da Ciência da Informação.

A ISO também dedicou uma norma específica à avaliação de bibliotecas, a Norma ISO 11620 (2014), Information and Documentation - Library Performance Indicators, no Brasil intitulada de Informação e documentação - indicadores de desempenho da biblioteca, estipulando valiosos indicadores amplamente utilizados atualmente. Por ser a mais renomada Organização Internacional de Normalização e padronização, essa norma se tornou uma valiosa contribuição ao tema. Amplamente utilizada em bibliotecas de países desenvolvidos, ela normatiza indicadores para mensurar e gerir os serviços de informação de bibliotecas com foco no usuário.

O modelo ISO pode ser utilizado para avaliar qualquer tipo de biblioteca, inclusive as universitárias, garantindo e estabelecendo critérios de qualidade dos serviços prestados e ampliando o conhecimento sobre a performance e necessidade de melhorias, podendo o gestor definir quais indicadores utilizará.

O objetivo dos indicadores de desempenho da biblioteca é 1) funcionar como ferramentas para avaliar a qualidade e eficácia dos serviços, recursos e outras atividades fornecidas por uma biblioteca e 2) para avaliar a eficiência dos recursos alocados pela biblioteca para tais serviços e outras atividades (ISO, 2014, p. 10, tradução nossa).

Essas diretrizes são atuais e potencializam sua aplicabilidade, visto que, depois de amostragens práticas, evidencia-se que realmente são executáveis e úteis a gestão e a melhoria contínua. Conheceremos a seguir o SINAES.

4.1 Sistema Nacional de Avaliação da Educação Superior (SINAES) nas bibliotecas universitárias

Governos de várias partes do mundo, dentre eles o Brasil, têm discutido amplamente a importância da qualidade e sobre a necessidade da avaliação na educação superior, entre outros motivos, por entenderem que o posicionamento político e econômico dos países depende diretamente do nível da educação de ensino superior, visto que é onde se desenvolvem o capital humano que gera as pesquisas e inovações que impulsionam e revolucionam os mercados e a economia, além de serem meios de inclusão e transformações sociais. Por isso, seguem empreendendo muitos esforços para implementar políticas que visam à qualidade máxima e ao processo de avaliação contínuo, que reafirma as práticas assertivas e/ou corrige distorções.

Conforme avança o crescimento das instituições de ensino superior, desenvolve-se a preocupação em materializar instrumentos de avaliação capazes de contribuir com o processo de melhoria. Nesse contexto, foi criado o SINAES, buscando contribuir com ferramentas e diretrizes.

Instituído em 14 de abril de 2004, por meio da Lei n. 10.861, o atual SINAES tem suas diretrizes definidas pela Comissão Nacional de Avaliação da Educação Superior (CONAES), ficando a cargo do INEP, a organização e execução de todo o processo avaliativo ( INEP, 2015, p. 19).

Percebe-se que o SINAES, em suas avaliações, busca uma integração interna e externa, do micro ao macro, qualitativo e quantitativo, e que utiliza os objetos das IES para chegar aos objetivos de somar e formar melhorias. De acordo com o art. 8º da Lei n. 10.861/2004, o INEP é o órgão responsável por avaliar as IES quanto às avaliações institucionais, dos cursos e do desempenho dos alunos. A avaliação institucional precisa dar a seus avaliadores a possibilidade de verificar a organização didático-pedagógica, o corpo docente e a infraestrutura de cada IES avaliada. Com a avaliação, o INEP espera cumprir uma das etapas do processo de avaliações do SINAES e assegurar educação superior com qualidade acadêmica e compromisso social com o desenvolvimento do País ( INEP, 2010, p. 2).

No processo de avaliação, o INEP verifica cinco eixos: o planejamento, o desenvolvimento e a avaliação institucional, a infraestrutura, as políticas acadêmicas e de gestão. A Avaliação Institucional e de Curso é feita através dos Instrumentos de Avaliação Institucional Externa (IAIE) e do Instrumento de Avaliação de Cursos (IAC) de forma a operacionalizar o SINAES.

O SINAES também institui que as IES devem implantar um processo de autoavaliação, cujo intuito “[...] é fomentar na comunidade interna uma cultura de permanente reflexão sobre si mesma, sobre seus processos internos, seu papel e sua responsabilidade perante a sociedade.”, como citado por Teixeira Junior e Rios (2017, p. 797). Na UFPB, a Comissão Própria de Avaliação (CPA) visa a garantir a execução e o acompanhamento do SINAES e levar as informações e os relatórios tanto para o INEP como para a comunidade.

Em seu art. 3º, a lei de criação do SINAES delimita os conceitos em uma escala com cinco níveis e em um conjunto de dez dimensões, cada uma com seus objetivos. Tomaremos como alvo de nossa pesquisa a dimensão sete, que fala da infraestrutura física, mais especificamente das bibliotecas que são avaliadas dentro dessa dimensão. Para isso, estudaremos o Plano de Desenvolvimento Institucional atual (2019-2023) da UFPB, o relatório da última Avaliação Institucional Externa, o Instrumento de Avaliação Externa, mais precisamente no Eixo cinco e nos indicadores 5.9 - que avalia a infraestrutura das bibliotecas - e 5.10 - que avalia a atualização dos acervos da biblioteca.

O SINAES é um processo em melhoria contínua buscando contribuir com o enriquecimento da qualidade e o desenvolvimento das IES. No entanto, tem sido alvo de críticas que enxergam em seus indicadores tendências economicistas para avaliar um sistema repleto de especificidades e subjetividades como a Educação, deixando a avaliação distante da realidade das instituições. De acordo com Scaglione e Costa (2013, p. 53), esse processo leva “[...] invariavelmente a uma avaliação míope e distorcida das IES, e também prejudicando a visão macro da realidade educacional brasileira”.

4.2 Avaliação institucional das bibliotecas universitárias

Conforme discorremos, o Ministério da Educação (MEC), na figura do INEP com o SINAES, avalia as IES e seus cursos, utilizando diversos critérios nos quais as bibliotecas se enquadram na dimensão de infraestrutura, como cita Xavier Junior e Gomes (2014):

A avaliação da biblioteca está concentrada na dimensão de infraestrutura por ser um órgão relacionado à estrutura da faculdade. São conceituados a disponibilidade de títulos indicados na bibliografia básica e complementar das disciplinas do curso (que está passando por processo de autorização, reconhecimento ou recredenciamento), além dos periódicos especializados relativos à área de concentração do curso. Ou seja, o MEC visa avaliar a adequação da biblioteca à proposta do curso. ( XAVIER JUNIOR; GOMES, 2014, p. 5).

No instrumento de avaliação de cursos do INEP, a infraestrutura está localizada na dimensão três e os itens relacionados às BU são os indicadores que avaliam a bibliografia básica e complementar por unidade curricular (UC). São dois indicadores de um total de dezesseis, significando que as bibliotecas têm aproximadamente 13% da dimensão de infraestrutura do questionário de avaliação aplicado pelos certificadores do INEP.

O INEP, como especificamos, divide sua ferramenta em cinco eixos nos quais distribui as dez dimensões do SINAES. No instrumento de avaliação institucional do INEP, a infraestrutura é localizada no eixo cinco e os itens relacionados às BU são os indicadores que avaliam a infraestrutura da biblioteca e o plano de atualização do acervo, sendo dois indicadores de um total de dezoito. Assim, as bibliotecas correspondem a aproximadamente 11,4% da dimensão de infraestrutura do questionário de avaliação aplicado in loco pelos certificadores do INEP.

Alguns autores, como Oliveira (2002, p. 216), consideram que atualmente os padrões adotados pelo MEC utilizam instrumentos inadequados e incoerentes que levam as bibliotecas universitárias a criarem políticas e processos irreais e incapazes de servir à melhoria contínua por entenderem que avaliar vai muito além de meramente quantificar, pois é necessário realizar uma análise e uma interpretação crítica dos dados para servir ao processo de melhoria, e não simplesmente para atingir conceitos.

5 Análise e discussão dos resultados

A missão de uma Biblioteca Universitária é servir de apoio ao ensino, à pesquisa e à extensão. Logo, a análise mais importante a ser feita é se as bibliotecas da UFPB estão cumprindo essa missão. Sendo a comunidade acadêmica seu público-alvo, ela deve atender, por meio de seus serviços, ao interesse e às necessidades dos seus usuários.

Com o intuito de responder ao problema da pesquisa, realizamos uma análise documental nos Instrumentos de Avaliação Institucional Externa (IAIE) do INEP/MEC e em documentos oficiais da UFPB: Plano de Desenvolvimento Institucional (PDI) 2019-2023, Relatório de Avaliação Institucional Externa (RAIE) INEP/MEC de 2013 e Relatório de Autoavaliação Institucional (RAAI) de 2020. Apresentamos os resultados obtidos por meio da análise de conteúdo, através de cruzamento dos dados, com base nos indicadores de avaliação de bibliotecas descritos na ISO 11620 (2014) e nas diretrizes do IFLA.

Dividimos a pesquisa em três dimensões e cada uma com suas categorias, conforme o quadro 1:

Quadro 1 -
Dimensões, categorias e subcategorias

Dimensões	Categorias	Subcategorias
Uso	Uso geral	Penetração de mercado
		Satisfação do usuário
		Visitas à biblioteca per capita
	Uso da coleção	Porcentagem de estoque não utilizado
		Empréstimos per capita
Recursos, Acessos e Infraestrutura	Infraestrutura	Área do usuário per capita
		Assentos per capita
		Equipe per capita
		Horário de funcionamento em relação à demanda
	Recursos	Disponibilidade de títulos obrigatórios
		Porcentagem de sessões rejeitadas
		disponibilidade imediata
	Acessos	Acesso direto da página inicial
Eficiência	Custos de uso	Custo por usuário
		Custo por visita
	Custos de coleta	Custo por documento processado
		Custo por download ou acesso
		Velocidade de aquisição
		Velocidade de processamento de mídia
		Produtividade dos funcionários no processamento de mídia
		Velocidade de empréstimo

• Fonte: Elaborado pelos autores.

Cada categoria foi dividida em subcategorias que representam indicadores de avaliação de bibliotecas descritos nas normativas de avaliação e reconhecidos nas diretrizes internacionais como os adequados para avaliar bibliotecas. Logo, utilizar-nos-emos para mensurar o quanto as fontes avaliadas nesta pesquisa os mencionam. Assim, ao realizarmos o cruzamento dos dados, buscamos identificar quais das fontes utilizam algum destes indicadores para avaliar os serviços das bibliotecas da UFPB.

5.1 Dimensão de uso

Nessa dimensão, temos a categoria Uso geral, em que analisaremos as subcategorias de Penetração do mercado, Satisfação do usuário e Visitas à biblioteca per capita. Ao definirmos tal categoria, pretendemos medir o quanto a população universitária está sendo beneficiada com os serviços oferecidos pelas bibliotecas universitárias.

Apenas o indicador Satisfação do usuário tem duas avaliações indiretas, nas quais se avaliam questões que envolvem de alguma forma a satisfação do usuário. É interessante notar que, no Relatório de Avaliação Externa do INEP/MEC de 2013, são registrados serviços deficitários na biblioteca e mencionadas citações diretas de reclamações de usuários quanto aos serviços prestados, mas seus instrumentos de avaliação não avaliam o tema.

Outro ponto relevante é que o Relatório de Autoavaliação de 2020 traz o resultado de uma análise quantitativa do instrumento de autoavaliação institucional da CPA no eixo cinco do SINAES - Infraestrutura/UFPB, o que totaliza dez (10) questões referentes às bibliotecas. Ou seja, o próprio relatório é uma pesquisa de satisfação do usuário, entretanto, suas questões estão mais relacionadas com as abordadas nos instrumentos de avaliação INEP/MEC, mas não avalia, de acordo com as diretrizes internacionais, os serviços da biblioteca a fim de diagnosticá-los. Os demais itens não foram mencionados por nenhuma fonte, nem mesmo parcialmente.

Ainda nessa dimensão, temos a categoria Uso da coleção, que tem como subcategorias Porcentagem de estoque não utilizado e Empréstimos per capita. Utilizamos os dados de utilização do acervo das bibliotecas como parâmetro para medir o quanto esse acervo atende às necessidades informacionais do usuário. Foram utilizados dois indicadores, sendo o primeiro a Porcentagem de estoque não utilizado, que tem como finalidade identificar partes da coleção física que não estão em uso para que possa ser ajustada às necessidades dos usuários. Já o indicador Empréstimos per capita deve avaliar o uso do acervo físico em relação ao público-alvo, com o intuito de adequar o acervo ao seu uso efetivo. O indicador de Empréstimo não foi citado por nenhuma fonte, o que evidencia o espaço para aperfeiçoamento das fontes, enquanto a Porcentagem de estoque foi citada indiretamente pelo Relatório de Avaliação Externa e pelos Instrumentos de Avaliação Institucional e de cursos. Entretanto, tal citação foi de forma parcial, demonstrando preocupação com a adequação e renovação do acervo.

5.2 Dimensão de recursos, acessos e infraestrutura

Buscamos, nesta dimensão, através de suas categorias, os indicadores cujos resultados possam proporcionar estratégias de adequação dos recursos e serviços das bibliotecas como um todo, ou seja, equipe, coleções, serviços, infraestrutura. Sendo assim, é uma das categorias mais importantes do estudo.

Cada vez mais a informação acaba sendo buscada em rede, fazendo com que a maior parte do financiamento seja investido em infraestrutura de acessos. Apesar disso, o espaço físico continua sendo um lugar importante para a pesquisa, estudo e eventos culturais. Na categoria de Infraestrutura analisamos as subcategorias de Área do usuário per capita, Assentos per capita, Horário de funcionamento em relação à demanda e Equipe per capita.

Na subcategoria Área do usuário per capita, buscamos analisar a adequação do espaço do usuário à população acadêmica. A UFPB possui 0,19 metros quadrados por usuário, na BC. É uma avaliação importante para decisão de investir em mais espaço físico e também para comparar e mensurar o equilíbrio de espaço para os usuários entre bibliotecas setoriais.

Nos indicadores de Assentos per capita, Equipe per capita e Horário de funcionamento em relação à demanda, encontramos relevância pelo fato de muitos estudantes procurarem a biblioteca como espaço de estudo sendo importante também para medir a satisfação do usuário e comparar entre bibliotecas, bem como mensurar se há déficit de servidores e assentos ou ociosidade em relação à população que precisa ser atendida. Encontramos maior incidência nas fontes analisadas. Apesar de todas as avaliações serem parciais e indiretas, é evidente maior preocupação dos documentos oficiais com os indicadores aqui descritos.

Certamente não é coincidência que todas as avaliações de bibliotecas universitárias estejam no eixo de infraestrutura das instituições. Entretanto, é preocupante que a maior parte da avaliação institucional das bibliotecas tenha apenas esse eixo em relevância, pois, apesar da importância das instalações físicas, cada vez mais as bibliotecas e os usuários migram para demandas de serviços e acervos online.

Na categoria Recursos, analisamos os meios utilizados para transferência de informação ao usuário. A Disponibilidade de títulos obrigatórios é um indicador de muita relevância para bibliotecas universitárias, pois, como parte de sua missão é o apoio ao ensino, é imprescindível a disponibilidade em seu acervo da bibliografia das Unidades Curriculares de todos os cursos de sua instituição, tanto a bibliografia básica quanto a complementar, nas quantidades mínimas exigidas pelo MEC.

As subcategorias Porcentagem de sessões rejeitadas e Disponibilidade imediata avaliam as estatísticas de uso e acessos dos bancos de dados, das plataformas e estantes. É possível acompanhar o comportamento de utilização dos usuários, e esses números devem ser analisados de forma a evidenciar a ociosidade ou a demanda de licenças para acesso. As bases de dados são ferramentas de informação em ascensão e cada vez mais utilizadas, entretanto não foram citadas nas fontes analisadas, nem mesmo parcialmente. Isso nos leva a perceber a necessidade de um sistema avaliativo além do institucional, com mais especificidade, bem como a necessidade de atualização das avaliações institucionais a realidade biblioteca.

A Disponibilidade de títulos obrigatórios teve a atenção adequada, sendo o primeiro de todos os demais indicadores a receber duas avaliações diretas. Sua importância faz jus à citação em todas as fontes analisadas, o que é compreensível em se tratando de uma biblioteca universitária com critérios exigidos pelo MEC e com público-alvo ávido por um acervo atualizado.

Ainda na categoria Acessos, temos apenas o indicador de Acesso direto da página inicial, que tem sua importância mais que comprovada: diante do cenário de serviços cada vez mais online, a página inicial de todas as bibliotecas acaba por assumir um novo papel principal dentro da organização. É através dela que muitos usuários irão vivenciar a biblioteca e, por esse motivo, a mesma precisa atender às necessidades de informação e satisfazer o usuário.

A ausência parcial de avaliação desse indicador nas fontes ressalta as constatações explicitadas na categoria anterior. Ratifica a necessidade de que as bibliotecas mantenham um programa de avaliação próprio com seus indicadores específicos de forma mais dinâmica e contínua, pautada nas necessidades do usuário, bem como potencial para uma reformulação dos instrumentos de avaliação institucionais.

5.3 Dimensão de eficiência

A eficiência é um dos princípios que regem a administração pública, sendo o princípio mais recente e ainda alvo de muito debate. Foi acrescentado por meio da Emenda Constitucional n. 19, em 1998, conhecida como a reforma administrativa, que adota o modelo de administração pública gerencial - focada em avaliação de resultados. Detalharemos as categorias Custos de uso e Custos de coleta, bem como suas respectivas subcategorias.

Na categoria Custos de uso, analisamos as subcategorias Custo por usuário e Custo por visita para mensurar os custos da biblioteca por usuário de forma mais ampla: física e virtual. Assim como toda a administração pública, as bibliotecas também precisam apresentar de forma transparente seus custos e sua qualidade, a fim de demonstrarem os valores necessários para atender de forma eficiente seus usuários. Observamos que não há qualquer menção a nenhum desses indicadores nas fontes analisadas, o que demonstra desalinhamento com a administração gerencial e com a busca por resultados mais eficientes ano após ano. Em tempos de orçamentos cada vez mais estreitos, é crucial que o gestor público avalie os custos.

A categoria Custos de coleta contém um total de seis subcategorias: Custo por documento processado, Custo por download ou acesso, Velocidade de aquisição, Velocidade de processamento de mídia, Produtividade dos funcionários no processamento de mídia e Velocidade do empréstimo.

O Custo por documento processado é um importante para o gestor, pois avalia os custos de pessoal com o processamento técnico de uma biblioteca por cada item e, com isso, a eficiência dos processos. A subcategoria de Custo por download ou acesso avalia a relação custo-benefício da coleção eletrônica da biblioteca em uma base de títulos, para que a biblioteca possa decidir se é interessante manter o custo por uso ou se deve cancelar um determinado recurso

Em uma BU, o interesse dos usuários por publicações recentes é constante, evidenciando a importância da subcategoria Velocidade de aquisição, por possibilitar auferir o número médio de dias entre a data em que a biblioteca solicita um item para o acervo e a data em que recebe. O que igualmente ocorre com a Velocidade do processamento da mídia, pois pode identificar se o material adquirido passa muito tempo no processamento técnico enquanto usuários o aguardam avidamente.

Em Produtividade dos funcionários no processamento técnico, temos oportunidade para a gestão de habilidades técnicas do funcionário, proporcionando ao gestor a possibilidade de identificar os membros que precisam de mais treinamentos e apoio técnico no desenvolvimento do trabalho e na formação de equipes de alta performance. Já sobre a Velocidade de empréstimo, enfatiza-se que o indicador avalia se os serviços de recuperação e de empréstimo da biblioteca são organizados de forma eficiente, o que é muito importante para satisfação do usuário.

De um total de seis indicadores analisados em cinco fontes diferentes, é espantoso que apenas três citações indiretas tenham ocorrido, principalmente por serem indicadores considerados os cernes da gestão de custos, algo tão importante a ser gerido no atual cenário de enxugamento de verbas das universidades brasileiras.

6 Análise dos resultados

Ao analisarmos, com base nos indicadores de avaliação da ISO 11620 de 2014 e nas diretrizes do IFLA, as fontes de planejamento da UFPB - o PDI 2019-2023 - e as avaliações com seus instrumentos - IAIE do INEP/MEC, RAIE de 2013 e no RAAI de 2020 -, foi possível extrair algumas conclusões. Ressaltamos que esta pesquisa tem o propósito de contribuir para uma evolução no processo de avaliação das bibliotecas universitárias, em primeira instância as bibliotecas da UFPB.

Inicialmente, percebemos que a UFPB possui uma estrutura de avaliações internas e externas, e que as bibliotecas possuem espaço em todos os instrumentos, bem como no planejamento da instituição, o que demonstra que há uma preocupação com esses espaços. Na avaliação dos documentos, adotamos conceitos para classificar a análise das fontes: Avalia Completamente, Avalia Parcialmente e Não Avalia. Ao total, foram sugeridos 21 indicadores nomeados como subcategorias, e avaliamos cada um deles nas cinco fontes analisadas, totalizando então 105 análises feitas - sendo 21 em cada fonte.

No gráfico a seguir, é possível observar que, dos 105 indicadores avaliados nesta pesquisa, 78 (74%) não são avaliados pelas fontes, enquanto 24 (23%) são avaliados de forma parcial. Por fim, apenas três (3%) avaliam diretamente o indicador.

Gráfico 1 -
Nível de Avaliação dos Indicadores da Pesquisa

No gráfico apresentado, observamos uma fragilidade dos instrumentos de avaliação do INEP/MEC e da UFPB, pois, apesar de mencionarem muitos dos indicadores, trabalham estes de forma subjetiva, sem quantificá-los. Isso é facilmente percebido nos 23% de análises parciais. Em seguida, conforme observamos no gráfico, há um universo de 74% de possibilidade de reformulações para esses instrumentos, com intuito de esquadrinhar a realidade das bibliotecas, o que poderá gerar um diagnóstico mais específico e útil ao processo de melhoria.

Quando comparamos as fontes entre si, verificamos que as que possuem maior percentual de indicadores sem avaliação são os Instrumentos de Avaliação Institucional e de Cursos do INEP/MEC, conforme observamos no gráfico a seguir.

Gráfico 2 -
Comparativo das Fontes Avaliadas

O gráfico evidencia o PDI como sendo a fonte com maior incidência de avaliações, contudo, as diferenças entre as fontes não são acentuadas. Ao analisarmos os Instrumentos de Avaliação Institucional e de Cursos do INEP/MEC, percebemos que oferecem indicadores aos avaliadores, bem como às IES, e são estes que norteiam o aperfeiçoamento dos serviços e mecanismos na busca pela excelência.

Ao olhamos para as bibliotecas dentro desses instrumentos, percebemos que os indicadores precisam ser complementados e atualizados para atingirem os objetivos que a própria ISO 11620 (2014, p. 14) define como função para indicadores de avaliação em bibliotecas: “[...] facilitar o controle no processo de gestão e servir de base de referência e de diálogos entre a equipe da biblioteca, órgãos de financiamento, a comunidade de usuários e outras partes interessadas externas relevantes constituintes”.

Os indicadores desses instrumentos estão mais focados na estrutura física dos acervos e das bibliotecas, demonstrando espaços para atualização rumo às evoluções tecnológicas que constroem usuários mais conectados e ávidos por serviços online. Sendo assim, existe a necessidade de indicadores para avaliar a eficiência e mensurar custos das estruturas virtuais.

O RAIE da UFPB de 2013 transcende os indicadores, os próprios instrumentos, e traz um relatório mais detalhado da realidade vista pelos avaliadores. Um excelente ponto positivo é que faz menção à satisfação do usuário, trazendo falas e percepções dos serviços e acervo da biblioteca.

Em 2020, o Relatório de Autoavaliação aplicou uma pesquisa à comunidade acadêmica. Mesmo não sendo o objeto da pesquisa, é interessante expor que, em geral, a biblioteca recebeu dos discentes, docentes e técnicos nota três, de um total de cinco. Entendemos que o formato de pesquisa à comunidade é uma excelente ferramenta que abre espaço para análises de indicadores internos, como o de custos e eficiência. Percebemos que as questões sobre as bibliotecas seguiram o mesmo modelo de avaliação e indicadores dos instrumentos de avaliação do INEP/MEC, ou seja, tratam da estrutura física da biblioteca e do acervo, o que pode e deve ser transcendido em futuras pesquisas.

No PDI, percebemos uma boa exposição quantitativa de dados, mas sem mecanismos de avaliação e/ou de comparação ano a ano, principalmente de custos e eficiência. Como mencionam Poll e Boekhorst (2007, p. 199, tradução nossa), “[...] as bibliotecas sempre foram relutantes em avaliar o desempenho da equipe, e estão ainda mais relutantes em comunicar tais dados. Mas a produtividade da equipe é crucial na questão de custo-eficácia das bibliotecas”.

O plano de desenvolvimento deve ser planejado e executado, analisando estatísticas e números. Necessariamente precisa ser elaborado com base em eficiência e custos. O PDI da UFPB apenas descreve quantidade de servidores por funções, abrindo espaço para avaliações de quantidade necessária em cada setor ou biblioteca com o intuito de mapear setores com possíveis sobrecarga ou não.

O PDI fornece o valor gasto com bases de dados e o que será gasto nos anos subsequentes, trazendo a oportunidade de ser realizada uma análise de usabilidade e do custo-benefício, entre outras análises que podem e devem ser feitas a partir das estatísticas tão ricamente apresentadas no PDI 2019-2023 e que precisam servir de apoio e justificativas para as projeções futuras apresentadas nesse documento.

Todos os indicadores avaliados nesta pesquisa são sugestões para melhorias nos processos de avaliação do INEP/MEC. Sabemos que, por se tratar de estruturas mais robustas, que analisam o macro, tais estímulos podem continuar apenas no campo das conjecturas. No entanto, justamente pelos motivos contrários, por se tratar de uma única instituição e de um sistema de biblioteca em determinado, os indicadores trabalhados nesta pesquisa podem ser utilizados pelo sistema de bibliotecas da UFPB ou qualquer outro sistema de BU em seu dia a dia, para planejamento dos próximos PDI e em suas autoavaliações.

7 Considerações finais

Ao trilharmos os caminhos da pesquisa, percebemos nitidamente que tanto as Universidades quanto o próprio SINAES trilharam longos caminhos de reformas e desenvolvimento para chegarem aonde estão. Iniciamos esta pesquisa com o objetivo de analisar o processo de avaliação de bibliotecas universitárias, em particular das bibliotecas da UFPB, com base nos indicadores do INEP/MEC, da ISO 11620 (2014) e IFLA.

Realizamos a análise de conteúdo elencando os eixos temáticos divididos em dimensões, categorias e subcategorias, que foram definidas utilizando os indicadores descritos na ISO 11620 (2014) e nas diretrizes da IFLA. Coletamos os dados nas fontes escolhidas: PDI 2019-2023, IAIE do INEP/MEC, RAIE de 2013 e no RAAI de 2020. De posse dos dados, pudemos realizar a interpretação do resultado de cada uma das dimensões: a de Uso; a de Recursos, Acessos e Infraestrutura; e a de Eficiência.

As análises realizadas nos permitiram perceber que a UFPB utiliza a metodologia preconizada pelo programa SINAES, logo, dispõe de sólidos processos de avaliação com instrumentos bem definidos. As bibliotecas estão representadas nesses processos, porém com pouca especificidade e exaustividade, apresentando indícios de fragilidade nesse sistema.

Ao analisarmos as dimensões e categorias nas fontes estudadas, notamos que, apesar de mencionar as bibliotecas e alguns dos indicadores de avaliação em bibliotecas, os documentos não os detalham ou quantificam. Notamos ainda que as avaliações realizadas pelo INEP/MEC e pela CPA da UFPB concentram-se na estrutura física e na atualização do acervo, deixando de avaliar os serviços e as estruturas virtuais, o que demonstra contraponto com a realidade evolutiva das bibliotecas, que caminham para serviços cada vez mais online. No entanto, é notório que a UFPB investe em esforços para assimilar a cultura da eficiência no serviço público, realizando, por intermédio da CPA, processos avaliativos em todos os eixos do SINAES e divulgando-os para que a comunidade acadêmica possa analisá-los.

Por fim, de acordo com o exposto e embasados pelas normas internacionais de avaliação em bibliotecas, concluímos que, dentro do processo de avaliação, o valor imaginário coletivo não condiz com a relevância das bibliotecas em uma instituição de ensino superior (IES). Esse processo, na UFPB e nos instrumentos do INEP/MEC, pode ser considerado em construção, passando por melhorias, revisões, e identificando suas fragilidades para corrigi-las.

Referências

• ALMEIDA JÚNIOR, Oswaldo Francisco de. Biblioteca pública: avaliação de serviços. Londrina, PR: Eduel, 2013.
• BACALGINI, Bruna; SILVA, Maria Terra da. Redefinição do conceito de serviço de bibliotecas universitárias perante as mudanças tecnológicas. Espacios, Venezuela, v. 36, n. 12, 2015.
• BARDIN, Laurence. Análise de conteúdo. São Paulo: Edições 70, 2016.
• BRASIL. Lei nº. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior: SINAES e dá outras providências. Diário Oficial da União: seção 1, Brasília, DF, n. 72, 2004.
• BRASIL. Plano diretor da reforma do aparelho do estado. Brasília: Ministério da Administração Federal da Reforma do Estado, 1995.
• CUNHA, Murilo Bastos da. Construindo o futuro: a biblioteca universitária brasileira em 2010. Ciência da Informação, Brasília, v. 29, n. 1, p. 71-89, jan./abr. 2000.
• CUNHA, Murilo Bastos da. Das bibliotecas convencionais às digitais: diferenças e convergências. Perspectivas em Ciência da Informação, Belo Horizonte, v. 13, n. 1, p. 2-17, abr. 2008.
• INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Instrumento de Avaliação Institucional Externa. Brasília: INEP, 2010.
• INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sistema Nacional de Avaliação da Educação Superior (SINAES). Brasília: Inep, 2015. v. 5
• ISO. International Organization For Standardization. ISO 11620:2014. Information and Documentation: Library performance indicators. 3. ed. Switzerland: ISO, 2014.
• OLIVEIRA, Nirlei Maria. A biblioteca das instituições de ensino superior e os padrões de qualidades do MEC: uma análise preliminar. Perspectiva em Ciência da Informação, Belo Horizonte, v. 7, n. 2, p. 207-221, jul./dez. 2002.
• POLL, Roswitha; BOEKHORST, Peter. Measuring quality: performance measurement in libraries. 2. ed. German: SjoerdKoopman, 2007.
• SCAGLIONE, Vera Lucia Telles; COSTA, Marcelo Nitz. A avaliação da educação superior e a gestão universitária. In: COLOMBO, Sonia Simões (org.). Gestão universitária: os caminhos para a excelência. Porto Alegre: Penso, 2013. p. 1-13.
• SOUSA, Margarida Maria de. A biblioteca universitária como ambiente de aprendizagem no ensino superior. São Paulo: 2009. 90 f. Dissertação (Mestrado).
• TEIXEIRA , Paulo Roberto JUNIOR ; RIOS, Monica Piccione Gomes. Dez anos de Sinaes: um mapeamento de teses e dissertações defendidas no período 2004-2014. Avaliação (Campinas), Sorocaba, v. 22, n. 3, p. 793-816, 2017.
• UFPB. Plano de Desenvolvimento Institucional 2019-2023. João Pessoa: UFPB, 2019.
• UFPB. Análise Quantitativa do Instrumento de Autoavaliação Institucional da CPA no Eixo 5 do SINAES: infraestrutura/UFPB. João Pessoa: UFPB, 2020.
• XAVIER , Gesner Francisco JUNIOR ; GOMES, Rainner Finelli. A gestão da qualidade nas bibliotecas universitárias orientada para a avaliação do MEC. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 18., Belo Horizonte, 2014. Anais eletrônicos [...] Belo Horizonte: UFMG, 2014. p. 2-7.

Datas de Publicação

• Publicação nesta coleção
  16 Jun 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  04 Maio 2022
• Aceito
  05 Ago 2022