Uso de indicadores para diagnóstico situacional de Instituições de Ensino Superior

Use of indicators for situational diagnosis of Higher Education Institutions

Uso de indicadores para diagnóstico situacional de Instituciones de Enseñanza Superior

Resumo

O texto dá relevo ao uso de indicadores educacionais como modo de se obter diagnóstico de Instituições de Ensino Superior (IES). Para tal, ilustra o uso de três indicadores internacionais (Scimago Institutions Ranking – SIR, QS World University Rankings – QS WUR, Ranking Mundial de Universidades na Web) que fornecem informações relevantes acerca da pesquisa científica, da produção intelectual, da colaboração internacional, da reputação institucional, do perfil docente, do impacto na web das produções intelectuais, dentre outros, proporcionando, assim, diagnóstico de uma IES, bem como análises comparativas frente a outras instituições internacionais. Os principais resultados do estudo efetivado em IES brasileira, entre 2011 e 2015, indicam: aumento da produção científica dos pesquisadores (indicador SIR) e da produção intelectual de excelência (indicador WEB); maior visibilidade institucional através da internet (indicador WEB), aumento da reputação acadêmica institucional (indicador QS-WUR); diminuição da colaboração internacional entre grupos de pesquisa (indicador SIR); diminuição da proporção de docentes estrangeiros (indicador QS-WUR).

Indicadores educacionais; Educação Superior; Avaliação institucional

Abstract

The text emphasizes the use of educational indicators as a way to obtain a diagnosis of Higher Education Institutions. To do so, illustrates the use of three international indicators (Scimago Institutions Ranking – SIR; QS World University Rankings - QS WUR; World University Ranking Web) that provide relevant information about scientific research, intellectual production, international collaboration, institutional reputation, teaching profile, web impact of intellectual productions, among others, thus providing a diagnosis of Higher Education Institution (HEI). The main results of the study carried out in brazilian HEI, between 2011 and 2015, indicate: increased scientific production of researchers (SIR indicator) and intellectual production of excellence (WEB indicator); increased institutional visibility through the Internet (WEB indicator) and institutional academic reputation (QS-WUR indicator); decreased international collaboration among research groups (SIR indicator) and proportion of foreign teachers (QS-WUR indicator).

Educational indicators; Higher Education; Institutional assessment

Resumen

El texto pone en relieve el uso de indicadores educacionales como modo de obtenerse diagnóstico de Instituciones de Enseñanza Superior (IES). Para tal, ilustra el uso de tres indicadores internacionales (Scimago Institutions Ranking – SIR, QS World University Rankings – QS WUR, Ranking Mundial de Universidades en la Web) que dan informaciones relevantes a cerca de la investigación científica, de la producción intelectual, de la colaboración internacional, de la reputación institucional, del perfil docente, del impacto en la web de las producciones intelectuales, proporcionando diagnóstico institucional y análisis comparativos frente a otras instituciones internacionales, proporcionando, así, diagnóstico de la IES, además de permitir comparaciones con otras instituciones internacionales. Los principales resultados del estudio llevado a cabo en una IES brasileña, entre 2011 y 2015, indican que hubo: aumento de la producción científica de los investigadores (indicador SIR) y de la producción intelectual de excelencia (indicador WEB); aumento de la visibilidad institucional a través de la internet (indicador WEB) y de la reputación académica institucional (indicador QS-WUR); disminución de la colaboración internacional entre grupos de científicos (indicador SIR) y de la proporción de docentes extranjeros (indicador QS-WUR).

Indicadores educacionales; Educación Superior; Evaluación institucional

1 Indicadores educacionais: algumas ideias introdutórias

No campo educacional, indicador é um artifício que proporciona informação relevante e sintética acerca de aspectos significativos da realidade observada, que, habitualmente, é resultado de algum tipo de dado ou informação quantitativa (ANDRIOLA, 2008). Não obstante, um indicador nem sempre resulta de uma medida. Em muitos sistemas de indicadores, se incluem alguns de natureza não quantitativa, recorrendo-se a gráficos e descrições qualitativas da realidade (BOTTANI, 1994, 1996).

Os indicadores são artefatos que servem para explicar uma parcela ou aspecto da realidade considerada, no nosso caso, a educacional (JANUZZI, 2003). Sem embargo, não devemos atribuir o seu êxito ou aceitação somente à sua capacidade explicativa, posto que especialistas e cientistas sociais utilizam muitos outros recursos para conhecer e interpretar a realidade.

Sendo assim, os indicadores devem ser encarados como o que na realidade são: artefatos de alcance limitado, ou seja, de eficácia relativa (VAN RAAN, 2005). Por que, então, sua relevância e acentuada difusão, verificadas, atualmente, no campo educacional? Sem dúvida alguma, o motivo principal se encontra em duas características intrínsecas aos indicadores: (i) caráter sintético e (ii) capacidade para orientar a tomada de decisões.

Por um lado, a seleção de um conjunto limitado, mas significativo, de indicadores, permite que se possa ter uma ideia sumária do funcionamento de uma dada realidade, contribuindo, assim, para iluminá-la e compreendê-la de forma mais acurada. Por outra parte, essas características de síntese e de princípio iluminador têm revelado seu valor, especialmente para as pessoas que necessitam contar com informações úteis e confiáveis para a tomada de decisões, como é o caso dos gestores de Instituições de Ensino Superior (IES).

Esse público específico, composto por administradores públicos, diretores escolares, políticos e gestores, mostra-se interessado por artefatos que permitam destacar, de modo sintético, aspectos e atributos relevantes de seu campo de atuação, de modo a orientá-los na tomada de decisões (MORRIL, 2000). Essa necessidade possibilitou a alguns teóricos afirmar que a construção de sistemas de indicadores é uma atividade extremamente complexa, resultante da interação das dimensões teóricas, técnicas, cognitivas e políticas (BOTTANI; TUIJNMAN, 1994).

A natureza política dos indicadores tem sido objeto de muitas discussões, pois não são poucos os estudiosos que os consideram artefatos vinculados a uma concepção tecnocrática de Educação, pouco úteis à melhoria ou aperfeiçoamento da realidade observada ou descrita, dada a sua natureza reducionista. Essas opiniões têm razão, em parte. Como ressaltado anteriormente, a explicação e a interpretação da realidade educacional são tarefas complexas, que exigem diversos enfoques teóricos, uso de procedimentos técnicos variados e necessidade de participação e contribuição de distintos protagonistas ou atores da realidade avaliada (ANDRIOLA, 2004). Convém destacar, por oportuno, que os indicadores são artefatos ou ferramentas às quais não se deve pedir além do que podem oferecer. Como asseverou o poeta e filósofo romano Quinto Horácio Flaco: est modus in rebus (tudo tem limites).

2 Breve retrospectiva histórica acerca do uso de indicadores internacionais no Ensino Superior

A primeira aparição sistemática de conjunto de indicadores voltados ao estabelecimento de um ranking internacional de Universidades ocorreu em 2003, por iniciativa da Shanghai Jiao Tong University (Xangai, China), que foi denominado Academic Ranking of World Universities (ARWU). A referida proposta fundamenta-se, sobretudo, na produção científica da instituição a partir do número de: (a) artigos publicados nos periódicos Nature e Science (peso de 20%), (b) artigos indexados no Science Citation Index Expanded (SCIE), no Social Science Citation Index (SCCI) e no Thomson Reuters (peso de 20%), e (c) pesquisadores mais citados pela Thomson Scientific (peso de 20%). O ranking considera, ademais, o número de Prêmios Nobel e Field Medals (em Matemática) outorgados aos pesquisadores da instituição (LIU; CHENG; LIU, 2005; RAUHVARGERS, 2011). Uma das principais críticas à metodologia deste ranking centra-se na inclinação exagerada dada às ciências naturais e na produção intelectual em revistas científicas de língua inglesa, apesar de haver aspectos positivos na metodologia, conforme opinou Théry (2010).

Outro indicador do desempenho de IES é conhecido como Times Higher Education (THE), cuja primeira versão foi publicada em 2004. Este empregou o coletor e processador de dados Quacquarelly-Symonds (QS) até 2009, quando passou a empregar informações da Thomson Reuters, oriundas de quase 12 mil periódicos. No THE as citações obtidas pelos pesquisadores representam 30% da nota final atribuída à instituição educacional, sendo esse o aspecto mais significativo. Há que se destacar, por oportuno, que são feitas correções para não favorecer instituições especializadas em áreas muito específicas, tais como ciências da saúde, física e matemática, que podem inflacionar o número de citações (HAZELKORN, 2011).

O Webometrics Ranking of World Universities foi proposto pelo Laboratório de Cibernética do Consejo Superior de Investigaciones Científicas (CSIC) da Espanha, em 2004. O referido indicador foi concebido para promover a disseminação através da publicação em acesso aberto de artigos e outros documentos na web. O Webometrics não utiliza o número de acessos ou navegabilidade dos sites como indicador de desempenho e visibilidade das instituições, porém o volume de conteúdos, abertura e impacto na web, com ênfase nos resultados de pesquisa. Busca, dessa maneira, motivar acadêmicos a expor na web sua presença, atraindo a atenção da comunidade científica e da sociedade como um todo (AGUILLO et. al., 2006).

O QS World University Ranking (QS-WUR) foi publicado pela primeira vez em 2004, com o objetivo de hierarquizar as universidades por regiões continentais e por cinco grandes áreas do saber, a partir de indicadores associados à qualidade da produção intelectual dos pesquisadores vinculados às instituições educacionais. Não obstante, suas maiores diferenças, em relação ao ARWU da Universidade de Xangai, residem em considerar aspectos relacionados (i) à qualidade do ensino e (ii) à reputação da instituição, a partir de opiniões de profissionais qualificados para tal (WONG; SING., 2010).

A partir de 2005 foi proposto pela European Classification of Higher Education Institutions um indicador de natureza multidimensional, rotulado, inicialmente, como U-map, cujo objetivo central é descrever o que fazem as instituições de ensino superior europeias (VAN VUGHT; WESTERHEIJDEN, 2010), permitindo aos seus usuários utilizar as informações geradas para elaborar e organizar suas próprias listas comparativas ou rankings. Concomitantemente, nesta mesma época, foi desenvolvido o U-Multirank como indicador alternativo aos rankings baseados quase exclusivamente na produtividade intelectual e na pesquisa científica. O U-Multirank oferece um espectro multidimensional para as instituições e universidades europeias (excetuando o Reino Unido), já que se baseia em ampla gama de outros indicadores de desempenho, dentre os quais o ensino e a aprendizagem, a transferência de conhecimento, a orientação internacional e o envolvimento regional da instituição. Finalmente, deve-se realçar, por oportuno, que a metodologia combina classificação institucional com rankings baseados em grupos de determinadas disciplinas acadêmicas (VAN VUGHT; ZIEGELE 2012).

Em 2008 o Centre for Science and Technology Studies (CWTS) da Universidade de Leiden (Holanda) desenvolveu procedimento próprio (denominado Ranking Leiden) para medir o impacto científico e outros indicadores de produção intelectual, com a finalidade de selecionar as 500 melhores instituições no mundo, a partir de dados bibliométricos provenientes da base Web of Science. O número de citações é calculado por um algoritmo que considera aquelas recebidas nos últimos cinco anos, normalizados pelas diferentes áreas do conhecimento e a quantidade de publicações, descontadas as autocitações. O CWTS também fornece informação sobre cooperação entre universidades e indústria, bem como mapas de colaboração entre as universidades integrantes do ranking. Conforme Waltman et al. (2012) várias inovações foram implementadas no Ranking Leiden, no período 2011/2012, destacando-se: (i) inclusão de um indicador com base na contagem de publicações altamente citadas por pesquisadores de outras universidades, (ii) adoção de fracionamento no número de publicações colaborativas, ao invés do somatório destas, (iii) possibilidade de exclusão de publicações em língua que não o inglês, e (iv) utilização de intervalos de estabilidade temporal.

Para finalizar nossa exposição, cabe destacar, por relevante, que em 2012 foi criado o SCImago Institutions Ranking (SIR), utilizando-se da base de dados Scopus, parte integrante do publisher da multinacional Elsevier. O SIR possui características diferentes dos demais rankings universitários por não produzir listas de instituições ordenadas por prestígio, as denominadas league tables, mas um compêndio de caráter inclusivo que se propõe a analisar os resultados de pesquisa na Iberoamérica e no mundo. A forma de apresentar os resultados consiste em tabelas que contêm uma riqueza de dados incluindo a posição da instituição de acordo com o critério escolhido, o total de documentos publicados no período de cinco anos, indicadores de citação normalizados, número de artigos em periódicos de alto impacto e o percentual de taxa de excelência, expresso pelo número de artigos incluídos na proporção dos 10% artigos mais citados em sua área (MAÑANA-RODRÍGUEZ, 2014).

Para alguns autores, dentre os quais Bornmann, Moya-Anegón e Leydesdorff (2011), o caráter inovador do SIR deve ser realçado, posto que o estabelecimento de rankings de universidades situadas fora do eixo Estados Unidos-Inglaterra que não seriam incluídas nos rankings league table, permite, assim, uma análise alternativa, justa e adequada ao perfil destas instituições, principalmente quanto aos chamados países em vias de desenvolvimento.

Observa-se que, atualmente, existem vários rankings baseados em indicadores bibliométricos para instituições vocacionadas às atividades de investigação, cujo objetivo é descrever o desempenho científico das mesmas, empregando aspectos diferenciados. O SIR produzido pelo SCimago e o Leiden Ranking produzido pelo CWTS são rankings desta natureza. Já o THE produzido pela Thomson Reuters, o U-map e o U-Multirank, ambos produzidos pela European Classification of Higher Education Institutions, pretendem avaliar o desempenho de IES em vários aspectos, incluindo o ensino e a investigação, também utilizam indicadores bibliométricos.

Por fim, o ARWU, elaborado pela Shanghai Jiao Tong University, também avalia o desempenho de IES, embora considerando menor número de aspectos que o THE, que o U-map e o U-Multirank.

Nesse âmbito, efetivou-se estudo descritivo do desempenho de uma Instituição Federal de Ensino Superior (IFES) em três sistemas de indicadores internacionais, a saber: QS-WUR e Ranking Mundial de Universidades na Web (WEB), ambos criados em 2004; SIR, criado em 2012. Esses três sistemas fornecem informações relevantes acerca da pesquisa científica, da produção intelectual, da colaboração internacional, da reputação institucional, do perfil docente e do impacto na web das produções intelectuais dos pesquisadores, permitindo, assim, ampla gama de informações úteis à autoavaliação institucional, sobretudo no que concerne à dimensão da pesquisa e da pós-graduação.

3 Uso de indicadores internacionais e autoavaliação institucional: pontos de convergência

O Sistema Nacional de Avaliação da Educação Superior (Sinaes), que ora normatiza a avaliação do ensino superior brasileiro, surgiu através da Lei nº 10.861, de 14 de abril de 2004 (BRASIL, 2004), cuja operacionalização se subdivide em três macros-procedimentos: Avaliação Institucional (interna e externa), Avaliação dos Cursos de Graduação (ACG) e Exame Nacional de Avaliação do Desempenho dos Estudantes (Enade). No que tange à Avaliação Institucional, há 10 dimensões¹ a serem contempladas, sendo que uma delas dirige-se à pesquisa e à pós-graduação, que prevê, dentre outros aspectos (a) identificar a articulação da pesquisa científica com as demais atividades acadêmicas e (b) usar indicadores quantitativos relacionados que expressem a qualidade da publicação científica.

Estas informações constam dos três sistemas de indicadores aqui detalhados (QS-WUR, WEB, SIR), de sorte que, ao serem empregados na sistemática de autoavaliação institucional, na dimensão dirigida à pesquisa e à pós-graduação, possibilitarão relevantes informações acerca da qualidade da pesquisa científica, da produção intelectual, da colaboração internacional, da reputação institucional, do perfil docente e do impacto na web das produções intelectuais dos pesquisadores componentes da IES sob análise.

4 Objetivos do estudo

A partir do exposto, o estudo objetivou apresentar valores obtidos pela Universidade Federal do Ceará (UFC) no período 2011 a 2015, em três sistemas de indicadores internacionais: SIR, QS-WUR e Ranking Mundial de Universidades na Web. Como objetivo secundário desejou-se realçar a potencialidade do uso desses indicadores, em formato de séries históricas, como estratégia para a obtenção de diagnóstico situacional da referida IFES, a partir das respectivas interpretações dos valores obtidos e das tendências identificadas, permitindo, assim, a emissão de valorações acerca desses aspectos institucionais, caracterizando a execução de uma autêntica avaliação (ANDRIOLA, 1999).

Finalmente, como objetivo terciário, buscou-se identificar fortalezas e fraquezas relacionadas à pesquisa científica, à produção intelectual, à colaboração internacional, à reputação da IFES, ao perfil docente, ao impacto na web das produções intelectuais, dentre outros aspectos, contribuindo, portanto, para o planejamento de ações de aprimoramento institucional, conforme idealizaram Salmi (2001) e Andriola (2004).

5 Valores obtidos pela UFC no SIR

O ranking SIR de 2013 constituiu a quarta edição analítica da produção científica de quase 5.000 instituições de pesquisa pertencentes a mais de 100 países. Como referido, o SIR visa a analisar as atividades científicas das instituições, a partir de dados quantitativos de publicações e citações, gerando quatro indicadores bibliométricos:

1. Produção Científica (PC): medida pelo número de publicações em revistas científicas obtidas pelos pesquisadores da instituição. As publicações com coautoria são atribuídas a cada instituição participante.

2. Colaboração Internacional (CI): média das publicações científicas de uma instituição, realizadas em colaboração com instituições de outros países. Os valores calculam-se analisando as publicações de uma instituição cuja afiliação inclui direções pertencentes a países estrangeiros.

3. Qualidade Científica Média (QCM): impacto científico de uma instituição depois de eliminar a influência do tamanho e do perfil temático. A QCM permite comparar a “qualidade” da investigação de instituições de diferentes tamanhos e com diferentes perfis de investigação. Este indicador expressa a razão entre o impacto médio de uma instituição e a média mundial para as publicações do mesmo período e área científica. Uma pontuação 0.8 significa que uma IES é citada 20% menos que a média mundial, enquanto o valor 1.3 indica que a IES é citada 30% a mais que a média mundial.

4. Percentagem de Publicações em Revistas do Primeiro Quartil (SJR - 1Q): indica a percentagem de publicações de uma instituição em revistas incluídas no primeiro quartil, ordenadas pelo indicador SJR (25% das revistas com mais prestígio do mundo segundo este indicador). O indicador SJR mede a influência ou prestígio científico das revistas mediante a análise da quantidade e da procedência das citações que recebe uma revista científica. A sua utilização tem aumentado através da divulgação no portal – SCImago Journal & Country Rank – e da inclusão, pela Elsevier, na base Scopus.

No Quadro 1, encontram-se os valores do indicador SIR, obtidos pela UFC, no período 2011–2015, bem como as posições no cenário mundial.

Quadro 1
Valores obtidos pela UFC no indicador SIR.

Período Considerado	Componentes do SIR				Posição no Mundo	Posição na América Latina	Posição no Brasil
	PC	CI	QCM	SJR 1Q
2011	3.385	24,1	0,7	35,5	855 (N = 3.042)	28	16
2012	3.918	23,6	0,7	32,4	828 (N = 3.290)	29	17
2013	4.580	24,3	0,7	28,0	760 (N = 4.349)	27	17
2014	5.306	23,9	0,8	33,8	571 (N = 5.074)	22	14
2015	5.928	23,7	0,7	34,5	578 (N = 5.139)	22	14

• Fonte: http://www.scimagoir.com (2016).

A análise dos componentes do SIR possibilita-nos as seguintes constatações:

1. PC: a UFC revelou substantivo aumento de 75%, pois passou do valor de 3.385, em 2012, para 5.928, em 2015. Esta tendência ao incremento de valor tem sido observada desde 2011, revelando, assim, sustentabilidade e regularidade.

2. CI: trata-se da média das publicações científicas realizadas em colaboração com instituições de outros países. A UFC teve redução de 2% em comparação com o valor de 2011, que embora, ínfima, revela certa fragilidade interna dos pesquisadores da UFC em manter vínculos com grupos do exterior.

3. QCM: a UFC manteve-se com o mesmo valor de 2011, revelando, assim, tendência à estabilidade. Esse aspecto é preocupante, posto que outras IES têm conseguido incrementá-lo.

4. SJR - 1Q: expressa o percentual de publicações em revistas especializadas, incluídas no primeiro quartil, conforme o prestígio mundial do veículo. Neste indicador específico, a UFC teve a sua maior redução: 3% em comparação com o valor de 2011. Verifica-se, portanto, que a UFC tem revelado tendência irregular quanto à publicação em revistas especializadas do primeiro quartil de prestígio, com avanços e retrocessos no que tange aos valores anuais.

No âmbito latino-americano a UFC galgou seis posições, deslocando-se do 28º posto, em 2011, para o 22º, em 2015. No âmbito nacional a UFC deslocou-se do 17º posto para o 16º. Com respeito à posição da UFC no âmbito mundial, houve avanço significativo desde 2011, quando ocupava a posição 855, estando no primeiro terço das melhores instituições analisadas (num universo de 3.042 instituições de pesquisa). Em 2015, alcançou a posição 578, vindo a se posicionar no rol das 11% melhores instituições de pesquisa (num universo de 5.139 instituições analisadas).

6 Valores obtidos pela UFC no QS-WUR

O ranking mundial de Universidades QS-WUR (Quacquarelli Symonds) resulta de sete indicadores que o compõem, a saber: a) reputação acadêmica da Universidade (peso 0,4); b) reputação do empregador dos egressos da Universidade (peso 0,1); c) estudantes da Universidade - proporção de estudantes por professor (peso 0,2); d) citação per capita dos pesquisadores da Universidade (peso 0,2); e) diversidade estudantil – proporção de estudantes estrangeiros (peso 0,05); f) diversidade docente – proporção de docentes estrangeiros (peso 0,05).

No Quadro 2, encontram-se os valores obtidos pela UFC nos sete indicadores específicos, que permitiram a geração do QS-WUR e a posição desta no cenário latino-americano, no período 2011-2015.

Quadro 2
Valores obtidos pela UFC no indicador QS-WUR.

Período analisado	Posição na América Latina	Componentes do QS-WUR						Valor QS-WUR
		a	b	c	d	e	f
2011	76 (N = 200)	20,8	-	49,5	90,1	46,6	51,9	39,5
2012	84 (N = 250)	15,8	-	62,1	94,9	53,7	82,0	44,6
2013	71 (N = 250)	35,2	-	53,3	91,9	53,9	95,6	51,3
2014	100 (N = 300)	32,5	-	42,7	89,4	52,8	91,4	49,1
2015	94 (N = 300)	36,6	-	57,5	80,3	88,2	90,0	53,1

• Fonte: http://www.topuniversities.com/university-rankings/latin-american-university-rankings (2016).

Conforme o indicador QS-WUR, entre 2011 e 2015, houve incremento de ordem de 34% no seu valor final. Apesar do referido, em 2015 a UFC havia perdido 18 posições no cenário latino-americano, pois passou do posto 76, em 2011, para o 94º, em 2015, num universo de 300 universidades analisadas. Não obstante este fato, a UFC permanece no top 100 das melhores universidades latino-americanas, situando-a no primeiro terço de instituições de maior qualidade e prestígio na região referida.

No que tange aos componentes do indicador QS-WUR, a reputação acadêmica da UFC (componente a) foi o que proporcionou o maior impacto sobre o valor final (o peso desse componente é de 40% sobre o QS-WUR), posto incremento superior a 75%, relativo a 2011. Esta tendência de aumento no valor deste componente específico é observada desde 2011.

Os componentes c (proporção de estudantes por professor) e e (diversidade estudantil), cujo peso total é de 25% no valor final do indicador QS-WUR, também revelaram incremento nos seus valores. Em 2011 estes dois componentes tinham valores 49,5 e 46,6, respectivamente. Em 2015 ambos tiveram valores incrementados, alcançando 57,5 e 88,2 o que significou aporte de 16% e de 89%, respectivamente.

No entanto, houve decréscimo nos componentes d (citação per capita dos pesquisadores) e f (proporção de docentes estrangeiros), cujo peso total é de 40% do valor final do indicador QS-WUR. Essas tendências à diminuição nos valores destes dois componentes específicos são observadas desde 2011.

7 Valores obtidos pela UFC no Ranking Mundial de Universidade na Web

O Ranking Mundial de Universidades na Web foi criado em 2004, como iniciativa do Laboratório de Cibermetria do CSIC, o maior centro de investigação científica da Espanha. A ideia do ranking, conforme o CSIC, é motivar as universidades e os pesquisadores a estarem presentes na world wide web, divulgando com precisão suas atividades. Além disso, de acordo com o CSIC, se o desempenho da IES na world wide web estiver abaixo da posição esperada, em função da excelência acadêmica, deveria haver um esforço maior, por parte da instituição, na divulgação das publicações no formato online.

Neste cenário, o objetivo principal do ranking é apoiar as iniciativas “Open Access”, assim como promover o acesso eletrônico às publicações científicas e outros materiais acadêmicos. Potencialmente, este tipo de publicação pode alcançar audiências mais amplas, oferecendo acesso ao conhecimento científico para investigadores, para instituições de países em vias de desenvolvimento, bem como para empresas (AGUILLO et al., 2006).

O indicador WEB mede o fator de impacto WEB, combinando o número de enlaces externos entrantes com o número de web pages de um domínio, seguindo uma relação 1:1 entre visibilidade e tamanho. Esta relação é usada para obter-se o ranking, considerando-se quatro distintos componentes, a saber:

1. Visibilidade (V): número de acessos (acadêmicos e não acadêmicos) à página institucional, a partir dos provedores Majestic SEO e ahrefs.

2. Presença (P): número total de web pages alojadas no domínio web principal (incluindo todos os subdomínios e diretórios) da universidade, obtidos do maior motor de busca comercial: o Google.

3. Abertura (A): arquivos significativos selecionados com base na sua relevância para as atividades acadêmicas e de publicação intelectual, por conta do seu volume de uso: Adobe Acrobat (pdf), Microsoft Word (doc e docx) e Microsoft Powerpoint (ppt), cuja extração se dá a partir do Google Scholar.

4. Excelência (E): dados de Google Scholar, incluindo artigos acadêmicos publicados entre 2008 e 2014, bem como os de Scimago IR para o mesmo período.

No Quadro 3 encontram-se os valores dos quatro indicadores específicos que compõem o indicador WEB, para o período 2011–2015.

Quadro 3
Valores obtidos pela UFC no indicador WEB.

Período analisado	Posição na América Latina	Posição no Mundo	Componentes do Indicador WEB
			V	P	A	E
2011	42	1008 (N = 20.000)	729	1.311	682	459
2012	36	710 (N = 20.745)	1.208	1.575	329	931
2013	17	530 (N = 21.000)	929	395	647	896
2014	15	483 (N = 21.000)	876	533	766	788
2015	20	664 (N = 21.000)	760	726	472	868

• Fonte: http://www.webometrics.info (2016).

De um modo geral, a UFC avançou 22 posições no âmbito latino-americano, passando do 42º posto em 2011 para o 20º em 2015. No âmbito mundial, a UFC saiu do 1.008º posto, no ano 2011, para o 664º, em 2015. Observa-se, desse modo, progresso acentuado da UFC no Indicador WEB, no período analisado.

No que tange aos componentes do Indicador WEB, no período analisado, observou-se o que segue abaixo:

1. A Visibilidade avalia o número de acessos (acadêmicos e não acadêmicos) à página institucional. Referido componente sofreu pequeno incremento de 4%, ao passar do valor 729 (em 2011) para 760 (em 2015);

2. A Presença valora o número total de web pages alojadas no domínio web principal (incluindo todos os subdomínios e diretórios) da UFC, obtidos pelo buscador Google. Este componente sofreu redução de 45%, ao passar de 1.311 (em 2011) para 726 (em 2015). Convém salientar que domínios alternativos do domínio web principal penaliza fortemente esse indicador. Este aspecto explica o elevado valor verificado em 2011 para este componente;

3. A Abertura possibilita a emissão de juízo de valor sobre arquivos significativos selecionados com base na sua relevância para as atividades acadêmicas e de publicação intelectual, oriunda do volume de uso: Adobe Acrobat (pdf), Microsoft Word (doc e docx) e Microsoft Powerpoint (ppt), cuja extração se dá a partir do Google Scholar. Este componente sofreu retração no período analisado, quando passou de 682 (em 2011) para 472 (em 2015), o que supôs diminuição de 31%;

4. A Excelência permite a avaliação de dados de Google Scholar, incluindo artigos acadêmicos publicados entre 2008 e 2014, bem como os de Scimago IR para o mesmo período. Observou-se significativo incremento de 89% entre 2011 e 2015, quando o valor neste componente passou de 459 para 868.

8 Diagnóstico situacional da UFC

Conforme destacado, o emprego de indicadores permite o diagnóstico situacional da instituição, induzindo ao planejamento estratégico para adoção de ações de aprimoramento. Neste caso específico, a adoção de três indicadores internacionais (SIR, QS-WUR e WEB) permitiu identificar características proeminentes da Universidade Federal do Ceará (UFC) na área da pesquisa científica, no período 2011–2015, que, de modo sintético, foram agrupadas em dois conjuntos, a saber:

1. Potencialidades (aspectos positivos): substantivo aumento da produção científica dos pesquisadores (indicador SIR); substantivo aumento da reputação acadêmica institucional (indicador QS-WUR); aumento na proporção de estudantes por professor (indicador QS-WUR); aumento na diversidade estudantil (indicador QS-WUR); maior visibilidade institucional através da internet (indicador WEB); substantivo aumento na produção intelectual de excelência (indicador WEB);

2. Fragilidades (aspectos negativos): pequena diminuição da colaboração internacional entre grupos de pesquisa (indicador SIR); diminuição da produção intelectual científica, veiculada em periódicos do 1° quartil (indicador SIR); qualidade científica da produção intelectual permaneceu estável no período analisado (indicador SIR); diminuição da citação per capita oriunda da produção intelectual de pesquisadores da instituição (QS-WUR); diminuição da proporção de docentes estrangeiros (indicador QS-WUR); decréscimo da presença institucional em buscadores acadêmicos (indicador WEB).

De modo sintético, a partir dos três indicadores internacionais adotados no estudo (SIR, QS-WUR, WEB) constatou-se que a Universidade Federal do Ceará (UFC) avançou no cenário mundial, latino-americano e brasileiro nas dimensões consideradas pelos referidos indicadores, no que tange à pesquisa científica.

9 À guisa de conclusão

O presente estudo adotou três indicadores internacionais (SIR, QS-WUR e WEB) que se utilizam de informações bibliométricas para descrever as várias facetas e/ou dimensões da produção científica (GUEDES; BORSCHIVER, 2005). Esses aspectos componentes dos três indicadores já referidos permitiram o diagnóstico situacional da IES, no que diz respeito à qualidade da produção científica do seu corpo de pesquisadores. Tal aspecto, de enorme valia no âmbito da pesquisa e da pós-graduação, revela factibilidade no emprego dessas informações, bem como utilidade para a sistemática de autoavaliação institucional.

Não obstante, poder-se-ia indagar: como as características idealizadas para a autoavaliação institucional, em conformidade com princípios propostos por Balzán e Dias Sobrinho (2000), Ristoff (2000), Dias Sobrinho e Ristoff (2003), podem ser resguardadas, ao adotar-se indicadores quantitativos para se obter diagnóstico confiável, válido e preciso da situação da IES? A resposta: a partir de algumas constatações oriundas do uso de indicadores, dentre as quais:

1. Indução ao conhecimento dos objetivos, dos procedimentos e dos aspectos que serão valorados, de modo que a comunidade (ou uma parcela significativa) possa participar ativamente na busca de soluções aos problemas e/ou dificuldades identificadas. A partir desta situação garante-se, portanto, a participação democrática dos protagonistas, tornando a avaliação institucional atividade estimuladora e educativa, consoante às posições de Andriola (2004), Amado (2003), Barreyro e Rothen (2014) e Belloni (1999);

2. Indução à busca de soluções factíveis para os problemas ou dificuldades detectadas pelos indicadores, com vistas ao aprimoramento institucional. Realça-se, desse modo, a função vital da avaliação institucional: servir ao planejamento estratégico da organização. Para tal, a referida atividade deverá ser sistemática e rotineira, amparado nas posições de Casanova (1992) e Contera (2000);

3. Indução ao conhecimento dos meandros da autoavaliação institucional, a partir da compreensão conceitual e operacional de cada indicador proposto, fortalecendo, assim, os princípios de transparência, justiça, ética e democracia.

Para concluir, vislumbremos, por um breve momento, a riqueza e a amplitude dos dados oriundos do emprego racional de indicadores institucionais. Estas informações, mesmo sendo relativamente limitadas, posto que representam apenas quantidades de aspectos vinculados à produção intelectual de um segmento específico da comunidade universitária, permitiram organizar um sistema descritivo, coerente e amplo, que proporcionou o conhecimento qualitativo e holístico acerca de uma faceta específica dessa organização educacional, conforme opinou Andriola (2004). Ademais, pelo fato de os indicadores estarem organizados em séries históricas, proporcionam aos gestores universitários uma maior facilidade na execução do planejamento estratégico institucional, posto revelarem tendências, conforme opinião de Borden e Banta (1994).

Nesse âmbito, no qual determinação, prudência e ousadia são elementos necessários e imprescindíveis ao sucesso do emprego de indicadores como complemento à atividade de autoavaliação institucional, finalizaremos a exposição citando sábias palavras pronunciadas pelo escritor espanhol Baltasar Gracián y Morales (1601-1658): pon un toque de audacia en todo lo que haces (coloque uma pitada de ousadia em tudo o que fizeres).

Referências

• AGUILLO, I. et al. Scientific research activity and communication measured with cybermetric indicators. Journal of the American Society for Information Science and Technology, v. 57, n. 10, p. 1296-302, 2006. https://doi.org/10.1002/asi.20433
  » https://doi.org/10.1002/asi.20433
• AMADO, L. A. S. A auto-avaliação no ensino superior como dispositivo analisador dos processos de subjetivação: da avaliação-consumo à avaliação-produção. Revista da Rede de Avaliação Institucional da Educação Superior, Campinas, v. 4, n. 8, p. 183-205, 2003.
• ANDRIOLA, W. B. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Avaliação: Revista da Avaliação da Educação Superior, v. 9, n. 4, p. 33-54, 2004.
• ANDRIOLA, W. B. Evaluación: la vía para la calidad educativa. Ensaio: Avaliação de Políticas Públicas em Educação, v. 7, n. 25, p. 355-68, 1999.
• ANDRIOLA, W. B. Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 6, n. 4, p. 127-48, 2008.
• BALZÁN, N. C; DIAS SOBRINHO, J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2000.
• BARREYRO, G. B.; ROTHEN, J. C. Percurso da avaliação da educação superior nos governos Lula. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 61-76, 2014. http://dx.doi.org/10.1590/S1517-97022014000100005
  » http://dx.doi.org/10.1590/S1517-97022014000100005
• BELLONI, I. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas, Brasília, v. 5, n. 9, p. 7-30, 1999.
• BORDEN, V. M. H.; BANTA, T. W. Using performance indicators to guide strategic decision making. San Francisco: Jossey-Bass, 1994.
• BORNMANN, L.; MOYA-ANEGÓN, F.; LEYDESDORFF, L. The new excellence indicator in the World Report of the SCImago Institutions Rankings 2011. [S.l.]: [s.n], 2011.
• BOTTANI, N. The OECD international education indicators. Assessment in Education: Principles, Palicy & Practice, v. 1, n. 3, p. 333-50, 1994. https://doi.org/10.1080/0969594940010308
  » https://doi.org/10.1080/0969594940010308
• BOTTANI, N. OECD international education indicators. International Journal of Educational Research, v. 25, n. 3, p. 279–288, 1996. https://doi.org/10.1016/0883-0355(96)82857-6
  » https://doi.org/10.1016/0883-0355(96)82857-6
• BOTTANI, N.; TUIJNMAN, A. International education indicators: framework, development and interpretation. In: ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Making education count: developing and using international indicatiors. Paris: OECD, 1994. p. 21-35.
• BRASIL. Lei Nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Diário Oficial da União, 15 abr. 2004.
• CASANOVA, M. A. La evaluación: garantía de calidad del centro educativo. Zaragoza: Edelvives, 1992.
• CONTERA, C. Modelos de evaluación de la calidad de la educación superior. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior, Campinas, v. 5, n. 1, p. 7-18, 2000.
• DIAS SOBRINHO, J. D.; RISTOFF, D. I. (Org.). Avaliação e compromisso público: a educação superior em debate. Florianópolis: Insular, 2003.
• GUEDES, V. L. S.; BORSCHIVER, S. Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 6., Salvador. Anais.. Salvador: CINFORM, 2005. p. 1-17.
• HAZELKORN, E. Globalization and the reputation race in rankings and the reshaping of Higher Education: the battle for world wild excellence. Palgrave: Mac Millan, 2011.
• JANUZZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e implicações. Campinas: Alínea, 2003.
• LIU, N. C.; CHENG, Y.; LIU, L. Academic ranking of world universities using scientometrics - a comment to the “Fatal Attraction”. Scientometrics, v. 64, n. 1, p. 101-9, 2005. https://doi.org/10.1007/s11192-005-0241-z
  » https://doi.org/10.1007/s11192-005-0241-z
• MAÑANA-RODRÍGUEZ, J. A critical review of SCImago Journal & Country Rank. Research Evaluation, v. 24, n. 4, p. 343-54, 2014. https://doi.org/10.1093/reseval/rvu008
  » https://doi.org/10.1093/reseval/rvu008
• MORRIL, R. L. The Use of Indicators in the Strategic Management of Universities. Higher Education Management, v. 12, n. 1, p. 105-11, 2000. http://dx.doi.org/10.1787/hemp-v12-1-en
  » http://dx.doi.org/10.1787/hemp-v12-1-en
• QS QUACQUARELLI SYMONDS. QS Top Universities: Latin America. [S.l.]: 2016. Disponível em: <http://www.topuniversities.com/university-rankings/latin-american-university-rankings> Acesso em: 24 out. 2016.
  » http://www.topuniversities.com/university-rankings/latin-american-university-rankings>
• RANKING WEB OF UNIVERSITIES. [S.l.]: 2016. Disponível em: <http://www.webometrics.info> Acesso em: 24 out. 2016.
  » http://www.webometrics.info>
• RAUHVARGERS, A. Global university rankings and their Impact Brussels: European University Association, 2011. Disponível em: <http://www.eua.be/pubs/global_university_rankings_and_their_impact.pdf> Acesso em: 8 ago. 2013.
  » http://www.eua.be/pubs/global_university_rankings_and_their_impact.pdf>
• RISTOFF, D. I. Avaliação intitucional: afirmando valores. Revista Educação e Ensino, v. 2, n. 5, p. 13-21, 2000.
• SALMI, J. Tertiary Education in the 21st Century: challenges and opportunities. Higher Education Management, v. 13, n. 2, p. 105-31, 2001. https://doi.org/10.1787/hemp-v13-2-en
  » https://doi.org/10.1787/hemp-v13-2-en
• SCOPUS. Scimago Institutions Rankings [S.l.]: 2016. Disponível em: <http://www.scimagoir.com> Acesso em: 24 out. 2016.
  » http://www.scimagoir.com>
• THÉRY, H. Classificações de universidades mundiais, “Xangai” e outras. Estudos Avançados, v. 24, n. 70, p. 185-205, 2010. http://dx.doi.org/10.1590/S0103-40142010000300012
  » http://dx.doi.org/10.1590/S0103-40142010000300012
• VAN RAAN, A. Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, v. 62, n. 1, p. 133-43, 2005. https://doi.org/10.1007/s11192-005-0008-6
  » https://doi.org/10.1007/s11192-005-0008-6
• VAN VUGHT, F.; WESTERHEIJDEN, D. F. Multidimensional ranking: a new transparency tool for higher education and research. Higher Education Management and Policy, v. 22, n. 3, p. 1-28, 2010. https://doi.org/10.1787/hemp-22-5km32wkjhf24
  » https://doi.org/10.1787/hemp-22-5km32wkjhf24
• VAN VUGHT, F.; ZIEGELE, F. (Ed.). Multidimensional ranking: the design and development of U-Multirank. Dordrecht: [Springer Netherlands], 2012.
• WALTMAN, L. et al. The Leiden ranking 2011/2012: Data collection, indicators, and interpretation. Journal of the Association for Information Science and Technology, v. 63, n. 12, p. 2419-32, 2012. https://doi.org/10.1002/asi.22708
  » https://doi.org/10.1002/asi.22708
• WONG, P. K.; SING, A. University patenting activities and their link to the quantity and quality of scientific publications. Scientometrics, v. 83, n. 1, p. 271-94, 2010. https://doi.org/10.1007/s11192-009-0003-4
  » https://doi.org/10.1007/s11192-009-0003-4

• 1
  I. A missão e o plano de desenvolvimento institucional; II. A política institucional voltada ao ensino, à pós-graduação, à pesquisa e à extensão; III. A responsabilidade social da instituição; IV. A comunicação com a sociedade; V. A política institucional de gestão de pessoal; VI. A organização e a gestão da instituição; VII. A adequação da infraestrutura física à missão da instituição; VIII. O planejamento e a avaliação institucional; IX. A política interna de atendimento aos estudantes universitários; X. A sustentabilidade financeira institucional (BRASIL, 2004, não paginado).

Datas de Publicação

• Publicação nesta coleção
  14 Maio 2018
• Data do Fascículo
  Jul-Sep 2018

Histórico

• Recebido
  28 Jun 2016
• Aceito
  26 Abr 2017