ensaio
Ensaio: Avaliação e Políticas Públicas em Educação
Ensaio: aval. pol. públ. educ.
0104-4036
1809-4465
Fundação CESGRANRIO
Abstract
The text emphasizes the use of educational indicators as a way to obtain a diagnosis of Higher Education Institutions. To do so, illustrates the use of three international indicators (Scimago Institutions Ranking – SIR; QS World University Rankings - QS WUR; World University Ranking Web) that provide relevant information about scientific research, intellectual production, international collaboration, institutional reputation, teaching profile, web impact of intellectual productions, among others, thus providing a diagnosis of Higher Education Institution (HEI). The main results of the study carried out in brazilian HEI, between 2011 and 2015, indicate: increased scientific production of researchers (SIR indicator) and intellectual production of excellence (WEB indicator); increased institutional visibility through the Internet (WEB indicator) and institutional academic reputation (QS-WUR indicator); decreased international collaboration among research groups (SIR indicator) and proportion of foreign teachers (QS-WUR indicator).
1 Indicadores educacionais: algumas ideias introdutórias
No campo educacional, indicador é um artifício que proporciona informação relevante e sintética acerca de aspectos significativos da realidade observada, que, habitualmente, é resultado de algum tipo de dado ou informação quantitativa (ANDRIOLA, 2008). Não obstante, um indicador nem sempre resulta de uma medida. Em muitos sistemas de indicadores, se incluem alguns de natureza não quantitativa, recorrendo-se a gráficos e descrições qualitativas da realidade (BOTTANI, 1994, 1996).
Os indicadores são artefatos que servem para explicar uma parcela ou aspecto da realidade considerada, no nosso caso, a educacional (JANUZZI, 2003). Sem embargo, não devemos atribuir o seu êxito ou aceitação somente à sua capacidade explicativa, posto que especialistas e cientistas sociais utilizam muitos outros recursos para conhecer e interpretar a realidade.
Sendo assim, os indicadores devem ser encarados como o que na realidade são: artefatos de alcance limitado, ou seja, de eficácia relativa (VAN RAAN, 2005). Por que, então, sua relevância e acentuada difusão, verificadas, atualmente, no campo educacional? Sem dúvida alguma, o motivo principal se encontra em duas características intrínsecas aos indicadores: (i) caráter sintético e (ii) capacidade para orientar a tomada de decisões.
Por um lado, a seleção de um conjunto limitado, mas significativo, de indicadores, permite que se possa ter uma ideia sumária do funcionamento de uma dada realidade, contribuindo, assim, para iluminá-la e compreendê-la de forma mais acurada. Por outra parte, essas características de síntese e de princípio iluminador têm revelado seu valor, especialmente para as pessoas que necessitam contar com informações úteis e confiáveis para a tomada de decisões, como é o caso dos gestores de Instituições de Ensino Superior (IES).
Esse público específico, composto por administradores públicos, diretores escolares, políticos e gestores, mostra-se interessado por artefatos que permitam destacar, de modo sintético, aspectos e atributos relevantes de seu campo de atuação, de modo a orientá-los na tomada de decisões (MORRIL, 2000). Essa necessidade possibilitou a alguns teóricos afirmar que a construção de sistemas de indicadores é uma atividade extremamente complexa, resultante da interação das dimensões teóricas, técnicas, cognitivas e políticas (BOTTANI; TUIJNMAN, 1994).
A natureza política dos indicadores tem sido objeto de muitas discussões, pois não são poucos os estudiosos que os consideram artefatos vinculados a uma concepção tecnocrática de Educação, pouco úteis à melhoria ou aperfeiçoamento da realidade observada ou descrita, dada a sua natureza reducionista. Essas opiniões têm razão, em parte. Como ressaltado anteriormente, a explicação e a interpretação da realidade educacional são tarefas complexas, que exigem diversos enfoques teóricos, uso de procedimentos técnicos variados e necessidade de participação e contribuição de distintos protagonistas ou atores da realidade avaliada (ANDRIOLA, 2004). Convém destacar, por oportuno, que os indicadores são artefatos ou ferramentas às quais não se deve pedir além do que podem oferecer. Como asseverou o poeta e filósofo romano Quinto Horácio Flaco: est modus in rebus (tudo tem limites).
2 Breve retrospectiva histórica acerca do uso de indicadores internacionais no Ensino Superior
A primeira aparição sistemática de conjunto de indicadores voltados ao estabelecimento de um ranking internacional de Universidades ocorreu em 2003, por iniciativa da Shanghai Jiao Tong University (Xangai, China), que foi denominado Academic Ranking of World Universities (ARWU). A referida proposta fundamenta-se, sobretudo, na produção científica da instituição a partir do número de: (a) artigos publicados nos periódicos Nature e Science (peso de 20%), (b) artigos indexados no Science Citation Index Expanded (SCIE), no Social Science Citation Index (SCCI) e no Thomson Reuters (peso de 20%), e (c) pesquisadores mais citados pela Thomson Scientific (peso de 20%). O ranking considera, ademais, o número de Prêmios Nobel e Field Medals (em Matemática) outorgados aos pesquisadores da instituição (LIU; CHENG; LIU, 2005; RAUHVARGERS, 2011). Uma das principais críticas à metodologia deste ranking centra-se na inclinação exagerada dada às ciências naturais e na produção intelectual em revistas científicas de língua inglesa, apesar de haver aspectos positivos na metodologia, conforme opinou Théry (2010).
Outro indicador do desempenho de IES é conhecido como Times Higher Education (THE), cuja primeira versão foi publicada em 2004. Este empregou o coletor e processador de dados Quacquarelly-Symonds (QS) até 2009, quando passou a empregar informações da Thomson Reuters, oriundas de quase 12 mil periódicos. No THE as citações obtidas pelos pesquisadores representam 30% da nota final atribuída à instituição educacional, sendo esse o aspecto mais significativo. Há que se destacar, por oportuno, que são feitas correções para não favorecer instituições especializadas em áreas muito específicas, tais como ciências da saúde, física e matemática, que podem inflacionar o número de citações (HAZELKORN, 2011).
O Webometrics Ranking of World Universities foi proposto pelo Laboratório de Cibernética do Consejo Superior de Investigaciones Científicas (CSIC) da Espanha, em 2004. O referido indicador foi concebido para promover a disseminação através da publicação em acesso aberto de artigos e outros documentos na web. O Webometrics não utiliza o número de acessos ou navegabilidade dos sites como indicador de desempenho e visibilidade das instituições, porém o volume de conteúdos, abertura e impacto na web, com ênfase nos resultados de pesquisa. Busca, dessa maneira, motivar acadêmicos a expor na web sua presença, atraindo a atenção da comunidade científica e da sociedade como um todo (AGUILLO et. al., 2006).
O QS World University Ranking (QS-WUR) foi publicado pela primeira vez em 2004, com o objetivo de hierarquizar as universidades por regiões continentais e por cinco grandes áreas do saber, a partir de indicadores associados à qualidade da produção intelectual dos pesquisadores vinculados às instituições educacionais. Não obstante, suas maiores diferenças, em relação ao ARWU da Universidade de Xangai, residem em considerar aspectos relacionados (i) à qualidade do ensino e (ii) à reputação da instituição, a partir de opiniões de profissionais qualificados para tal (WONG; SING., 2010).
A partir de 2005 foi proposto pela European Classification of Higher Education Institutions um indicador de natureza multidimensional, rotulado, inicialmente, como U-map, cujo objetivo central é descrever o que fazem as instituições de ensino superior europeias (VAN VUGHT; WESTERHEIJDEN, 2010), permitindo aos seus usuários utilizar as informações geradas para elaborar e organizar suas próprias listas comparativas ou rankings. Concomitantemente, nesta mesma época, foi desenvolvido o U-Multirank como indicador alternativo aos rankings baseados quase exclusivamente na produtividade intelectual e na pesquisa científica. O U-Multirank oferece um espectro multidimensional para as instituições e universidades europeias (excetuando o Reino Unido), já que se baseia em ampla gama de outros indicadores de desempenho, dentre os quais o ensino e a aprendizagem, a transferência de conhecimento, a orientação internacional e o envolvimento regional da instituição. Finalmente, deve-se realçar, por oportuno, que a metodologia combina classificação institucional com rankings baseados em grupos de determinadas disciplinas acadêmicas (VAN VUGHT; ZIEGELE 2012).
Em 2008 o Centre for Science and Technology Studies (CWTS) da Universidade de Leiden (Holanda) desenvolveu procedimento próprio (denominado Ranking Leiden) para medir o impacto científico e outros indicadores de produção intelectual, com a finalidade de selecionar as 500 melhores instituições no mundo, a partir de dados bibliométricos provenientes da base Web of Science. O número de citações é calculado por um algoritmo que considera aquelas recebidas nos últimos cinco anos, normalizados pelas diferentes áreas do conhecimento e a quantidade de publicações, descontadas as autocitações. O CWTS também fornece informação sobre cooperação entre universidades e indústria, bem como mapas de colaboração entre as universidades integrantes do ranking. Conforme Waltman et al. (2012) várias inovações foram implementadas no Ranking Leiden, no período 2011/2012, destacando-se: (i) inclusão de um indicador com base na contagem de publicações altamente citadas por pesquisadores de outras universidades, (ii) adoção de fracionamento no número de publicações colaborativas, ao invés do somatório destas, (iii) possibilidade de exclusão de publicações em língua que não o inglês, e (iv) utilização de intervalos de estabilidade temporal.
Para finalizar nossa exposição, cabe destacar, por relevante, que em 2012 foi criado o SCImago Institutions Ranking (SIR), utilizando-se da base de dados Scopus, parte integrante do publisher da multinacional Elsevier. O SIR possui características diferentes dos demais rankings universitários por não produzir listas de instituições ordenadas por prestígio, as denominadas league tables, mas um compêndio de caráter inclusivo que se propõe a analisar os resultados de pesquisa na Iberoamérica e no mundo. A forma de apresentar os resultados consiste em tabelas que contêm uma riqueza de dados incluindo a posição da instituição de acordo com o critério escolhido, o total de documentos publicados no período de cinco anos, indicadores de citação normalizados, número de artigos em periódicos de alto impacto e o percentual de taxa de excelência, expresso pelo número de artigos incluídos na proporção dos 10% artigos mais citados em sua área (MAÑANA-RODRÍGUEZ, 2014).
Para alguns autores, dentre os quais Bornmann, Moya-Anegón e Leydesdorff (2011), o caráter inovador do SIR deve ser realçado, posto que o estabelecimento de rankings de universidades situadas fora do eixo Estados Unidos-Inglaterra que não seriam incluídas nos rankings league table, permite, assim, uma análise alternativa, justa e adequada ao perfil destas instituições, principalmente quanto aos chamados países em vias de desenvolvimento.
Observa-se que, atualmente, existem vários rankings baseados em indicadores bibliométricos para instituições vocacionadas às atividades de investigação, cujo objetivo é descrever o desempenho científico das mesmas, empregando aspectos diferenciados. O SIR produzido pelo SCimago e o Leiden Ranking produzido pelo CWTS são rankings desta natureza. Já o THE produzido pela Thomson Reuters, o U-map e o U-Multirank, ambos produzidos pela European Classification of Higher Education Institutions, pretendem avaliar o desempenho de IES em vários aspectos, incluindo o ensino e a investigação, também utilizam indicadores bibliométricos.
Por fim, o ARWU, elaborado pela Shanghai Jiao Tong University, também avalia o desempenho de IES, embora considerando menor número de aspectos que o THE, que o U-map e o U-Multirank.
Nesse âmbito, efetivou-se estudo descritivo do desempenho de uma Instituição Federal de Ensino Superior (IFES) em três sistemas de indicadores internacionais, a saber: QS-WUR e Ranking Mundial de Universidades na Web (WEB), ambos criados em 2004; SIR, criado em 2012. Esses três sistemas fornecem informações relevantes acerca da pesquisa científica, da produção intelectual, da colaboração internacional, da reputação institucional, do perfil docente e do impacto na web das produções intelectuais dos pesquisadores, permitindo, assim, ampla gama de informações úteis à autoavaliação institucional, sobretudo no que concerne à dimensão da pesquisa e da pós-graduação.
3 Uso de indicadores internacionais e autoavaliação institucional: pontos de convergência
O Sistema Nacional de Avaliação da Educação Superior (Sinaes), que ora normatiza a avaliação do ensino superior brasileiro, surgiu através da Lei nº 10.861, de 14 de abril de 2004 (BRASIL, 2004), cuja operacionalização se subdivide em três macros-procedimentos: Avaliação Institucional (interna e externa), Avaliação dos Cursos de Graduação (ACG) e Exame Nacional de Avaliação do Desempenho dos Estudantes (Enade). No que tange à Avaliação Institucional, há 10 dimensões1 a serem contempladas, sendo que uma delas dirige-se à pesquisa e à pós-graduação, que prevê, dentre outros aspectos (a) identificar a articulação da pesquisa científica com as demais atividades acadêmicas e (b) usar indicadores quantitativos relacionados que expressem a qualidade da publicação científica.
Estas informações constam dos três sistemas de indicadores aqui detalhados (QS-WUR, WEB, SIR), de sorte que, ao serem empregados na sistemática de autoavaliação institucional, na dimensão dirigida à pesquisa e à pós-graduação, possibilitarão relevantes informações acerca da qualidade da pesquisa científica, da produção intelectual, da colaboração internacional, da reputação institucional, do perfil docente e do impacto na web das produções intelectuais dos pesquisadores componentes da IES sob análise.
4 Objetivos do estudo
A partir do exposto, o estudo objetivou apresentar valores obtidos pela Universidade Federal do Ceará (UFC) no período 2011 a 2015, em três sistemas de indicadores internacionais: SIR, QS-WUR e Ranking Mundial de Universidades na Web. Como objetivo secundário desejou-se realçar a potencialidade do uso desses indicadores, em formato de séries históricas, como estratégia para a obtenção de diagnóstico situacional da referida IFES, a partir das respectivas interpretações dos valores obtidos e das tendências identificadas, permitindo, assim, a emissão de valorações acerca desses aspectos institucionais, caracterizando a execução de uma autêntica avaliação (ANDRIOLA, 1999).
Finalmente, como objetivo terciário, buscou-se identificar fortalezas e fraquezas relacionadas à pesquisa científica, à produção intelectual, à colaboração internacional, à reputação da IFES, ao perfil docente, ao impacto na web das produções intelectuais, dentre outros aspectos, contribuindo, portanto, para o planejamento de ações de aprimoramento institucional, conforme idealizaram Salmi (2001) e Andriola (2004).
5 Valores obtidos pela UFC no SIR
O ranking SIR de 2013 constituiu a quarta edição analítica da produção científica de quase 5.000 instituições de pesquisa pertencentes a mais de 100 países. Como referido, o SIR visa a analisar as atividades científicas das instituições, a partir de dados quantitativos de publicações e citações, gerando quatro indicadores bibliométricos:
Produção Científica (PC): medida pelo número de publicações em revistas científicas obtidas pelos pesquisadores da instituição. As publicações com coautoria são atribuídas a cada instituição participante.
Colaboração Internacional (CI): média das publicações científicas de uma instituição, realizadas em colaboração com instituições de outros países. Os valores calculam-se analisando as publicações de uma instituição cuja afiliação inclui direções pertencentes a países estrangeiros.
Qualidade Científica Média (QCM): impacto científico de uma instituição depois de eliminar a influência do tamanho e do perfil temático. A QCM permite comparar a “qualidade” da investigação de instituições de diferentes tamanhos e com diferentes perfis de investigação. Este indicador expressa a razão entre o impacto médio de uma instituição e a média mundial para as publicações do mesmo período e área científica. Uma pontuação 0.8 significa que uma IES é citada 20% menos que a média mundial, enquanto o valor 1.3 indica que a IES é citada 30% a mais que a média mundial.
Percentagem de Publicações em Revistas do Primeiro Quartil (SJR - 1Q): indica a percentagem de publicações de uma instituição em revistas incluídas no primeiro quartil, ordenadas pelo indicador SJR (25% das revistas com mais prestígio do mundo segundo este indicador). O indicador SJR mede a influência ou prestígio científico das revistas mediante a análise da quantidade e da procedência das citações que recebe uma revista científica. A sua utilização tem aumentado através da divulgação no portal – SCImago Journal & Country Rank – e da inclusão, pela Elsevier, na base Scopus.
No Quadro 1, encontram-se os valores do indicador SIR, obtidos pela UFC, no período 2011–2015, bem como as posições no cenário mundial.
Quadro 1
Valores obtidos pela UFC no indicador SIR.
Período Considerado
Componentes do SIR
Posição no Mundo
Posição na América Latina
Posição no Brasil
PC
CI
QCM
SJR 1Q
2011
3.385
24,1
0,7
35,5
855 (N = 3.042)
28
16
2012
3.918
23,6
0,7
32,4
828 (N = 3.290)
29
17
2013
4.580
24,3
0,7
28,0
760 (N = 4.349)
27
17
2014
5.306
23,9
0,8
33,8
571 (N = 5.074)
22
14
2015
5.928
23,7
0,7
34,5
578 (N = 5.139)
22
14
Fonte: http://www.scimagoir.com (2016).
A análise dos componentes do SIR possibilita-nos as seguintes constatações:
PC: a UFC revelou substantivo aumento de 75%, pois passou do valor de 3.385, em 2012, para 5.928, em 2015. Esta tendência ao incremento de valor tem sido observada desde 2011, revelando, assim, sustentabilidade e regularidade.
CI: trata-se da média das publicações científicas realizadas em colaboração com instituições de outros países. A UFC teve redução de 2% em comparação com o valor de 2011, que embora, ínfima, revela certa fragilidade interna dos pesquisadores da UFC em manter vínculos com grupos do exterior.
QCM: a UFC manteve-se com o mesmo valor de 2011, revelando, assim, tendência à estabilidade. Esse aspecto é preocupante, posto que outras IES têm conseguido incrementá-lo.
SJR - 1Q: expressa o percentual de publicações em revistas especializadas, incluídas no primeiro quartil, conforme o prestígio mundial do veículo. Neste indicador específico, a UFC teve a sua maior redução: 3% em comparação com o valor de 2011. Verifica-se, portanto, que a UFC tem revelado tendência irregular quanto à publicação em revistas especializadas do primeiro quartil de prestígio, com avanços e retrocessos no que tange aos valores anuais.
No âmbito latino-americano a UFC galgou seis posições, deslocando-se do 28º posto, em 2011, para o 22º, em 2015. No âmbito nacional a UFC deslocou-se do 17º posto para o 16º. Com respeito à posição da UFC no âmbito mundial, houve avanço significativo desde 2011, quando ocupava a posição 855, estando no primeiro terço das melhores instituições analisadas (num universo de 3.042 instituições de pesquisa). Em 2015, alcançou a posição 578, vindo a se posicionar no rol das 11% melhores instituições de pesquisa (num universo de 5.139 instituições analisadas).
6 Valores obtidos pela UFC no QS-WUR
O ranking mundial de Universidades QS-WUR (Quacquarelli Symonds) resulta de sete indicadores que o compõem, a saber: a) reputação acadêmica da Universidade (peso 0,4); b) reputação do empregador dos egressos da Universidade (peso 0,1); c) estudantes da Universidade - proporção de estudantes por professor (peso 0,2); d) citação per capita dos pesquisadores da Universidade (peso 0,2); e) diversidade estudantil – proporção de estudantes estrangeiros (peso 0,05); f) diversidade docente – proporção de docentes estrangeiros (peso 0,05).
No Quadro 2, encontram-se os valores obtidos pela UFC nos sete indicadores específicos, que permitiram a geração do QS-WUR e a posição desta no cenário latino-americano, no período 2011-2015.
Quadro 2
Valores obtidos pela UFC no indicador QS-WUR.
Período analisado
Posição na América Latina
Componentes do QS-WUR
Valor QS-WUR
a
b
c
d
e
f
2011
76 (N = 200)
20,8
-
49,5
90,1
46,6
51,9
39,5
2012
84 (N = 250)
15,8
-
62,1
94,9
53,7
82,0
44,6
2013
71 (N = 250)
35,2
-
53,3
91,9
53,9
95,6
51,3
2014
100 (N = 300)
32,5
-
42,7
89,4
52,8
91,4
49,1
2015
94 (N = 300)
36,6
-
57,5
80,3
88,2
90,0
53,1
Fonte: http://www.topuniversities.com/university-rankings/latin-american-university-rankings (2016).
Conforme o indicador QS-WUR, entre 2011 e 2015, houve incremento de ordem de 34% no seu valor final. Apesar do referido, em 2015 a UFC havia perdido 18 posições no cenário latino-americano, pois passou do posto 76, em 2011, para o 94º, em 2015, num universo de 300 universidades analisadas. Não obstante este fato, a UFC permanece no top 100 das melhores universidades latino-americanas, situando-a no primeiro terço de instituições de maior qualidade e prestígio na região referida.
No que tange aos componentes do indicador QS-WUR, a reputação acadêmica da UFC (componente a) foi o que proporcionou o maior impacto sobre o valor final (o peso desse componente é de 40% sobre o QS-WUR), posto incremento superior a 75%, relativo a 2011. Esta tendência de aumento no valor deste componente específico é observada desde 2011.
Os componentes c (proporção de estudantes por professor) e e (diversidade estudantil), cujo peso total é de 25% no valor final do indicador QS-WUR, também revelaram incremento nos seus valores. Em 2011 estes dois componentes tinham valores 49,5 e 46,6, respectivamente. Em 2015 ambos tiveram valores incrementados, alcançando 57,5 e 88,2 o que significou aporte de 16% e de 89%, respectivamente.
No entanto, houve decréscimo nos componentes d (citação per capita dos pesquisadores) e f (proporção de docentes estrangeiros), cujo peso total é de 40% do valor final do indicador QS-WUR. Essas tendências à diminuição nos valores destes dois componentes específicos são observadas desde 2011.
7 Valores obtidos pela UFC no Ranking Mundial de Universidade na Web
O Ranking Mundial de Universidades na Web foi criado em 2004, como iniciativa do Laboratório de Cibermetria do CSIC, o maior centro de investigação científica da Espanha. A ideia do ranking, conforme o CSIC, é motivar as universidades e os pesquisadores a estarem presentes na world wide web, divulgando com precisão suas atividades. Além disso, de acordo com o CSIC, se o desempenho da IES na world wide web estiver abaixo da posição esperada, em função da excelência acadêmica, deveria haver um esforço maior, por parte da instituição, na divulgação das publicações no formato online.
Neste cenário, o objetivo principal do ranking é apoiar as iniciativas “Open Access”, assim como promover o acesso eletrônico às publicações científicas e outros materiais acadêmicos. Potencialmente, este tipo de publicação pode alcançar audiências mais amplas, oferecendo acesso ao conhecimento científico para investigadores, para instituições de países em vias de desenvolvimento, bem como para empresas (AGUILLO et al., 2006).
O indicador WEB mede o fator de impacto WEB, combinando o número de enlaces externos entrantes com o número de web pages de um domínio, seguindo uma relação 1:1 entre visibilidade e tamanho. Esta relação é usada para obter-se o ranking, considerando-se quatro distintos componentes, a saber:
Visibilidade (V): número de acessos (acadêmicos e não acadêmicos) à página institucional, a partir dos provedores Majestic SEO e ahrefs.
Presença (P): número total de web pages alojadas no domínio web principal (incluindo todos os subdomínios e diretórios) da universidade, obtidos do maior motor de busca comercial: o Google.
Abertura (A): arquivos significativos selecionados com base na sua relevância para as atividades acadêmicas e de publicação intelectual, por conta do seu volume de uso: Adobe Acrobat (pdf), Microsoft Word (doc e docx) e Microsoft Powerpoint (ppt), cuja extração se dá a partir do Google Scholar.
Excelência (E): dados de Google Scholar, incluindo artigos acadêmicos publicados entre 2008 e 2014, bem como os de Scimago IR para o mesmo período.
No Quadro 3 encontram-se os valores dos quatro indicadores específicos que compõem o indicador WEB, para o período 2011–2015.
Quadro 3
Valores obtidos pela UFC no indicador WEB.
Período analisado
Posição na América Latina
Posição no Mundo
Componentes do Indicador WEB
V
P
A
E
2011
42
1008 (N = 20.000)
729
1.311
682
459
2012
36
710 (N = 20.745)
1.208
1.575
329
931
2013
17
530 (N = 21.000)
929
395
647
896
2014
15
483 (N = 21.000)
876
533
766
788
2015
20
664 (N = 21.000)
760
726
472
868
Fonte: http://www.webometrics.info (2016).
De um modo geral, a UFC avançou 22 posições no âmbito latino-americano, passando do 42º posto em 2011 para o 20º em 2015. No âmbito mundial, a UFC saiu do 1.008º posto, no ano 2011, para o 664º, em 2015. Observa-se, desse modo, progresso acentuado da UFC no Indicador WEB, no período analisado.
No que tange aos componentes do Indicador WEB, no período analisado, observou-se o que segue abaixo:
A Visibilidade avalia o número de acessos (acadêmicos e não acadêmicos) à página institucional. Referido componente sofreu pequeno incremento de 4%, ao passar do valor 729 (em 2011) para 760 (em 2015);
A Presença valora o número total de web pages alojadas no domínio web principal (incluindo todos os subdomínios e diretórios) da UFC, obtidos pelo buscador Google. Este componente sofreu redução de 45%, ao passar de 1.311 (em 2011) para 726 (em 2015). Convém salientar que domínios alternativos do domínio web principal penaliza fortemente esse indicador. Este aspecto explica o elevado valor verificado em 2011 para este componente;
A Abertura possibilita a emissão de juízo de valor sobre arquivos significativos selecionados com base na sua relevância para as atividades acadêmicas e de publicação intelectual, oriunda do volume de uso: Adobe Acrobat (pdf), Microsoft Word (doc e docx) e Microsoft Powerpoint (ppt), cuja extração se dá a partir do Google Scholar. Este componente sofreu retração no período analisado, quando passou de 682 (em 2011) para 472 (em 2015), o que supôs diminuição de 31%;
A Excelência permite a avaliação de dados de Google Scholar, incluindo artigos acadêmicos publicados entre 2008 e 2014, bem como os de Scimago IR para o mesmo período. Observou-se significativo incremento de 89% entre 2011 e 2015, quando o valor neste componente passou de 459 para 868.
8 Diagnóstico situacional da UFC
Conforme destacado, o emprego de indicadores permite o diagnóstico situacional da instituição, induzindo ao planejamento estratégico para adoção de ações de aprimoramento. Neste caso específico, a adoção de três indicadores internacionais (SIR, QS-WUR e WEB) permitiu identificar características proeminentes da Universidade Federal do Ceará (UFC) na área da pesquisa científica, no período 2011–2015, que, de modo sintético, foram agrupadas em dois conjuntos, a saber:
Potencialidades (aspectos positivos): substantivo aumento da produção científica dos pesquisadores (indicador SIR); substantivo aumento da reputação acadêmica institucional (indicador QS-WUR); aumento na proporção de estudantes por professor (indicador QS-WUR); aumento na diversidade estudantil (indicador QS-WUR); maior visibilidade institucional através da internet (indicador WEB); substantivo aumento na produção intelectual de excelência (indicador WEB);
Fragilidades (aspectos negativos): pequena diminuição da colaboração internacional entre grupos de pesquisa (indicador SIR); diminuição da produção intelectual científica, veiculada em periódicos do 1° quartil (indicador SIR); qualidade científica da produção intelectual permaneceu estável no período analisado (indicador SIR); diminuição da citação per capita oriunda da produção intelectual de pesquisadores da instituição (QS-WUR); diminuição da proporção de docentes estrangeiros (indicador QS-WUR); decréscimo da presença institucional em buscadores acadêmicos (indicador WEB).
De modo sintético, a partir dos três indicadores internacionais adotados no estudo (SIR, QS-WUR, WEB) constatou-se que a Universidade Federal do Ceará (UFC) avançou no cenário mundial, latino-americano e brasileiro nas dimensões consideradas pelos referidos indicadores, no que tange à pesquisa científica.
9 À guisa de conclusão
O presente estudo adotou três indicadores internacionais (SIR, QS-WUR e WEB) que se utilizam de informações bibliométricas para descrever as várias facetas e/ou dimensões da produção científica (GUEDES; BORSCHIVER, 2005). Esses aspectos componentes dos três indicadores já referidos permitiram o diagnóstico situacional da IES, no que diz respeito à qualidade da produção científica do seu corpo de pesquisadores. Tal aspecto, de enorme valia no âmbito da pesquisa e da pós-graduação, revela factibilidade no emprego dessas informações, bem como utilidade para a sistemática de autoavaliação institucional.
Não obstante, poder-se-ia indagar: como as características idealizadas para a autoavaliação institucional, em conformidade com princípios propostos por Balzán e Dias Sobrinho (2000), Ristoff (2000), Dias Sobrinho e Ristoff (2003), podem ser resguardadas, ao adotar-se indicadores quantitativos para se obter diagnóstico confiável, válido e preciso da situação da IES? A resposta: a partir de algumas constatações oriundas do uso de indicadores, dentre as quais:
Indução ao conhecimento dos objetivos, dos procedimentos e dos aspectos que serão valorados, de modo que a comunidade (ou uma parcela significativa) possa participar ativamente na busca de soluções aos problemas e/ou dificuldades identificadas. A partir desta situação garante-se, portanto, a participação democrática dos protagonistas, tornando a avaliação institucional atividade estimuladora e educativa, consoante às posições de Andriola (2004), Amado (2003), Barreyro e Rothen (2014) e Belloni (1999);
Indução à busca de soluções factíveis para os problemas ou dificuldades detectadas pelos indicadores, com vistas ao aprimoramento institucional. Realça-se, desse modo, a função vital da avaliação institucional: servir ao planejamento estratégico da organização. Para tal, a referida atividade deverá ser sistemática e rotineira, amparado nas posições de Casanova (1992) e Contera (2000);
Indução ao conhecimento dos meandros da autoavaliação institucional, a partir da compreensão conceitual e operacional de cada indicador proposto, fortalecendo, assim, os princípios de transparência, justiça, ética e democracia.
Para concluir, vislumbremos, por um breve momento, a riqueza e a amplitude dos dados oriundos do emprego racional de indicadores institucionais. Estas informações, mesmo sendo relativamente limitadas, posto que representam apenas quantidades de aspectos vinculados à produção intelectual de um segmento específico da comunidade universitária, permitiram organizar um sistema descritivo, coerente e amplo, que proporcionou o conhecimento qualitativo e holístico acerca de uma faceta específica dessa organização educacional, conforme opinou Andriola (2004). Ademais, pelo fato de os indicadores estarem organizados em séries históricas, proporcionam aos gestores universitários uma maior facilidade na execução do planejamento estratégico institucional, posto revelarem tendências, conforme opinião de Borden e Banta (1994).
Nesse âmbito, no qual determinação, prudência e ousadia são elementos necessários e imprescindíveis ao sucesso do emprego de indicadores como complemento à atividade de autoavaliação institucional, finalizaremos a exposição citando sábias palavras pronunciadas pelo escritor espanhol Baltasar Gracián y Morales (1601-1658): pon un toque de audacia en todo lo que haces (coloque uma pitada de ousadia em tudo o que fizeres).
Referências
AGUILLO, I. et al. Scientific research activity and communication measured with cybermetric indicators. Journal of the American Society for Information Science and Technology, v. 57, n. 10, p. 1296-302, 2006. https://doi.org/10.1002/asi.20433
AGUILLO
I.
et al.
Scientific research activity and communication measured with cybermetric indicators
Journal of the American Society for Information Science and Technology
57
10
1296
1302
2006
https://doi.org/10.1002/asi.20433
AMADO, L. A. S. A auto-avaliação no ensino superior como dispositivo analisador dos processos de subjetivação: da avaliação-consumo à avaliação-produção. Revista da Rede de Avaliação Institucional da Educação Superior, Campinas, v. 4, n. 8, p. 183-205, 2003.
AMADO
L. A. S.
A auto-avaliação no ensino superior como dispositivo analisador dos processos de subjetivação: da avaliação-consumo à avaliação-produção
Revista da Rede de Avaliação Institucional da Educação Superior
Campinas
4
8
183
205
2003
ANDRIOLA, W. B. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Avaliação: Revista da Avaliação da Educação Superior, v. 9, n. 4, p. 33-54, 2004.
ANDRIOLA
W. B.
Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional
Avaliação: Revista da Avaliação da Educação Superior
9
4
33
54
2004
ANDRIOLA, W. B. Evaluación: la vía para la calidad educativa. Ensaio: Avaliação de Políticas Públicas em Educação, v. 7, n. 25, p. 355-68, 1999.
ANDRIOLA
W. B.
Evaluación: la vía para la calidad educativa
Ensaio: Avaliação de Políticas Públicas em Educação
7
25
355
368
1999
ANDRIOLA, W. B. Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 6, n. 4, p. 127-48, 2008.
ANDRIOLA
W. B.
Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008
Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación
6
4
127
148
2008
BALZÁN, N. C; DIAS SOBRINHO, J. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 2000.
BALZÁN
N. C
DIAS
J.
SOBRINHO
Avaliação institucional: teoria e experiências
São Paulo
Cortez
2000
BARREYRO, G. B.; ROTHEN, J. C. Percurso da avaliação da educação superior nos governos Lula. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 61-76, 2014. http://dx.doi.org/10.1590/S1517-97022014000100005
BARREYRO
G. B.
ROTHEN
J. C.
Percurso da avaliação da educação superior nos governos Lula
Educação e Pesquisa
São Paulo
40
1
61
76
2014
http://dx.doi.org/10.1590/S1517-97022014000100005
BELLONI, I. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas, Brasília, v. 5, n. 9, p. 7-30, 1999.
BELLONI
I.
Avaliação institucional: um instrumento de democratização da educação
Linhas Críticas
Brasília
5
9
7
30
1999
BORDEN, V. M. H.; BANTA, T. W. Using performance indicators to guide strategic decision making. San Francisco: Jossey-Bass, 1994.
BORDEN
V. M. H.
BANTA
T. W.
Using performance indicators to guide strategic decision making
San Francisco
Jossey-Bass
1994
BORNMANN, L.; MOYA-ANEGÓN, F.; LEYDESDORFF, L. The new excellence indicator in the World Report of the SCImago Institutions Rankings 2011. [S.l.]: [s.n], 2011.
BORNMANN
L.
MOYA-ANEGÓN
F.
LEYDESDORFF
L.
The new excellence indicator in the World Report of the SCImago Institutions Rankings 2011
S.l.
s.n
2011
BOTTANI, N. The OECD international education indicators. Assessment in Education: Principles, Palicy & Practice, v. 1, n. 3, p. 333-50, 1994. https://doi.org/10.1080/0969594940010308
BOTTANI
N
The OECD international education indicators
Assessment in Education: Principles, Palicy & Practice
1
3
333
350
1994
https://doi.org/10.1080/0969594940010308
BOTTANI, N. OECD international education indicators. International Journal of Educational Research, v. 25, n. 3, p. 279–288, 1996. https://doi.org/10.1016/0883-0355(96)82857-6
BOTTANI
N
OECD international education indicators
International Journal of Educational Research
25
3
279
288
1996
https://doi.org/10.1016/0883-0355(96)82857-6
BOTTANI, N.; TUIJNMAN, A. International education indicators: framework, development and interpretation. In: ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Making education count: developing and using international indicatiors. Paris: OECD, 1994. p. 21-35.
BOTTANI
N.
TUIJNMAN
A.
International education indicators: framework, development and interpretation
ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT
Making education count: developing and using international indicatiors
Paris
OECD
1994
21
35
BRASIL. Lei Nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Diário Oficial da União, 15 abr. 2004.
BRASIL
Lei Nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências
Diário Oficial da União
15
04
2004
CASANOVA, M. A. La evaluación: garantía de calidad del centro educativo. Zaragoza: Edelvives, 1992.
CASANOVA
M. A.
La evaluación: garantía de calidad del centro educativo
Zaragoza
Edelvives
1992
CONTERA, C. Modelos de evaluación de la calidad de la educación superior. Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior, Campinas, v. 5, n. 1, p. 7-18, 2000.
CONTERA
C.
Modelos de evaluación de la calidad de la educación superior
Avaliação: Revista da Rede de Avaliação Institucional da Educação Superior
Campinas
5
1
7
18
2000
DIAS SOBRINHO, J. D.; RISTOFF, D. I. (Org.). Avaliação e compromisso público: a educação superior em debate. Florianópolis: Insular, 2003.
DIAS
J. D.
SOBRINHO
RISTOFF
D. I.
Org
Avaliação e compromisso público: a educação superior em debate
Florianópolis
Insular
2003
GUEDES, V. L. S.; BORSCHIVER, S. Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 6., Salvador. Anais... Salvador: CINFORM, 2005. p. 1-17.
GUEDES
V. L. S.
BORSCHIVER
S.
Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica
ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 6
Salvador
Anais...
Salvador
CINFORM
2005
1
17
HAZELKORN, E. Globalization and the reputation race in rankings and the reshaping of Higher Education: the battle for world wild excellence. Palgrave: Mac Millan, 2011.
HAZELKORN
E.
Globalization and the reputation race in rankings and the reshaping of Higher Education: the battle for world wild excellence
Palgrave
Mac Millan
2011
JANUZZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e implicações. Campinas: Alínea, 2003.
JANUZZI
P. M.
Indicadores sociais no Brasil: conceitos, fontes de dados e implicações
Campinas
Alínea
2003
LIU, N. C.; CHENG, Y.; LIU, L. Academic ranking of world universities using scientometrics - a comment to the “Fatal Attraction”. Scientometrics, v. 64, n. 1, p. 101-9, 2005. https://doi.org/10.1007/s11192-005-0241-z
LIU
N. C.
CHENG
Y.
LIU
L.
Academic ranking of world universities using scientometrics - a comment to the “Fatal Attraction”
Scientometrics
64
1
101
109
2005
https://doi.org/10.1007/s11192-005-0241-z
MAÑANA-RODRÍGUEZ, J. A critical review of SCImago Journal & Country Rank. Research Evaluation, v. 24, n. 4, p. 343-54, 2014. https://doi.org/10.1093/reseval/rvu008
MAÑANA-RODRÍGUEZ
J
A critical review of SCImago Journal & Country Rank
Research Evaluation
24
4
343
354
2014
https://doi.org/10.1093/reseval/rvu008
MORRIL, R. L. The Use of Indicators in the Strategic Management of Universities. Higher Education Management, v. 12, n. 1, p. 105-11, 2000. http://dx.doi.org/10.1787/hemp-v12-1-en
MORRIL
R. L.
The Use of Indicators in the Strategic Management of Universities
Higher Education Management
12
1
105
111
2000
http://dx.doi.org/10.1787/hemp-v12-1-en
QS QUACQUARELLI SYMONDS. QS Top Universities: Latin America. [S.l.]: 2016. Disponível em: <http://www.topuniversities.com/university-rankings/latin-american-university-rankings>. Acesso em: 24 out. 2016.
QS QUACQUARELLI SYMONDS
QS Top Universities: Latin America
S.l.
2016
http://www.topuniversities.com/university-rankings/latin-american-university-rankings>
Acesso em: 24 out. 2016
RANKING WEB OF UNIVERSITIES. [S.l.]: 2016. Disponível em: <http://www.webometrics.info>. Acesso em: 24 out. 2016.
RANKING WEB OF UNIVERSITIES
S.l.
2016
http://www.webometrics.info>
Acesso em: 24 out. 2016
RAUHVARGERS, A. Global university rankings and their Impact. Brussels: European University Association, 2011. Disponível em: <http://www.eua.be/pubs/global_university_rankings_and_their_impact.pdf>. Acesso em: 8 ago. 2013.
RAUHVARGERS
A.
Global university rankings and their Impact
Brussels
European University Association
2011
http://www.eua.be/pubs/global_university_rankings_and_their_impact.pdf>
Acesso em: 8 ago. 2013
RISTOFF, D. I. Avaliação intitucional: afirmando valores. Revista Educação e Ensino, v. 2, n. 5, p. 13-21, 2000.
RISTOFF
D. I.
Avaliação intitucional: afirmando valores
Revista Educação e Ensino
2
5
13
21
2000
SALMI, J. Tertiary Education in the 21st Century: challenges and opportunities. Higher Education Management, v. 13, n. 2, p. 105-31, 2001. https://doi.org/10.1787/hemp-v13-2-en
SALMI
J.
Tertiary Education in the 21st Century: challenges and opportunities
Higher Education Management
13
2
105
131
2001
https://doi.org/10.1787/hemp-v13-2-en
SCOPUS. Scimago Institutions Rankings. [S.l.]: 2016. Disponível em: <http://www.scimagoir.com>. Acesso em: 24 out. 2016.
SCOPUS
Scimago Institutions Rankings
S.l.
2016
http://www.scimagoir.com>
Acesso em: 24 out. 2016
THÉRY, H. Classificações de universidades mundiais, “Xangai” e outras. Estudos Avançados, v. 24, n. 70, p. 185-205, 2010. http://dx.doi.org/10.1590/S0103-40142010000300012
THÉRY
H
Classificações de universidades mundiais, “Xangai” e outras
Estudos Avançados
24
70
185
205
2010
http://dx.doi.org/10.1590/S0103-40142010000300012
VAN RAAN, A. Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, v. 62, n. 1, p. 133-43, 2005. https://doi.org/10.1007/s11192-005-0008-6
VAN RAAN
A
Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods
Scientometrics
62
1
133
143
2005
https://doi.org/10.1007/s11192-005-0008-6
VAN VUGHT, F.; WESTERHEIJDEN, D. F. Multidimensional ranking: a new transparency tool for higher education and research. Higher Education Management and Policy, v. 22, n. 3, p. 1-28, 2010. https://doi.org/10.1787/hemp-22-5km32wkjhf24
VAN VUGHT
F
WESTERHEIJDEN
D. F.
Multidimensional ranking: a new transparency tool for higher education and research
Higher Education Management and Policy
22
3
1
28
2010
https://doi.org/10.1787/hemp-22-5km32wkjhf24
VAN VUGHT, F.; ZIEGELE, F. (Ed.). Multidimensional ranking: the design and development of U-Multirank. Dordrecht: [Springer Netherlands], 2012.
VAN VUGHT
F.
ZIEGELE
F.
Ed
Multidimensional ranking: the design and development of U-Multirank
Dordrecht
Springer Netherlands
2012
WALTMAN, L. et al. The Leiden ranking 2011/2012: Data collection, indicators, and interpretation. Journal of the Association for Information Science and Technology, v. 63, n. 12, p. 2419-32, 2012. https://doi.org/10.1002/asi.22708
WALTMAN
L.
et al.
The Leiden ranking 2011/2012: Data collection, indicators, and interpretation
Journal of the Association for Information Science and Technology
63
12
2419
2432
2012
https://doi.org/10.1002/asi.22708
WONG, P. K.; SING, A. University patenting activities and their link to the quantity and quality of scientific publications. Scientometrics, v. 83, n. 1, p. 271-94, 2010. https://doi.org/10.1007/s11192-009-0003-4
WONG
P. K.
SING
A.
University patenting activities and their link to the quantity and quality of scientific publications
Scientometrics
83
1
271
294
2010
https://doi.org/10.1007/s11192-009-0003-4
1
I. A missão e o plano de desenvolvimento institucional; II. A política institucional voltada ao ensino, à pós-graduação, à pesquisa e à extensão; III. A responsabilidade social da instituição; IV. A comunicação com a sociedade; V. A política institucional de gestão de pessoal; VI. A organização e a gestão da instituição; VII. A adequação da infraestrutura física à missão da instituição; VIII. O planejamento e a avaliação institucional; IX. A política interna de atendimento aos estudantes universitários; X. A sustentabilidade financeira institucional (BRASIL, 2004, não paginado).
Authorship
Wagner Bandeira Andriola
Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.Universidade Federal do CearáBrasilFortaleza, Ceará, Brasil Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.
Adriana Castro Araújo
Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.Universidade Federal do CearáBrasilFortaleza, Ceará, Brasil Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.
Informações dos autores
Wagner Bandeira Andriola: Doutor em Filosofia e Ciências da Educação pela Universidad Complutense de Madrid (UCM). Atualmente é Professor Associado da Faculdade de Educação (Faced) da Universidade Federal do Ceará (UFC) e Pesquisador do CNPq (nível 1D). Contato: wagner.andriola@pq.cnpq.br
Adriana Castro Araújo: Mestra em Políticas Públicas e Gestão da Educação Superior pela Universidade Federal do Ceará (UFC). Atualmente é Assistente Técnico-Administrativo do Instituto de Cultura e Arte (ICA) da Universidade Federal do Ceará (UFC) e Doutoranda em Educação Brasileira (Faced/UFC), na linha de pesquisa em Avaliação Educacional. Contato: driaraujo12@gmail.com
SCIMAGO INSTITUTIONS RANKINGS
Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.Universidade Federal do CearáBrasilFortaleza, Ceará, Brasil Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.
Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.Universidade Federal do CearáBrasilFortaleza, Ceará, Brasil Faculdade de Educação. Universidade Federal do Ceará. Fortaleza, Ceará, Brasil.
Quadro 3
Valores obtidos pela UFC no indicador WEB.
table_chartQuadro 1
Valores obtidos pela UFC no indicador SIR.
Período Considerado
Componentes do SIR
Posição no Mundo
Posição na América Latina
Posição no Brasil
PC
CI
QCM
SJR 1Q
2011
3.385
24,1
0,7
35,5
855 (N = 3.042)
28
16
2012
3.918
23,6
0,7
32,4
828 (N = 3.290)
29
17
2013
4.580
24,3
0,7
28,0
760 (N = 4.349)
27
17
2014
5.306
23,9
0,8
33,8
571 (N = 5.074)
22
14
2015
5.928
23,7
0,7
34,5
578 (N = 5.139)
22
14
table_chartQuadro 2
Valores obtidos pela UFC no indicador QS-WUR.
Período analisado
Posição na América Latina
Componentes do QS-WUR
Valor QS-WUR
a
b
c
d
e
f
2011
76 (N = 200)
20,8
-
49,5
90,1
46,6
51,9
39,5
2012
84 (N = 250)
15,8
-
62,1
94,9
53,7
82,0
44,6
2013
71 (N = 250)
35,2
-
53,3
91,9
53,9
95,6
51,3
2014
100 (N = 300)
32,5
-
42,7
89,4
52,8
91,4
49,1
2015
94 (N = 300)
36,6
-
57,5
80,3
88,2
90,0
53,1
table_chartQuadro 3
Valores obtidos pela UFC no indicador WEB.
Período analisado
Posição na América Latina
Posição no Mundo
Componentes do Indicador WEB
V
P
A
E
2011
42
1008 (N = 20.000)
729
1.311
682
459
2012
36
710 (N = 20.745)
1.208
1.575
329
931
2013
17
530 (N = 21.000)
929
395
647
896
2014
15
483 (N = 21.000)
876
533
766
788
2015
20
664 (N = 21.000)
760
726
472
868
How to cite
Andriola, Wagner Bandeira and Araújo, Adriana Castro. Use of indicators for situational diagnosis of Higher Education Institutions. Ensaio: Avaliação e Políticas Públicas em Educação [online]. 2018, v. 26, n. 100 [Accessed 4 April 2025], pp. 645-663. Available from: <https://doi.org/10.1590/S0104-40362018002601062>. Epub 14 May 2018. ISSN 1809-4465. https://doi.org/10.1590/S0104-40362018002601062.
Fundação CESGRANRIORevista Ensaio, Rua Santa Alexandrina 1011, Rio Comprido, 20261-903 , Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600 -
Rio de Janeiro -
RJ -
Brazil E-mail: ensaio@cesgranrio.org.br
rss_feed
Acompanhe os números deste periódico no seu leitor de RSS
scite shows how a scientific paper has been cited by providing the context of the citation, a classification describing whether it supports, mentions, or contrasts the cited claim, and a label indicating in which section the citation was made.