Rankings Universitários Internacionais: evidências de vieses geográficas e orçamentárias para intuições brasileiras

Global University rankings: evidences of geographic and budgetary biases for Brazilian public institutions

Resumos

Este artigo analisa a classificação de instituições brasileiras de ensino superior em dois dos principais rankings internacionais de universidades: o QS World University Ranking e o The Times Higher Education (THE). Para isso, foram avaliadas as restrições metodológicas e como essas restrições afetaram a classificação das universidades do país nesses rankings. Entre 2016 e 2019, 38 brasileiras foram classificadas no QS e no THE, em sua versão global. Devido a restrições metodológicas, a classificação das instituições brasileiras assumiu a característica de patamares, variando de 3 a 5 patamares. Denota-se que a classificação de uma instituição em um patamar mais alto depende de sua proximidade com um mercado de trabalho dinâmico e um orçamento maior, indicando a dificuldade dos rankings de diferenciar de fato qualidade além dessas duas dimensões.

Palavras-chave:
rankings ; Educação superior brasileira; Avaliação de qualidade na educação

This paper analyzes the classification of Brazilian Universities and Higher Education Institutions in two of the main International University rankings: QS World University Ranking and Times Higher Education (THE). We analyzed the methodological restrictions and how they affected the ranking of Brazilian Higher Education Institutions. Between 2016 and 2019, 38 Brazilian institutions were classified on QS and THE rankings in their global versions. Due to their methodological restrictions, this classification assumed a plateau patter, varying between 3 and 5 levels. The classification of an institution in a higher position seemed to depend to its proximity to a dynamic job market and larger budget, suggesting a bias towards these variables.

Key words:
University rankings; Brazilian Higher Education; University Quality Assessment

1 Introdução

Os rankings, indicadores que classificam universidades de acordo com critérios e dimensões considerados relevantes, ganharam importância na última década e as universidades brasileiras não escaparam ao fenômeno. O caso mais antigo de uso sistemático de métricas de classificação é, talvez, o americano, com rankings para avaliar suas universidades e programas, como o US News and Report, iniciado na década de 1980 (FAUSTO; MUGNAINI, 2013). No entanto, a partir dos anos 2000, motivado por iniciativa de instituições chinesas que tinham o duplo objetivo de se avaliarem em comparação com o resto do mundo e de identificar possíveis parcerias com outras universidades, a publicação de rankings globais tomou força (CHARON; WAUTERS, 2008) e hoje, seja sob a forma global, regional ou temática, eles são publicados e acompanhados com frequência, pautando estratégias universitárias.

Ao destacar diferenças de reputação, os rankings afetaram todas as Instituições de Ensino Superior (IES) - mesmo instituições antes protegidas pela história, missão ou governança. Bem colocada ou não, com foco internacional ou regional, a IES é constantemente desafiada a alcançar melhores colocações ou a manter a posição já conquistada, o que traz reflexos sobre políticas institucionais e ganhos concretos ou potenciais para as atividades-fim das instituições (HAZELKORN, 2013, MARCOVITCH, 2018; VANZ et al., 2018).

Especialistas em educação superior afirmam que os rankings permitem às instituições construir, manter ou melhorar a reputação e o perfil acadêmico nacional e internacional; que estudantes de alto desempenho usam rankings para selecionar instituições, especialmente em nível de pós-graduação; que as decisões de stakeholders sobre financiamento, patrocínio e recrutamento de empregados são influenciadas pelos rankings; e que uma boa colocação proporciona outros diversos benefícios e vantagens. Além disso, os rankings da educação superior estimulam o debate sobre a qualidade e o desempenho das universidades, e geraram um grande impacto na sociedade e na internacionalização das instituições (HAZELKORN, 2013).

Entender o que de fato medem e as limitações de rankings nacionais e internacionais é, assim, fundamental para ajustar o desempenho e melhorar o posicionamento das universidades brasileiras (FRANÇA et al., 2015; SANTOS; NORONHA, 2016). Muitos esforços são feitos para apresentar informação objetiva baseada em números, mas sabe-se que a posição ocupada por cada instituição depende diretamente dos indicadores escolhidos para compor cada um dos rankings.

Nessa linha, o objetivo deste artigo é analisar a classificação de universidades brasileiras em rankings internacionais, problematizando a inserção em rankings, frente aos aspectos metodológicos e vieses analíticos. O artigo se divide em cinco seções, além desta introdução. A primeira seção discute os aspectos metodológicos dos rankings internacionais, enquanto a segunda aborda a sua relação com a estratégia de internacionalização de instituições brasileiras. A terceira seção apresenta nossa metodologia de trabalho e a quarta traz dados e resultados. Por fim, na quinta seção apresentamos nossas conclusões.

2 rankings Internacionais: aspectos metodológicos

A avaliação institucional por meio de rankings internacionais surgiu de uma necessidade de se comparar qualidade entre instituições de contextos nacionais diferentes. O lado positivo dessa comparação seria a busca por uma política de transparência das universidades frente à comunidade (DILL; SOO, 2005), já que, ainda que seu alcance e escopo informacional possa ser limitado, eles geralmente levam a tentativas de ação para responder aos critérios não considerados satisfatórios (CHARON; WAUTERS, 2008). Nas palavras de Grewal et al. (2008, p. 232): “Universities are driven to act like firms in competitive marketplaces, seeking effective competitive strategies¹”.

Apesar dessas consequências positivas, tais indicadores são objeto de diversas críticas. Para Enserink (2007), a escolha de indicadores baseados fundamentalmente na produção científica coloca outras atividades, como ensino e extensão, em posição de menor importância. Segundo Charon e Wauters (2008), os principais questionamentos são acerca da validade de um exercício de comparação tão geral e da necessidade de instrumentos mais sofisticados de avaliação.

Marginson (2014) expande a crítica metodológica ao mencionar a necessidade de critérios como a materialidade (as classificações devem ser feitas com base em questões observáveis do mundo universitário), objetividade (e, portanto, não opção por questionários reputacionais) e o fato de, muitas vezes, as próprias universidades fornecerem os insumos para os rankings, colocando em dúvida a credibilidade dos dados.

Outras críticas dizem respeito à capacidade dos indicadores utilizados pelos rankings para medir qualidade, já que os mesmos parâmetros são utilizados para medir atividades de instituições muito diversas (VANZ et al., 2018).

Importante também destacar o Manifesto de Leiden, criado a partir do encontro entre pesquisadores por ocasião da 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia (STI, 2014) com o objetivo de nortear o uso de métricas em avaliação da ciência e coibir abusos do uso de indicadores numéricos. Este manifesto corrobora as críticas já mencionadas e define como princípio que o desempenho deve ser medido de acordo com a missão da instituição, grupo ou pesquisador (VANZ et al, 2018).

Críticas ao uso de rankings para classificar universidades foram percebidas também por órgãos governamentais, como a Comissão Europeia, que, em 2009, observou o viés para as hard sciences, a falta de ênfase em questões como ensino e extensão e de um olhar mais abrangente para instituições de países diferentes nos rankings até então existentes (VAN VUGHT; ZIEGELE, 2011).

Restrições metodológicas afetam rankings internacionais de forma mais intensa que os nacionais. Sobre isso, Çakir et al. (2015) argumentam que os rankings internacionais tendem a utilizar bancos de dados bibliométricos acessíveis globalmente e pesquisas com reputação para desenvolver suas classificações. Em contrapartida, os bancos nacionais, devido ao conhecimento profundo das instituições, tendem a utilizar um conjunto de indicadores mais específicos e abrangentes.

Apesar das críticas metodológicas, das diferenças na escolha das variáveis e pesos atribuídos a elas, Dill e Soo (2005) identificaram, ao analisar uma amostra de cinco rankings internacionais, a existência de uma abordagem comum na mensuração. Apesar disso, o fato de ainda dependerem de forma intensa de questionários reputacionais foi objeto de forte crítica, uma vez que se questiona sua validade e capacidade de mensuração dos efeitos relevantes. Grupp e Schubert (2010), analisando indicadores de ciência e tecnologia, atentaram para a sensibilidade desses indicadores para os pesos utilizados, mas suas conclusões podem ser estendidas para rankings universitários.

Kaycheng (2015) observou ainda forte correlação entre os diversos critérios considerados individualmente para a construção de cada ranking e as consequências disso sobre o ranking final - alguns critérios contribuiriam muito pouco e mascarariam, de fato, as dimensões relevantes mensuradas no ranking. Analisando os dados das 101 primeiras colocadas no Times Higher Education World University Ranking 2013-2014, ele concluiu que pesquisa e citações são as grandes responsáveis pela classificação dessas universidades. Hou e Jacob (2017) também observaram forte poder preditivo para classificação geral das universidades para os critérios publicação em exatas, citação e indicadores de reputação.

Schmoch et al. (2010) defendem uma abordagem multidimensional para mensuração da performance científica, argumentando que não somente a análise quantitativa do desempenho de grupos de pesquisa deve ser considerada, mas também um número adequado de doutores e a contribuições como participações em corpo editoriais e análises qualitativas que mostram as interrelações entre unidades de pesquisa. Segundo os autores, incentivos focados excessivamente em desempenho quantitativo de publicação podem causar distorções que prejudicam a sustentabilidade de longo prazo da estrutura de pesquisa das instituições.

No caso de publicações em outras línguas, Bernasconi (2013) atenta ainda para o uso de bases de dados como ISI-Thomson Reuters e a SCOPUS que favorecem material publicado em inglês e afirma taxativamente: “A educação superior latino-americana é praticamente invisível para o mundo da pesquisa” (p. 4).

Schubert e Michels (2013) argumentam ainda que, embora a publicação em periódicos de elite dos Estados Unidos e Reino Unido garantam um bônus adicional “geográfico” em termos de citações, publicações em periódicos em classificações mais baixas nesses países não necessariamente se beneficiam de um bônus de citação por terem sido publicados nesses países de língua inglesa e supostamente maior acesso. Um possível motivo para isso ocorrer é o fato de não se tratar de artigos instigadores de debate internacional (caso o contrário, teriam sido publicados em periódicos mais renomados) e, apesar dessa “irrelevância” internacional, poderiam ser muito importantes para o debate nacional. É o caso, por exemplo, de um assunto intrinsecamente local e que, se o artigo é publicado em um periódico de classificação mais baixa internacional, ele pode não ter a mesma publicidade nacionalmente que teria caso fosse publicado em seu país.

Isso é interessante para a nossa discussão de rankings, pois como eles sobreavaliam pesquisa e citações, sem ponderar periódicos nacionais frente aos internacionais (como é o caso do Qualis da CAPES, por exemplo), eles, em verdade, subestimam o impacto da pesquisa nacional de países fora do eixo Estados Unidos-Reino Unido, pois tal pesquisa é mensurada somente por seu impacto internacional quando o impacto (talvez mais) relevante dela se dê nacionalmente, possivelmente até pela natureza do tema. Os resultados de Schmoch e Schubert (2008) apontam que, apesar da existência de correlação parcial entre coautorias internacionais e citações, essas não são um índice adequado de qualidade, questionando assim a busca sem critério por internacionalização da pesquisa, o que reforça a necessidade de análise qualificada de política institucional baseada em rankings para se adotar ponderações adequadas.

Complementando esse argumento, Schubert e Sooryamoorthy (2009) analisam os motivos da internacionalização de pesquisa nas relações entre países centrais e periféricos. Listam como motivos, além da falta de fundos para financiamento e a necessidade de inserção em periódicos de renome internacional para pesquisadores de países periféricos, a existência de algum tipo de benefício local para pesquisadores de países centrais, enfatizando que quanto menos desenvolvido é o sistema científico do país, mais verdadeira para ambos os lados é a noção de acesso ao sistema por meio de parceria. Segundo eles, a pesquisa se torna “science tourism” e não cooperação real.

Já Grewal et al. (2008) observam grande persistência nas colocações de instituições nos rankings, o que indica que a concorrência se dá de forma localizada, com universidades com classificações semelhantes. Além disso, a persistência também indica que quanto mais alta a classificação de uma universidade em um ranking, menor tende a ser o efeito de uma melhora em um critério específico sobre sua classificação total.

São pertinentes, ainda, outros fatores relevantes, como os contextos nacionais e sociais em que cada universidade classificada se insere e as consequências que uma classificação geral desse tipo teria sobre sua gestão.

Nesse sentido, Deem et al. (2008, p. 21) questionam o significado de “world-class university”, principalmente em contextos domésticos. Para os autores, esse conceito pode levar a que se acredite que há uma busca por excelência quando isso de fato não está ocorrendo. Além disso, foca-se excessivamente em critérios internacionais, de modo que o papel das universidades em seu contexto nacional é negligenciado e as publicações de trabalhos científicos em língua inglesa passam ser a busca principal. Os autores argumentam que esse efeito é menos sentido nos Estados Unidos, pois métricas de classificação sempre estiveram presentes, mas em outros contextos como o europeu e o asiático (ou o brasileiro, como é nosso caso), isso implica uma reestruturação de propósito e estratégias. Atentam ainda para a natureza de um jogo competitivo de soma zero, em que é impossível que todas as instituições fiquem bem posicionadas. Argumento similar, mas feito não em tom tão crítico, foi o de Grewal et al. (2008), que observam grande persistência nas colocações nos rankings, como já dito anteriormente, o que indica que a concorrência ocorre de forma localizada, entre universidades com classificações semelhantes.

A questão da persistência de colocação merece um comentário mais detalhado, principalmente em contextos locais, como o brasileiro. Dado esse fato, em um ranking global, nossas universidades estão sendo avaliadas efetivamente em comparação com suas similares. Ou seja, a literatura aponta a possibilidade de rankings instigarem uma competição entre pares, entre os “similares”, podendo levar a resultados não desejáveis do ponto de vista social, como no caso de universidades públicas brasileiras - “similares” nesse sentido - que talvez não devessem se engajar nesse tipo de comportamento competitivo e sim em um comportamento cooperativo.

No caso da América Latina, Bernasconi (2013) discute o sentimento de que os rankings são “injustos” com a região - ele menciona que nenhuma instituição latino-americana teve classificação entre as 100 primeiras do ranking do THE de 2012 e o Brasil era a 6ª maior economia do mundo, enquanto o México a 14ª.

Lima e Maranhão (2009) observam que a internacionalização tem características diferentes em países centrais e nos periféricos. Ela seria ativa nos primeiros, com instalação de programas e campi no exterior e atração e acolhimento de alunos e professores. Nos periféricos, “a capacidade instalada (recursos materiais e humanos) de oferecer serviços educacionais no exterior, seja envolvendo programas, criação de campi ou instituições, é limitada quando estes países sequer respondem quantitativa e qualitativamente à demanda interna.” (LIMA; MARANHÃO, 2009, p. 586). As autoras atribuem essa hegemonia também no contexto universitário à existência de um sistema consolidado nos países centrais, o que não é o caso em países onde esse sistema não é acessível nem alinhado ao desenvolvimento.

A má classificação de instituições universitárias latino-americanas também não tem passado despercebida por seus gestores. Em reunião ocorrida em 2012 no México, com o apoio da UNESCO, para discutir como universidades latino-americanas eram avaliadas por rankings internacionais, os principais pontos levantados foram: a incapacidade dessas métricas de captar as ‘responsabilidades e funções’ das instituições de “fomentar a democracia, promover a inclusão social e formar uma identidade nacional” em seus contextos locais, como coloca Bernasconi (2013, p. 3). Esse autor afirma ainda que a evolução da maturidade política da região reduz a necessidade de que as universidades exerçam esse papel. Para ele, o problema estaria relacionado mais com a falta de valorização de professores e não tanto com a falta de financiamento indiscriminado à pesquisa, já que esse teria aumentado na América Latina sem produzir os resultados esperados, e reafirma a necessidade de fluência em outras línguas. Ele chama a atenção que a melhoria do posicionamento de instituições asiáticas se deu por uma maior disseminação da língua inglesa entre a população universitária. Thakur (2007) menciona estratégias governamentais de aliar financiamento a posicionamento em rankings internacionais, como o caso da Performance-based Research Fund na Nova Zelândia e o Research Assessment Exercise no Reino Unido, além de incentivos específicos do governo chinês a universidades que ele acredita alcancem padrões de excelência.

3 Metodologia

A análise foi realizada a partir de indicadores comuns a dois grupos de rankings universitários de abrangência nacional e internacional: o The Times Higher Education (THE) World University rankings e o QS University Ranking. O THE foi criado em 2004, em cooperação com a empresa britânica Quacquarelli-Symonds (QS), e permaneceram juntos até 2009. Em 2009, após rompimento com o Times Higher Education, a empresa passou a produzir seu próprio ranking. O QS University Ranking é produzido pela QS, empresa britânica especializada em educação e estudos no exterior. A partir da análise desses rankings, observou-se que, apesar de rankings distintos, as dimensões analisadas são as mesmas, mas com ponderações e critérios diferentes. São elas: ensino, pesquisa, impacto internacional e mercado e inovação.

O peso da dimensão ensino é diferente na América Latina e no Brasil em relação aos rankings globais: no THE, o peso da dimensão ensino é de 36% em sua versão para a América Latina e 30% em sua versão global; já no QS, o peso no ranking global é de 60% enquanto na América Latina é de 50%².

Além dessas divergências, a composição e escolha de indicadores é diferente. Por exemplo, no caso do ranking QS global, o percentual de professores com titulação de doutor não é considerado um indicador relevante de excelência, provavelmente pois não distingue as universidades (já que as melhores universidades do mundo apresentam bons resultados nesse indicador). O THE considera o orçamento, mas dá um peso maior a ele em sua versão América Latina, provavelmente pelas restrições que essa variável impõe às instituições dessa região.

Como dito nas seções anteriores, a dimensão de pesquisa é a mais importante para esses rankings e com maior preditivo para a posição de uma instituição em um ranking universitário. Aqui também observamos diferenças de ponderações entre os rankings em versões Global e América Latina. A principal diferença é a consideração de número de publicações de forma mais efetiva na América Latina e Brasil e apenas de Citações no mundo - uma percepção de que na América Latina, por restrições como o idioma, a pesquisa ainda precisa ser fomentada em termos de volume e que em instituições mais estáveis a variável relevante relaciona-se de forma mais intensa com seu impacto.

A internacionalização é considerada do ponto de vista de pesquisa - por colaborações internacionais - e por uma população (tanto docentes quanto discentes) diversificada. Na América Latina, o QS ainda considera o alcance na internet das instituições universitárias.

Por fim, na dimensão Mercado e Inovação, a mensuração é feita por surveys e pelos indicadores de resultado da pesquisa aplicada da universidade. Deve-se ressaltar que parte desses indicadores é de difícil coleta para instituições públicas brasileiras (como por exemplo, patentes e a renda advinda com a cooperação da indústria) por motivos do ambiente institucional de negócios brasileiro.

Os dados para essa análise foram extraídos dos rankings QS e THE em sua versão global entre 2016 e 2019. A classificação em um ranking internacional é um processo associado a dois fatores: instituições de excelência geralmente são classificadas (dado que para figurarem entre as 1000 melhores do mundo devem ser de excelência) e a instituição deve estar disposta a fornecer informações adequadas para essa classificação. Quase 87% do total de 38 instituições brasileiras classificadas nesses dois rankings são públicas.

4 Resultados e Discussão

O Gráfico 1 mostra a distribuição dessas instituições por unidade federativa, mostrando sua concentração nos estados de São Paulo, Minas Gerais, Rio Grande do Sul, Paraná e Rio de Janeiro.

Gráfico 1 -
Número de instituições classificadas por unidade federativa

Os gráficos 2 a 9 mostram a distribuição das instituições brasileiras classificadas nos rankings globais. A linha vermelha nos gráficos indica a posição média das instituições brasileiras. Os gráficos mostram um indicador de posição para facilitar a comparação, definido por:

$IndicadordePosição=1+\frac{\left(PosiçãodaInstituicão\right)}{\left(NodeInstituiçõesnoRankingnoAno\right)}$

Gráfico 2 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no QS 2019

Gráfico 3 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no QS 2018

Gráfico 4 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no QS 2017

Gráfico 5 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no QS 2016

Gráfico 6 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no THE 2019

Gráfico 7 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no THE 2018

Gráfico 8 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no THE 2017

Gráfico 9 -
Distribuição do Indicador de Posição das IES Brasileiras Classificadas no THE 2016

A classificação das IES brasileiras nos rankings globais segue um perfil de patamares, principalmente no THE – há três ou quatro patamares distintos, dependendo do ano. Um patamar seria uma posição em torno da qual um conjunto de IES brasileiras se aglomera, provavelmente porque o indicador não é sensível o suficiente para diferenciá-las frente às internacionais. A Tabela 1 mostra o número de patamares observados nas classificações das instituições brasileiras em cada ranking por ano.

Table 1 -
Número de patamares observados nas classificações das IES brasileiras em cada ranking por ano

Ano	QS	THE
2019	4-5	4
2018	4	4
2017	4	3
2016	3	3

Comprova-se, para o caso brasileiro, a conclusão da literatura especializada internacional de persistência nas colocações e de “concorrência” localizada. Em outras palavras, rankings internacionais, aparentemente são capazes de classificar nossas instituições em poucos grupos, mas a classificação individual (ou até mesmo a comparação intragrupo) perde o sentido – tanto que o grande motivo desses patamares é que a partir de determinada classificação, geralmente o 500º lugar, o ranking nem mais indica a classificação individual e sim agrupa instituições com classificações próximas, o que sugere que reconhecem sua incapacidade de diferenciar localmente universidades semelhantes. Nossa análise aponta que a mudança de patamar somente ocorre por meio de mudanças acentuadas de classificação.

O número de patamares entre as instituições brasileiras tem aumentado ao longo dos anos, como mostra a Tabela 1. Inclusive, uma análise conjunta da Tabela 1 e do ,Gráfico 2 mostra que a configuração de patamares talvez esteja se desfazendo no caso do QS, o que sugere algumas possibilidades: i) o esforço das instituições brasileiras de reportar informações mais precisas e em participar de forma crescente nos rankings, o que permite uma maior diferenciação entre elas; ii) um esforço das organizações mantenedoras de rankings em diferenciar essas instituições, ao classificar cada vez mais instituições brasileiras e de criar rankings complementares, como o da América Latina, dos BRICS e dos Mercados Emergentes, que reconhecem as dificuldades locais e permitem uma melhor análise das informações reportadas; iii) um aumento no total geral de instituições classificadas, com a entrada de muitas instituições asiáticas, por exemplo, de modo que a classificação das instituições brasileiras se torna mais dispersa ao longo do contínuo de classificações.

É interessante observar, no entanto, que apesar de um número crescente de instituições novas sendo classificadas, o número de instituições brasileiras classificadas não caiu e, exceto por casos eventuais de uma instituição não ser classificada em um ano³ mas retornar à classificação daquele ranking no seguinte, nenhuma instituição brasileira parece ter deixado de ser classificada de forma permanente. Isso sugere que a qualidade da Educação Brasileira, principalmente das IES públicas, é de excelência e consistentemente reconhecida no exterior.

Figura 1 -
Instituições brasileiras por patamares de classificação⁴

As instituições com cujos nomes apresentam linhas acima e abaixo indicam que a posição dessa instituição se encontra no limite do patamar superior e inferior, respectivamente. Abaixo, descrevemos os casos apontados, detalhando os diferentes significados:

• - UFRJ (patamar Alto, limite inferior): a UFRJ é, principalmente nos rankings em que se evidenciam menos patamares, classificada de forma similar à USP e à Unicamp, mas quando há uma maior diferenciação ela surge em uma classificação inferior a essas instituições.

• - UNIFESP (patamar Médio – Alto, limite superior): A UNIFESP é comumente classificada em um segundo patamar, mas tem mostrado uma tendência de melhora na sua classificação ao longo do tempo analisado

• - UFSC (patamar Médio – Baixo, limite inferior): A UFSC começou sua classificação no grupo Baixo e conseguiu de forma consistente migrar para o grupo seguinte.

• - Instituições no Grupo Baixo, limite superior: são instituições que, quando o ranking é capaz de diferenciar mais patamares, destacam-se desse grupo para um patamar intermediário.

A distribuição das instituições em patamares não parece ser aleatória. As instituições mais bem classificadas parecem ser aquelas localizadas em grandes centros, que podem se beneficiar de economias de aglomeração por estarem próximas umas das outras e do centro dinâmico de produção do país. Além disso, também se levanta a hipótese de que sejam as instituições mais bem financiadas, possibilitando efeitos de escala sobre o investimento em pesquisa. Ambas as dimensões afetariam os indicadores de pesquisa considerados nos rankings, os surveys de reputação de mercado e de reputação acadêmica, causando um possível viés devido à influência excessiva dessas variáveis geográficas - e não as de qualidade e impacto, como os rankings se propõem, de fato, a captar - na avaliação nessas instituições conforme sugerido na literatura.

Isso pode ser corroborado por meio dos gráficos a seguir, em que analisaremos de forma descritiva duas hipóteses: i) a de que os rankings internacionais classificam com viés geográfico as instituições brasileiras devido ao input reputacional de mercado de trabalho; ii) a de que os rankings internacionais classificam com viés orçamentário as instituições brasileiras.

O Gráfico 10 apresenta a distância média para cada patamar entre a instituição classificada e a cidade de São Paulo

Gráfico 10 -
Distância média para cada patamar entre a instituição classificada e a cidade de São Paulo

Observa-se que as instituições classificadas em patamares mais altos são aquelas que, na média estão mais próximas da cidade de São Paulo, onde há um mercado de trabalho mais dinâmico. Esse é o caso dos níveis Alto e Alto-Médio, para os quais a distância média é inferior a 500 km. Nos demais patamares a distância média já passa de 800 km, pois se trata, em geral de instituições ou no interior ou em outras capitais mais distantes. Observa-se ainda que há uma correlação positiva e moderada – de 0,4159⁵ – indicando que quanto maior a distância da cidade de São Paulo da instituição, mais baixa tende a ser a classificação dessa instituição.

Gráfico 11 -
Média do PIB municipal a preços correntes no ano de 2015 para as instituições classificadas para cada patamar

Corroborando as informações do Gráfico 10, o Gráfico 11 mostra que que quanto maior o PIB do município da instituição, mais alta tende a ser sua classificação nos rankings, de uma forma mais intensa que a distância de São Paulo – indicando que algumas cidades (possivelmente Rio de Janeiro, Porto Alegre e Belo Horizonte) que mesmo distantes, mas com mercados locais de trabalho consideráveis também favorecem uma boa classificação – ou seja, tal informação não refuta nossa hipótese de que a localização geográfica contribui para uma boa classificação nos rankings internacionais.

O gráfico 12, por sua vez, mostra a média do orçamento de 2018 a valores correntes para as instituições classificadas para cada patamar⁶. Observa-se aqui uma correlação ainda mais forte: quanto maior o orçamento da instituição, mais alta tende a ser a sua classificação em rankings internacionais (-0,7383). Um maior orçamento pode viabilizar maiores investimentos em pesquisa, que muitas vezes se beneficiam de economias de escala e como discutido anteriormente, pesquisa é a principal variável explicativa de rankings internacionais.

Gráfico 12 -
Média do orçamento de 2018 a valores correntes para as instituições classificadas para cada patamar

Para investigar melhor a relação entre orçamento e o financiamento da pesquisa, consideramos ainda o tamanho das universidades em termos do número de alunos – ou seja, verificamos se a distribuição das instituições brasileiras nos rankings não somente pelo seu orçamento, mas também pelo tamanho de seu corpo discente e pela proporção do seu orçamento frente a esse corpo discente para investigar se a hipótese de orçamento (dados seus possíveis) reflexos sobre indicadores de pesquisa) proporcionando um viés nas classificações poderia ser descartada no caso de instituições maiores.

O gráfico 13 mostra a média de alunos para cada patamar enquanto o gráfico 14 traz a média da razão orçamento/aluno para cada patamar. Os dois gráficos mostram que o viés orçamentário não pode ser descartado – que as instituições mais bem classificadas são aquelas que não só têm os maiores orçamentos, como as maiores proporções de orçamento por aluno, dado que a diferença de número de alunos por patamares é muito menor que sua diferença de orçamento, conforme evidenciado pela correlação mais fraca (-0,34 frente a -0,74).

Gráfico 13 -
Média de alunos para as instituições classificadas para cada patamar

Gráfico 14 -
Média da razão orçamento/aluno para as instituições classificadas para cada patamar

É claro que a qualidade de uma instituição depende de variáveis que vão além de sua localização geográfica e seu orçamento. No entanto, dado o formato de construção dos rankings universitários internacionais, baseado em surveys reputacionais sobre o mercado de trabalho e com um viés intenso sobre atividade de pesquisa, distorções podem surgir. No caso de surveys reputacionais, problemas informacionais ocasionados pela localização dos principais mercados de trabalho (e, provavelmente dos respondentes desses surveys) podem prejudicar de forma desproporcional algumas universidades sem que isso seja, de fato, um problema de qualidade na formação de seu egresso. No caso de orçamento e pesquisa, dada a atividade multidimensional das universidades, universidades com menores orçamentos tendem a priorizar atividades de ensino, o que, mais uma vez, pode ser apenas um indicador de perfil e não necessariamente de qualidade se bem contextualizado. Inclusive, uma discussão mais aprofundada do que seria qualidade em um contexto como o brasileiro, considerando a missão histórica de nossas instituições e como ela é afetada por essas novas diretrizes de internacionalização é necessária e, atualmente, escassa.

5 Conclusões

O objetivo desse artigo foi analisar classificação das IES brasileiras consideradas em dois dos principais rankings universitários internacionais: o QS University Ranking, o The Times Higher Education (THE). Considerou-se suas restrições metodológicas e como essas restrições afetaram a classificação dessas instituições nesses rankings.

Entre 2016 e 2019, 38 brasileiras foram classificadas no QS e no THE em sua versão global. Devido a essas restrições metodológicas, a classificação das instituições brasileiras assumiu a característica de patamares, variando de 3 a 5 patamares. Sugeriu-se que a classificação de uma instituição em um patamar mais alto dependia de sua proximidade com um mercado de trabalho dinâmico e um orçamento maior, indicando a dificuldade dos rankings de diferenciar de fato qualidade além dessas duas dimensões.

Analisou-se ainda como sua localização geográfica perto de mercados dinâmicos de trabalho e orçamentos maiores influenciavam uma boa classificação nesses rankings, sugerindo a presença de viés metodológico nessas classificações que dificultavam a real percepção sobre a qualidade dessas instituições.

A partir das análises apresentadas, pode-se consolidar essas informações na Figura 1, que apresenta as instituições brasileiras distribuídas por patamares de classificação nos rankings QS e THE no período de 2016 a 2019.

Consideramos essas informações pois, parte dos dados considerados nos rankings são frutos de surveys respondidos sobre a reputação dos egressos no mercado. Uma variável alternativa para captar à proximidade da instituição a mercados dinâmicos é considerar o PIB municipal de onde elas se localizam. Dessa forma, o Gráfico 11 traz a média do PIB municipal a preços correntes no ano de 2015 para as instituições classificadas para cada patamar.

Referências

• BERNASCONI, A. Are Global rankings Unfair to Latin American Universities? International Higher Education, Boston, n. 72, 2013.
• ÇAKIR, M. et al. A Comparative Analysis of Global and National University Ranking Systems. Scientometrics, EUA, v. 103, n. 3, p. 813-848, Jun, 2015.
• CHARON, A; WAUTERS, J. University Ranking: A New Tool for the Evaluation of Higher Education in Europe. Nephrology Dialysis Transplantation, Oxford, v. 23, n. 1, p. 62-64, 2008.
• DEEM, R. et al. Transforming Higher Education in Whose Image? Exploring the Concept of the ‘World-Class’ University in Europe and Asia. Higher Education Policy, EUA, n. 21, p. 83-97, 2008.
• DILL, D; SOO, M. Academic Quality, League Tables, and Public Policy: A Cross-National Analysis of University rankings Systems. Higher Education, EUA, v. 49, n. 4, p. 495-533, 2005.
• ENSERINK, M. EDUCATION: Who Ranks the University Rankers? Science, EUA, v. 317, n. 5841, p. 1026-1028, ago. 2007.
• FAUSTO, Sibele; MUGNAINI, Rogério. Os rankings Como Objeto dos Estudos Métricos da Informação. In: XIV ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO (ENANCIB), 14., 2013, Santa Catarina. Anais... . Santa Catarina: Ancib, 2013. v. 1, p. 1-17.
• FRANÇA, Carlos Marshal et al. rankings acadêmicos na educação superior brasileira: a emergência de um campo de estudo (1995-2013). Roteiro, Joaçaba, v. 40, n. 1, p. 31-50, jun. 2015.
• GREWAL, R. et al. The University rankings Game: Modeling the Competition among Universities for Ranking. The American Statistician, EUA, v. 62, n. 3, p. 232-237, 2008.
• GRUPP, H; SCHUBERT, T. Review and new evidence on composite innovation indicators for evaluating national performance. Research Policy, EUA, v. 39, n. 1, p. 67-78, 2010.
• HAZELKORN, Ellen. World-Class Universities or World Class System: rankings and Higher Education Policy Choices. In: MAROPE, P. T. M; WELLS, P. J; HAZELKORN, Ellen. rankings and Accountability in Higher Education: Uses and Misuses. Paris: Unesco, 2013. Cap. 4. p. 71-94.
• HOU, Y; JACOB, W. What Contributes More to the Ranking of Higher Education Institutions? A Comparison of three World University rankings The International Education Journal: Comparative Perspectives, EUA, v. 16, n. 4, p. 29-46, 2017.
• KAYCHENG, S. Multicolinearity and Indicator Redundancy Problem in World University rankings: Na Example Using Times Higher Education World University Ranking 2013-2014 Data. Higher Education Quarterly, Wiley, v. 69, n. 2, p. 158-174, 2015.
• LIMA, M.; MARANHÃO, C. O Sistema de Educação Superior Mundial: entre a internacionalização ativa e passiva. Avaliação, Campinas; Sorocaba, v. 14, n. 3, p. 583-610, 2009.
• MARCOVITCH, Jacques. Introdução. In: MARCOVITCH, Jacques (org.). Repensar a universidade: desempenho acadêmico e comparações internacionais. São Paulo: Com-arte; Fapesp, 2018. p. 9-17.
• MARGINSON, S. University rankings and Social Science. European Journal of Education, Paris, v. 49, n. 1, p. 45-59, 2014.
• SANTOS, Solange Maria; NORONHA, Daisy Pires. O desempenho das universidades brasileiras em rankings internacionais. Em Questão, Porto Alegre, v. 22, n. 2, p.186-219, 11 ago. 2016.
• SCHMOCH, U; SCHUBERT, T. Are international co-publications an indicator for quality of scientific research? Scientometrics, EUA, v. 74, n. 3, p. 361-77, 2008.
• SCHMOCH, U. et al. How to use indicators to measure scientific performance: a balanced approach. Research Evaluation, Oxford, v. 19, n. 1, p. 2-18, 2010.
• SCHUBERT, T; MICHELS, C. Placing articles in the large publisher nations: Is there a “free lunch” in terms of higher impact? Journal of the Association for Informational Science and Technology, Wiley, v. 64, n. 3, 2013.
• SCHUBERT, T, SOORYAMOORTHY, R. Can the centre-periphery model explain patterns of international scientific collaboration among threshold and industrialised countries? The case of South Africa and Germany. Scientometrics, EUA, v. 83, n. 1, p. 181-203, 2009.
• THAKUR, M. The Impact of Ranking Systems on Higher Education and its Stakeholders. Journal of Institutional Research, USA, v. 13, n. 1, p. 83-96, 2007.
• VAN VUGHT, F.; ZIEGELE, F. (eds.). U-Multirank: Design and Testing the Feasibility of a Multidimensional Global University Ranking - Final Report. EURASHE, Belgican, jun. 2011.
• VANZ, Samile Andrea de Souza et al. rankings universitários internacionais e o desafio para as universidades brasileiras. Encontros Bibli, Florianópolis, v. 23, n. 53, p.39-51, set. 2018

• 1
  Universidades são levadas a agir como firmas em mercados competitivos, buscando estratégias competitivas. Tradução livre.

• 2
  Há pequenas mudanças de metodologias ao longo do tempo. Considerou-se aqui os pesos e percentuais utilizados na versão de 2019.

• 3
  A instituição pode não reportar informações em um dado ano, por exemplo.

• 4
  A UNIFEI, UFABC e a PUC-SP não tiveram classificações consistentes que permitiram classifica-las em um dos patamares.

• 5
  A correlação é positiva pois foi atribuído valor 1 a 4 aos patamares Alto a Baixo nessa direção em todos os casos considerados aqui.

• 6
  Devido a questões metodológicas, somente consideramos as instituições públicas nessa última comparação.

Datas de Publicação

• Publicação nesta coleção
  9 Dez 2019
• Data do Fascículo
  Sep-Nov 2019

Histórico

• Recebido
  23 Jan 2019
• Aceito
  09 Out 2019