Produção científica e redes de colaboração dos docentes vinculados aos programas de pós-graduação em Economia no Brasil^♦

Resumo

Este artigo apresenta os resultados de um estudo sobre as potencialidades da utilização dos dados curriculares derivados das informações da Plataforma Lattes como ferramentas para avaliação do desempenho científico de pesquisadores. Um novo indicador, denominado "Índice Multidimensional de Desempenho Científico" (IMDC), é proposto considerando um amplo conjunto de indicadores bibliométricos que buscam captar diferentes formas da produção acadêmica dos atuais pesquisadores vinculados à pós-graduação em Economia no Brasil. Os resultados permitem evidenciar uma tipologia de pesquisadores considerando suas diferentes estratégias de atuação. Economistas com maior impacto na profissão adotam uma estratégia caracterizada por um equilíbrio entre qualidade, quantidade e colaboração científica.

Palavras-Chave
Pós-graduação; Economia; Rankings de economistas; Mapeamento acadêmico; Redes sociais; Sociologia da economia

Abstract

This paper presents the results of a study on the potentialities of the Lattes curriculum vitae information as tools for the assessment of the scientific activity of individual researchers. We propose a new multidimensional index, which allows measuring research performance based on a broad set of bibliometric indicators. The goal is to capture different facets of scientific output of academic economists in Brazil. The results are summarized in a typology of researchers that consider the different strategies regarding the preferable outlets for their research. Economists with the highest impact on the profession tend to adopt a strategy characterized by a balance between quality, quantity, and scientific collaboration.

Keywords
Graduate programs; Economics rankings of economists; Scholarly mapping; Social networks; Sociology of economics; Brazil

1. Introdução

A avaliação do desempenho científico individual é uma tarefa complexa e desafiadora. Componente fundamental da avaliação da atividade científica, suscita controvérsias e discussões devido à sua influência, dentre outras, na contratação, promoção e financiamento para pesquisa. A ausência de consenso sobre a melhor prática para avaliar o desempenho de pesquisadores e de institutos de pesquisa torna a tarefa ainda mais susceptível a vieses por fatores subjetivos (Sahel 2011).

Cada vez mais, indicadores bibliométricos - que abarcam principalmente métricas de publicações e citações - têm sido utilizados para quantificar e qualificar a produção científica de pesquisadores. Há uma vasta literatura que versa sobre diversos aspectos pertinentes à bibliometria, definida como conjunto de métodos matemáticos e estatísticos usados para analisar e mensurar a quantidade e a qualidade das várias formas de publicações (Durieux e Gevenois 2010).

O debate vai muito além da utilização de tais métricas para descrever diferentes dimensões da comunicação escrita, abrangendo desde aspectos metodológicos na concepção de indicadores bibliométricos (Glanzel e Moed 2002; Hirsch 2005) passando pela discussão crítica das potencialidades e limitações na sua utilização (Moed et al. 1985; Spinak 1998; Abbott et al. 2010; Durieux e Gevenois 2010; Moed e Halevi 2015), à falta de padronização (Kaur et al. 2013) e de classificações adequadas, completas e inequívocas (Moravcsik 1986), até a aplicação em análises bibliométricas para mensuração de desempenho científico de pesquisadores e instituições nas mais diversas áreas do conhecimento.

Apesar da falta de consenso sobre a melhor prática para avaliação da produção científica, alguns autores preconizam a necessidade de se utilizar abordagens multidimensionais por meio da combinação de métricas e da revisão por pares (Martin 1996; Moed e Halevi 2015). Diferentes indicadores refletem dimensões distintas da produção científica, podendo endereçar diferentes componentes da cadeia produtiva de pesquisa que servem a um amplo espectro de objetivos (e.g. indicadores de insumos, processos ou produtos). No caso de indicadores de produtos da atividade científica, foco deste trabalho, pode-se estabelecer uma tipologia baseada nas várias formas em que se manifestam, com especial interesse para a área de Economia (Tabela 1).

Tabela 1
Tipologia das principais formas de produção de pesquisa acadêmica

Impacto	Publicação/texto	Outras formas
Científico	Artigos em periódicos científicos, livros e capítulos em livros	Arquivos de dados
Educacional	Livros-texto, ementas de cursos, textos didáticos	Formação de pesquisadores qualificados (e.g. mestres e doutores)
Econômico ou tecnológico	Relatórios de pesquisa contratada	Produtos, processos, software
Social ou cultural	Guias profissionais, artigos em jornais, comunicações submetidas em mídias sociais (incluindo blogs)	Entrevistas, participação em eventos, consultoria científica

Moed e Halevi (2015)

Especificamente, os indicadores de impacto científico, associados a métricas baseadas em publicações bibliográficas tradicionais, incluem três tipos de indicadores: (i) indicadores de quantidade, que medem a produtividade de um determinado pesquisador; (ii) indicadores de qualidade, que medem a qualidade ou desempenho da produção de um pesquisador; e (iii) indicadores estruturais, que medem as conexões entre publicações, autores e áreas de pesquisa (Durieux e Gevenois 2010).

Um dos desafios para a comunidade especialista em avaliação de pesquisa acadêmica está em tentar minimizar as distorções causadas pelo uso inadequado de indicadores, atentando para as consequências de longo prazo (Cronin e Sugimoto 2015). Nenhum indicador isolado é capaz de sintetizar a qualidade do desempenho científico de um pesquisador. Neste contexto, o uso de um conjunto de métricas permite que se obtenha uma avaliação mais precisa sobre seu impacto científico (Sahel 2011). Ao se fixar apenas em um único indicador, usualmente o fator de impacto dos periódicos com as publicações do grupo de indivíduos que compõem o universo avaliado, o processo de avaliação pode trazer muito mais prejuízos que benefícios (Alberts 2013).¹ Há que se ter em mente que indicadores bibliométricos captam apenas uma parcela muito específica da produção científica, sendo possível delimitar para cada tipo de métrica seu potencial de uso e, principalmente, suas limitações.² Aqui, é importante frisar que, como sugerido no Manifesto Leiden (Hicks et al. 2015), cujos 10 princípios foram publicados no periódico Nature, é sempre preferível utilizar um conjunto de indicadores múltiplos para fornecer um quadro mais consistente e próximo do real, pois um único indicador pode levar a erros de interpretação, alterando o sistema de incentivos.

A escolha das métricas a serem utilizadas depende da unidade de avaliação, da dimensão de pesquisa a ser avaliada e dos objetivos da avaliação. No caso do desempenho científico no nível individual, indicadores bibliométricos podem revelar diferenças entre os impactos de indivíduos em uma comunidade científica, apesar da dificuldade na identificação das contribuições específicas de cada pesquisador em trabalhos de coautoria (Moed e Halevi 2015). Deve-se também levar em conta que a atuação do pesquisador varia ao longo do ciclo de vida, sendo que indicadores bibliométricos deveriam ser ponderados para serem utilizados para diferenciar indivíduos em diferentes estágios da carreira (Académie des Sciences 2011).

Análises bibliométricas na área de Economia são frequentes na literatura internacional, com o predomínio de trabalhos que procuram entender padrões e determinantes de publicações elaboradas de forma individual e em coautoria (McDowell e Melvin 1983; Barnett et al. 1988; Laband e Tolison 2000; Hollis 2001; Combes e Linnemer 2003; Maske et al. 2003; Medoff 2003; Sutter e Kocher 2004; Cainelli et al. 2015) ou definir métricas relevantes para a avaliação dos pesquisadores da área (Laband e Piette 1994; Kalaitzidakis et al. 2003; Kodrzycki e Yu 2006, Ritzberger 2008; Combes e Linnemer 2010).

No Brasil, os primeiros estudos bibliométricos em Economia (Azzoni 1998 e 2000) buscaram quantificar citações nos principais periódicos nacionais, considerando diferentes unidades de avaliação (publicações, autores, revistas e departamentos de Economia). Esforços similares, no contexto geral, procuraram identificar o padrão de publicações de pesquisadores brasileiros em periódicos internacionais (Faria 2000; Faria et al. 2007). Mais recentemente, motivados a buscar métricas alternativas ao sistema oficial de avalição adotado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), alguns autores demonstraram que os incentivos oficiais favorecem o produtivismo acadêmico³ de baixo impacto internacional (Issler e Pillar 2002; Faria 2004; Issler e Ferreira 2004; Novaes 2008; Guimarães 2011).

Qual é a relação entre qualidade e quantidade nas diferentes formas de produção acadêmica dos atuais pesquisadores da área de Economia no Brasil? Como é a interação entre eles? Quais os perfis de atuação desses pesquisadores?

Neste trabalho consideramos todas as produções científicas dos pesquisadores vinculados aos programas de pós-graduação (PPGs) em Economia no Brasil para responder essas perguntas. Nossa abordagem, que considera informações multidimensionais, permite evidenciar as principais características de todos os PPGs, bem como do conjunto de seus docentes permanentes.

2. Objeto de estudo e bases de dados

A CAPES avalia, a cada três anos, a qualidade de todos os PPGs no Brasil.⁴ Na Avaliação Trienal realizada em 2013, foram analisados 3.337 PPGs, que compreendiam 5.082 cursos, sendo 2.893 de mestrado, 1.792 de doutorado e 397 de mestrado profissional (CAPES 2014). A avaliação periódica dos PPGs, realizada desde 1976, utiliza diversos critérios considerando várias dimensões das atividades acadêmicas em âmbito de pós-graduação, sendo que a ênfase avaliativa recai sobre os produtos da atividade de pesquisa dos docentes permanentes - principalmente, a produção bibliográfica qualificada (Horta e Moraes 2005).

No atual ciclo de avaliação, a área de Economia avaliará 46 PPGs na modalidade Acadêmica⁵ e 16 PPGs na modalidade Profissionalizante. Os docentes permanentes⁶ constituem o núcleo principal de docentes de um PPG. Há incentivos para que os critérios para composição da lista de pesquisadores, internos a cada programa, sejam baseados no desempenho individual relativo a seus pares institucionais. Pode-se assim pressupor que haja uma seleção prévia dos pesquisadores mais produtivos de cada PPG alocados na categoria de docentes permanentes. Busca-se, com isso, maximizar a produção bibliográfica qualificada do PPG. Em janeiro de 2016, data da coleta de informações utilizadas neste estudo, havia 578 docentes permanentes nos 46 PPGs Acadêmicos cadastrados na Plataforma Sucupira.⁷ Trata-se, portanto, da atual elite de pesquisadores vinculados à pós-graduação em Economia no Brasil. Nota-se que o número de docentes permanentes por PPG varia bastante entre os diferentes PPGs (Figura 1).

Figura 1
Número de docentes permanentes por PPG (Economia)

Os dados dos docentes permanentes foram extraídos a partir das informações sobre publicações científicas existentes no sistema de Currículos Lattes (CVs), parte integrante da Plataforma Lattes (PL) do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). O sistema de CVs figura como o núcleo da PL e consiste em um abrangente sistema de informações curriculares, constituído por um enorme acervo de informações individuais de pesquisadores, professores, estudantes e profissionais de todas as áreas do conhecimento no Brasil. Portanto, possui importância crucial para o balizamento de atividades nos processos de planejamento, gestão e operacionalização das agências de fomento federais e estaduais, das fundações estaduais de apoio à Ciência, Tecnologia e Inovação (C&T&I) e das instituições de ensino superior e institutos de pesquisa, uma vez que fornece informações confiáveis para a análise de mérito e competência dos pesquisadores, avaliação de programas de pós-graduação e análise de pleitos de financiamentos. Ademais, o sistema possui caráter indispensável como mecanismo auxiliar na formulação e avaliação de políticas públicas, principalmente por parte do Ministério da Ciência e Tecnologia e Inovação (MCTI), na medida em que permite a extração de diagnósticos precisos e sistêmicos sobre o desenvolvimento das atividades de C&T&I no país (CNPq 2012).

A extensa dimensão da cobertura informacional deve-se ao fato de o sistema ter se tornado padrão nacional no registro das atividades acadêmicas e profissionais da comunidade científica brasileira. Tal abrangência foi alcançada por meio de esforços por parte do CNPq, aliados à facilidade de que o registro e publicação do histórico acadêmico tornou-se hábito entre os pesquisadores brasileiros. Internamente à comunidade científica, a declaração e a atualização das informações curriculares são motivadas pela necessidade quanto à divulgação das atividades desempenhadas, seja para fins de pleito de recursos junto às fontes de fomento científico (sob a forma de bolsas ou auxílios para projetos de pesquisa), como para o reconhecimento perante os pares da própria comunidade científica. Ademais, a disponibilização pública das informações curriculares e de grupos de pesquisa via web e a utilização das informações pelas universidades em meio às decisões sobre titulações e promoções dos professores estimulam a inserção correta e a veracidade dos dados publicados.⁸ Por conseguinte, o estabelecimento de um mecanismo de incentivos para os pesquisadores preencherem e atualizarem corretamente suas informações proporcionou grande visibilidade, credibilidade e reconhecimento internacional à base de dados do sistema de CVs, destacada como um dos melhores bancos de dados existentes no mundo sobre pesquisadores, modelo de sucesso a ser seguido internacionalmente (Lane 2010).

Os CVs são disponibilizados publicamente no portal da PL na web (CNPq 2012). Embora o acesso às informações individuais seja imediato, o acesso sistemático à completude da base de dados do sistema de CVs não é possível, o que torna o esforço na coleta de informações um empecilho para a análise de grande volume de dados. Enquanto a compilação manual de grande volume de currículos é repetitiva e sujeita a falhas, a automatização do processo torna-o extremamente rápido e menos susceptível às últimas. O desafio computacional resultou no desenvolvimento do ScriptLattes (Mena-Chalco e Cesar Jr 2009), uma ferramenta computacional que, a partir de uma lista de códigos identificadores de CVs e da definição do tipo de informação desejada, é capaz de extrair as informações dos CVs e gerar relatórios com os resultados, além de insumos computacionais para aplicações posteriores, inclusive para análises de redes sociais (cálculo de métricas e visualização das redes de coautoria).⁹

Para nossos propósitos, foi utilizada uma modificação no ScriptLattes capaz de gerar, além de indicadores bibliométricos tradicionais, as redes de colaboração científica. Dessa maneira, tornou-se factível o processamento de todos os CVs dos docentes permanentes, de modo que fossem analisadas as informações de 578 CVs, o que significa que é atingida a representatividade total da população em estudo.¹⁰

O ScriptLattes permite estabelecer ligações de coautoria entre pesquisadores caso exista uma produção comum entre eles divulgadas em seus CVs. O procedimento consiste na busca por semelhanças entre os títulos das produções acadêmicas cadastradas no conjunto dos CVs dos pesquisadores selecionados. No âmbito da análise das redes sociais, cada pesquisador é representado por um nó e a detecção de uma relação de coautoria é representada por uma ligação (aresta) entre os nós. Após a identificação da coautoria, a contabilização das ligações pode ser feita de maneira simples, ponderada, normalizada ou por frequências, como veremos adiante.

Mais especificamente, utilizamos em nossas análises as informações contidas no módulo "Produção Bibliográfica" do CV. Dentre os campos passíveis de preenchimento desse módulo, a análise da identificação da produção docente foi realizada sobre as informações contidas em três campos específicos: artigos completos publicados em periódicos (11.150 itens declarados); livros publicados, organizados ou edições (963); e capítulos de livros publicados (3.802). As publicações científicas analisadas foram agrupadas em períodos trienais ao longo do período 2004-2015, sendo que tal identificação foi possível a partir da informação do ano de publicação verificado nos títulos completos de cada item.

Se, por um lado, as informações sobre produção bibliográfica obtidas dos CVs permitem-nos calcular uma série de indicadores de quantidade e de indicadores estruturais, por outro lado existe a necessidade de buscarmos informações complementares em outras bases de dados para o cálculo de indicadores de qualidade da produção científica dos docentes. Nesse sentido, utilizamos fontes adicionais de informações que permitiram qualificar a produção bibliográfica dos docentes permanentes contemplando rankings alternativos de periódicos, citações de seus trabalhos, financiamento de pesquisa, senioridade acadêmica e indicadores de uso baseados em downloads de artigos em arquivos virtuais de publicações.

Consideramos dois rankings de periódicos, amplamente discutidos em Guimarães (2011) para o caso brasileiro. O primeiro é baseado no Qualis 2012 da área de Economia, criado pela CAPES, que se utiliza de rankings internacionais e, em grande medida, de informações complementares de associações de pesquisadores no Brasil, bem como de posicionamentos dos membros da comissão responsável pela elaboração da lista. Os periódicos são classificados em estratos indicativos de qualidade. Na área de Economia, a pontuação de cada estrato é a seguinte: A1 (100 pontos), A2 (80), B1 (60), B2 (40), B3 (25), B4 (15), B5 (5) e C (0).

O segundo ranking refere-se ao trabalho de Combes e Linnemer (2010), que de certa forma reflete a fronteira do conhecimento em nível internacional no que diz respeito ao impacto relativo dos periódicos da área de Economia. Os autores elaboraram alguns indicadores que utilizaremos em nosso estudo. Utilizaremos duas versões do índice CL - os índices CLm e CLh. Em ambos os casos o maior escore é normalizado em 100 e a posição relativa dos periódicos se mantém, sendo que apenas a convexidade da distribuição se altera. No caso, a convexidade da distribuição do indicador CLh é mais forte, dando maior peso relativo para os periódicos mais bem classificados.

Como observa Faria (2004), o Qualis foi elaborado a partir de um consenso de um pequeno grupo heterogêneo de consultores; o índice CL, por sua vez, seria enquadrado na categoria de indicadores fortemente baseados em citações. As idiossincrasias inerentes ao processo de negociação do Qualis emergem na comparação entre os dois rankings. A Figura 2 compara a pontuação atribuída a uma revista pelos diferentes indicadores. As revistas estão ordenadas de acordo com sua nota no Qualis, sendo que dentro de cada estrato estão ordenadas por suas notas nos índices CLm e CLh.¹¹ Verifica-se que, dentro de cada estrato de qualidade do Qualis, há uma enorme dispersão dos valores das outras métricas. Considerando os periódicos do estrato A1, por exemplo, os pontos atribuídos pelo índice CLh se distribuem por um amplo intervalo. Interessante notar que os periódicos A1 que receberiam as menores pontuações pelas duas versões do índice CL são majoritariamente heterodoxos (History of Political Economy, Journal of Post Keynesian Economics, Journal of Economic Methodology, Cambridge Journal of Economics). Outro ponto que chama a atenção refere-se ao estrato B1, em que dos dez periódicos a que são atribuídas as pontuações mais baixas, oito correspondem aos periódicos nacionais mais bem classificados. Como veremos, ao utilizarmos os dois sistemas de ranking, conseguiremos diferenciar pesquisadores com diferentes estratégias de publicação.

Figura 2
Comparação entre Qualis-Economia e Índices CLm e CLh

As demais bases de dados utilizadas não apresentam informações para todos os 578 pesquisadores, ou porque se requer cadastro prévio por parte do pesquisador, ou porque o pesquisador e/ou sua produção não se enquadram no escopo dos indicadores considerados. Apesar de obtermos informações complementares apenas para uma parcela da população de nosso objeto de estudo, elas se mostraram, como veremos, muito relevantes para validação e ampliação de nosso índice multidimensional. As bases de dados consideradas foram:

• Scopus¹² - trata-se da maior base de dados de resumos e citações de literatura científica revisada por pares. Obtivemos informações do Índice-H, número de coautores e total de citações dos artigos de 464 docentes permanentes (80,3% do total).

• Google Acadêmico¹³ - ferramenta de pesquisa do Google que permite pesquisar em trabalhos acadêmicos, literatura escolar, jornais de universidades e artigos variados. Obtivemos informações do Índice-H e do Índice i10 de 213 docentes permanentes (36,8% do total).¹⁴

• • LogEc¹⁵ - ferramenta do RePEc (Research Papers in Economics) que fornece estatísticas de downloads e acessos para todos os itens e autores cadastrados no RePEc. Há 178 docentes permanentes (30,8% do total) cadastrados neste serviço.

3. Indicadores bibliométricos

As informações quantitativas obtidas dos CVs juntamente com as informações dos rankings de periódicos serviram de base para o cálculo de uma série de indicadores bibliométricos de natureza quantitativa, qualitativa e estrutural. Para captar diferentes dimensões da produção científica, foi possível considerar 15 indicadores calculados para cada um dos 578 pesquisadores. Estes indicadores foram confrontados, subsequentemente, com as informações parciais do Scopus, Google Acadêmico e LogEc.

Os indicadores quantitativos referem-se a contagens de itens da produção bibliográfica. Elegemos cinco categorias de produtos científicos para captar a produtividade de diferentes perfis de pesquisador:

• Total de artigos em periódicos listados no Índice CL, 2004-2015

• Total de artigos em periódicos internacionais listados no Índice CL, 2004-2015

• Total de artigos em periódicos listados no Qualis-Economia, 2004-2015

• Total de livros, 2004-2015

• Total de capítulos de livros, 2004-2015

Os indicadores qualitativos, que medem desempenho da produção de um pesquisador, também buscam refletir diferenças nas estratégias de atuação dos pesquisadores. Neste caso, os indicadores quantitativos de periódicos foram ponderados pelas pontuações específicas que lhes foram atribuídas por cada ranking:

• Total de pontos de artigos em periódicos listados no Índice CLm, 2004-2015

• Total de pontos de artigos em periódicos listados no Índice CLh, 2004-2015

• Total de pontos de artigos em periódicos internacionais listados no Índice CLm, 2004-2015

• Total de pontos de artigos em periódicos internacionais listados no Índice CLh, 2004-2015

• Total de pontos de artigos em periódicos listados no Qualis-Economia, 2004-2015

• Média de pontos por artigo listado no Qualis-Economia, 2004-2015

Os indicadores estruturais utilizados foram calculados a partir das relações de coautorias endógenas, descritas e analisadas na seção 5. Estes indicadores medem as conexões entre autores por meio de colaborações científicas e identificam a importância de cada pesquisador na rede endógena, que considera apenas as colaborações entre os 578 docentes permanentes dos PPGs:¹⁶

• Índice de colaboração endógena relativo ao período 2004-2015 (Collaboration Rank);¹⁷

• Número total de coautores na rede endógena no período 2004-2015 (grau do pesquisador na rede) (Degree);

• Número total de trajetórias mais curtas entre pares de pesquisadores que passam pelo pesquisador (Betweenness Centrality).

É esperado que pesquisadores com maior experiência tenham atividades científicas contínuas, o que estimula tanto sua produtividade como a possibilidade de esforços colaborativos com outros pesquisadores. Nesse sentido, a senioridade visa avaliar a experiência do pesquisador em suas atividades científicas em termos do tempo decorrido desde sua primeira publicação científica. No entanto, a heterogeneidade tanto em relação à atuação estritamente acadêmica ao longo da carreira dos pesquisadores, quanto à diferenciação de suas produtividades sugerem a definição da senioridade efetiva (Akasaki et al. 2016), a qual busca mensurar a regularidade e longevidade da atuação científica de um pesquisador. Ela será importante para contextualizarmos alguns dos indicadores no ciclo de vida da carreira acadêmica (Levin e Stephan 1991; Oster e Hamermesh 1998). Berliant e Fujita (2008, 2012) sugerem uma relação (teórica) de "U" invertido entre colaboração e produtividade científica, e senioridade. A senioridade efetiva foi calculada, para cada pesquisador, considerando o total de anos em que teve pelo menos uma produção acadêmica (artigo, livro ou capítulo de livro) desde o ano de publicação da primeira produção.

As estatísticas descritivas para o período 2004-2015 mostram que a produção per capita de artigos qualificados no Qualis (16,7 por docente) é muito superior à de artigos qualificados na lista do índice CL (5,4), sendo que, quando excluímos os artigos em periódicos domésticos (i.e., nacionais), a média de itens por pesquisador cai para (2,4). Há também uma considerável produção per capita de capítulos de livros (7,1).

Em termos dos indicadores qualitativos, a média da pontuação Qualis (631 pontos por docente em doze anos) é uma ordem de magnitude superior à média da pontuação menos restritiva atribuída pela métrica do índice CLm (62 pontos). Aqui também percebe-se uma redução relevante quando se consideram apenas os periódicos internacionais. A pontuação média por publicação pelo critério Qualis (39 pontos) equivale, aproximadamente, a um artigo B2.

Os docentes permanentes dos PPGs em Economia tiveram, em média, três coautores que também pertenciam ao grupo em análise, e a experiência média com o processo de publicação era próxima a 12 anos.

4. Indicadores agregados

4.1. Concentração da produção científica

Alguns padrões podem ser verificados a partir de uma primeira análise exploratória dos dados. Um padrão que se observa em vários níveis de agregação é a concentração dos vários indicadores em um pequeno número de pesquisadores. A Figura 3 mostra que, para as várias métricas qualitativas, a pontuação é bastante concentrada em poucos pesquisadores. Notadamente, quando se consideram os pesos do índice CL para a produção de artigos internacionais, a distribuição da pontuação se torna ainda mais concentrada. No caso do índice CLh internacional, observa-se que cerca de 80% da pontuação total está concentrada em menos de 50 pesquisadores.

Figura 3
Curva de concentração da pontuação total, 2004-2015

Tal concentração se verifica não apenas no universo dos docentes permanentes, mas também dentro de cada PPG. A Figura 4 apresenta a participação dos cinco maiores pontuadores que contribuíram na pontuação total de cada PPG, utilizando-se o critério Qualis como exemplo. Mesmo com diferenças no número total de docentes permanentes em cada programa, na grande maioria dos PPGs os pesquisadores "top 5" são responsáveis por pelo menos metade da pontuação total no período e, em cerca de metade dos casos, tal núcleo está associado a pelo menos 70% da pontuação total do PPG. Esta distribuição bastante assimétrica ocorre mesmo em ambientes onde os pesquisadores, todos doutores, com rendimentos bastante similares, possuem acesso à mesma infraestrutura, às mesmas fontes de recursos para financiamento de pesquisa e estão sujeitos ao mesmo esquema de incentivos. Apesar de não ser objetivo deste trabalho, este é um padrão que merece ser estudado em maior profundidade para o caso brasileiro.¹⁸

Figura 4
Concentração da pontuação Qualis-Economia (Top 5), 2004-2015

4.2. Quantidade versus qualidade

Há uma forte percepção de que os mecanismos de incentivo implementados pelas agências oficiais de fomento à pesquisa no Brasil privilegiem a quantidade em detrimento da qualidade da produção científica dos economistas brasileiros (Novaes 2008). A hipótese de haver diferentes tipos de estratégia de publicação (Faria 2003) pode ser parcialmente constatada no caso brasileiro em estudos que mostram uma forte concentração das publicações de pesquisadores que atuam no Brasil em periódicos domésticos, motivados pelos incentivos que favorecem o produtivismo acadêmico (Issler e Pillar 2002; Faria 2004; Issler e Ferreira 2004; Novaes 2008; Guimarães 2011). Este tema tem sido levado a sério por uma parcela substantiva da academia brasileira já há algum tempo, gerando resultados que mostram um significativo aumento na publicação em periódicos internacionais de qualidade, fruto da mobilização de diversos pesquisadores/programas em busca da excelência em seus esforços de pesquisa.¹⁹ No que se segue, analisaremos se nossos dados corroboram tal constatação.

A organização das observações em quatro períodos trienais (2004-06, 2007-09, 2010-12 e 2013-15) possibilita uma avaliação preliminar da evolução temporal de indicadores bibliométricos selecionados. Segundo Sidone (2013), a avaliação trienal no Brasil pode ser encarada como uma janela ideal para análises cientométricas, uma vez que há estímulo para que os pesquisadores tentem concretizar seus esforços de pesquisa realizados em determinado triênio, transformando-os em publicações até o fim desse período, com o intuito de que o trabalho não seja contemplado somente numa avaliação futura. Logo, o painel está constituído por 2.312 observações correspondentes aos indicadores para os 578 docentes permanentes dos PPGs nos quatro triênios. É possível, assim, controlar possíveis efeitos temporais, bem como os efeitos específicos dos centros ou dos respectivos pesquisadores. A informação sobre senioridade efetiva permitirá testar a hipótese de Berliant e Fujita (2008) acerca do ciclo de vida dos pesquisadores.

Para estimar os modelos de dados em painel foram adotados os métodos de Efeito Fixo (FE) e de Mínimos Quadrados Agrupados (Pooled OLS - POLS). O método de Efeito Fixo foi utilizado para estimar a evolução dos indicadores controlando as habilidades específicas e não observadas dos pesquisadores. Estimamos as seguintes especificações econométricas:

(1) $\begin{array}{c}produç{\widetilde{\mathrm{ao}}}_{\mathrm{it}}\mathit{=}{\mathit{\beta }}_0\mathit{+}{B}_1\mathrm{senioridade}\underset{─}{}{\mathrm{efetiva}}_{\mathrm{it}}\mathit{+}{\mathit{\beta }}_2\mathrm{senioridade}\underset{─}{}{\mathrm{efetiva}}_{\mathrm{it}}^2\hfill \\ \mathit{\delta }\mathrm{tri}{\widehat{\mathrm{enio}}}_{\mathrm{it}}\mathit{+}{\mathit{\theta }}_i\mathit{+}{\mathit{\epsilon }}_{\mathrm{it}}\hfill \end{array}$

(2) $\begin{array}{c}{\mathrm{degree}}_{\mathrm{it}}\mathit{=}{\mathit{\beta }}_0\mathit{+}{\mathit{\beta }}_1\mathrm{senioridade}\underset{─}{{\mathrm{efetiva}}_{\mathrm{it}}\mathit{+}{\mathit{\beta }}_2\mathrm{senioridade}\underset{─}{}}{\mathrm{efetiva}}_{\mathrm{it}}^2\mathit{+}\hfill \\ \mathit{\delta }\mathrm{tri}{\widehat{\mathrm{enio}}}_{\mathrm{it}}\mathit{+}{\mathit{\theta }}_i\mathit{+}{\mathit{\epsilon }}_{\mathrm{it}}\hfill \end{array}$

(3) $\begin{array}{c}{\mathit{PPP}}_{\mathit{it}}={\mathit{\beta }}_0+{\mathit{\beta }}_1\mathit{senioridade}\underset{─}{}{\mathit{efetiva}}_{\mathit{it}}+{\mathit{\beta }}_2\mathit{senioridade}\underset{─}{}{\mathit{efetiva}}_{\mathit{it}}^2+\hfill \\ \mathit{\delta }\mathit{tri}{\widehat{\mathit{enio}}}_{\mathit{it}}+{\mathit{\theta }}_{\mathit{i}}+{\epsilon }_{\mathit{it}}\hfill \end{array}$

Em que produção é o número total de artigos, livros e capítulos de livros publicados pelo pesquisador i no triênio t, degree é o número de coautores (grau do nó na rede de colaboração), PPP é o número de pontos Qualis por periódico publicado, e senioridade_efetiva é o número de anos em que o pesquisador publicou pelo menos um artigo desde sua primeira publicação.

O modelo inclui dummies de tempo para os triênios do período de análise (2004-2015) e os efeitos fixos dos pesquisadores (θ_i). O primeiro triênio (2004-2006) foi escolhido como o período de referência para a dummy de tempo.

Os resultados, apresentados na Tabela 3, sugerem que tem havido algum tipo de resposta por parte dos pesquisadores brasileiros para tratar dos conflitos entre qualidade e quantidade. Notadamente, as dummies de tempo apontam para uma redução do número total de publicações por pesquisador, com um aumento sistemático da qualidade, medida pelo número médio de pontos por artigo. Verifica-se também uma tendência associada à redução do número de coautores circunscritos ao grupo de pesquisadores em questão.²⁰

Tabela 2
Estatísticas descritivas

Variável	Média	Desvio-padrão	Mínimo	Máximo
Artigos_CL	5,43	6,86	0,00	49,00
Artigos_CL_int	2,36	4,19	0,00	32,00
Quant_Qualis_tot	16,68	15,21	0,00	113,00
Livro_tot	1,72	3,45	0,00	36,00
Capitulodelivro_tot	7,07	9,34	0,00	90,00
Pontos_CLm	61,96	110,79	0,00	845,63
Pontos_CLh	18,60	59,06	0,00	527,60
Pontos_CLm_int	46,32	105,72	0,00	839,80
Pontos_CLh_int	17,79	59,03	0,00	527,60
Pontos_Qualis_tot	631,30	607,76	0,00	4985,00
PPP_Qualis	38,94	18,62	0,00	100,00
Collaborationrank_tot	0,84	0,62	0,15	3,67
Degree_tot	3,04	2,96	0,00	21,00
Betweennesscentrality_tot	766,09	1354,04	0,00	12502,42
Senioridadeefetiva_2015	12,35	7,04	0,00	46,00
Observações = 578

Tabela 3
Evolução trienal de indicadores bibliométricos selecionados

	(1) Produção	(2) Degree	(3) PPP
Senioridadeefetiva	1.5987***	0.2946***	2.1426***
	(0,1343)	(0,0319)	(0,5592)
Senioridadeefetiva_2	-0.0263***	-0.0048***	-0.0896***
	(0,0028)	(0,0007)	(0,0117)
ano=2009	-0.8012**	-0.1312*	4.9321***
	(0,3332)	(0,0791)	(1,3876)
ano=2012	-2.0221***	-0.2035*	6.8686***
	(0,5177)	(0,1228)	(2,1558)
ano=2015	-3.8326***	-0.5391***	9.9114***
	(0,7306)	(0,1733)	(3,0420)
Constant	-1.7964**	-0.7129***	19.6827***
	(0,7030)	(0,1668)	(2,9270)
Observations	2312	2312	2312
R 2	0,154	0,138	0,102

• Erros-padrão em parênteses.
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

Em relação aos resultados para senioridade efetiva, que revela, em certa medida, o estágio da carreira do pesquisador, chamamos a atenção para os valores críticos (inflexão) que sugerem períodos mais longos para se atingir os picos de produção total e de colaboração com pares da rede endógena (em torno de 30 anos) em relação ao pico de qualidade revelado pela métrica de média de pontos por publicação (12 anos), o que pode ser indício da importância da experiência tanto para o envolvimento em pesquisa de alta qualidade, típica desse núcleo de excelência, como para aumentar a proximidade cognitiva necessária para a colaboração entre esses pesquisadores.²¹

4.3. Diferenças entre PPGs

Um dos resultados das avaliações trienais conduzidas pela CAPES é a classificação dos PPGs por meio de critérios debatidos e atualizados pela comunidade acadêmico-científica a cada período avaliativo. Utilizando os mesmos indicadores do exercício anterior, buscamos identificar diferenças sistemáticas entre os PPGs no período em análise (2004-2015). Para tanto, as especificações de 1 a 3 foram estimadas pelo método POLS, sendo que os efeitos fixos dos docentes foram substituídos pelos efeitos fixos dos PPGs.²² O IPE-USP foi escolhido como instituição de referência para fins comparativos.

Os resultados (Tabela 4) para o total de publicações e número de coautores não apresentam, com poucas exceções, diferenças institucionais sistemáticas. Entretanto, para a variável PPP, as diferenças em relação à pontuação média da USP revelam-se em quase todos os programas. Os docentes permanentes vinculados à FGV-RJ e à FGV-SP apresentaram, em média, uma pontuação por artigo superior à dos docentes do IPE-USP. Docentes do INSPER, PUC-RJ, UCB, UFC, UFMG, UFPB-JP, UFPE apresentaram, no período, pontuação média similar à USP, sendo que nos demais PPGs, a pontuação média por docente mostrou-se sistematicamente inferior.

Tabela 4
Diferencial institucional de indicadores bibliométricos selecionados

	POLS (1) Produção	POLS (2) Degree	POLS (30 PPP
Senioridadeefetiva	0.8567***	0.1253***	1.8619***
	(0,0543)	(0,0107)	(0,1661)
Senioridadeefetiva_2	-0.0085***	-0.0029***	-0.0534***
	(0,0018)	(0,0004)	(0,0056)
PPG_==FGV-RJ	-3.0470***	-0.3428*	24.6176***
	(1,0465)	(0,2065)	(3,2023)
PPG_==FGV-SP	1.9345*	-0,2914	15.4551***
	(1,0504)	(0,2072)	(3,2140)
PPG_==FURG	0,1085	-0.4566*	-29.8472***
	(1,2492)	(0,2464)	(3,8224)
PPG_==INSPER	0,4078	-0.4097*	-5,365
	(1,0690)	(0,2109)	(3,2711)
PPG_==PUC-RJ	-1.9704*	-0.5340**	3,221
	(1,0698)	(0,2110)	(3,2734)
PPG_==PUC-RS	0,7458	0,2018	-16.8273***
	(1,1247)	(0,2219)	(3,4415)
PPG_==PUC-SP	1.9376*	-0.8738***	-28.7176***
	(1,0484)	(0,2068)	(3,2079)
PPG_==UCB	4.7852***	0.5703**	-5,7738
	(1,1986)	(0,2364)	(3,6674)
PPG_==UEL	2.8520**	1.6998***	-28.6124***
	(1,1589)	(0,2286)	(3,5460)
PPG_==UEM	0,6649	0.4845**	-22.0213***
	(1,1992)	(0,2366)	(3,6694)
PPG_==UERJ	1,4496	-0.7065***	-16.8053***
	(1,0983)	(0,2167)	(3,3606)
PPG_==UFAL	1,2001	-0,3899	-27.7454***
	(1,2458)	(0,2458)	(3,8121)
PPG_==UFBA	-2.1395*	-0.6193***	-25.7862***
	(1,0960)	(0,2162)	(3,3537)
PPG_==UFC	-0,1948	0,1949	-1,5618
	(1,1253)	(0,2220)	(3,4434)
PPG_==UFC_ERural	1,6578	0,3788	-19.3573***
	(1,1986)	(0,2365)	(3,6677)
PPG_==UFES	-0,5124	-0.7584***	-14.7052***
	(1,2445)	(0,2455)	(3,8079)
PPG_==UFF	1.9164*	-0.5083**	-15.3000***
	(1,0462)	(0,2064)	(3,2012)
PPG_==UFG	1,2436	0.4762**	-18.0756***
	(1,2110)	(0,2389)	(3,7055)
PPG_==UFJF	-0,2141	0.7261***	-8.2429**
	(1,0698)	(0,2110)	(3,2735)
PPG_==UFMA	0,7725	-0.5590**	-33.6819***
	(1,0999)	(0,2170)	(3,3656)
PPG_==UFMG	2.0336*	0.5717***	-1,8108
	(1,0468)	(0,2065)	(3,2030)
PPG_==UFMT	2.3499**	0,2386	-26.7281***
	(1,1265)	(0,2222)	(3,4468)
PPG_==UFPA	4.3911***	0,2577	-22.1841***
	(1,1586)	(0,2286)	(3,5453)
PPG_==UFPB-JP	0,1906	0,3468	-5,741
	(1,1594)	(0,2287)	(3,5475)
PPG_==UFPE	3.9655***	0,2313	-3,5498
	(1,1672)	(0,2303)	(3,5714)
PPG_==UFPE-Agreste	0,643	0,099	-19.6106***
	(1,0752)	(0,2121)	(3,2899)
PPG_==UFPEL	0,7607	0,2726	-16.5002***
	(1,2480)	(0,2462)	(3,8186)
PPG_==UFPR	2.2922**	0,1995	-13.9273***
	(1,0952)	(0,2161)	(3,3512)
PPG_==UFRGS	1,4184	0.4876**	-13.3968***
	(1,0257)	(0,2024)	(3,1387)
PPG_==UFRJ	1,6155	-0.5971***	-10.7340***
	(1,0289)	(0,2030)	(3,1484)
PPG_==UFRN	0,1301	0,0498	-15.7308***
	(1,3065)	(0,2577)	(3,9977)
PPG_==UFSC	2.0503*	0.6317***	-10.6453***
	(1,0456)	(0,2063)	(3,1994)
PPG_==UFSCAR	-0,2897	0.7172***	-14.2057***
	(1,0712)	(0,2113)	(3,2779)
PPG_==UFSM	-1,2948	-0.4727**	-27.5793***
	(1,1990)	(0,2365)	(3,6687)
PPG_==UFU	1,6538	0,2177	-11.3739***
	(1,0463)	(0,2064)	(3,2015)
PPG_==UFV	0,298	0.9615***	-17.1309***
	(1,2444)	(0,2455)	(3,8077)
PPG_==UFV_EAplicada	7.2047***	3.8455***	-14.9601***
	(1,1614)	(0,2291)	(3,5536)
PPG_==UNB	0,5028	-0,2776	-7.0178**
	(1,0257)	(0,2023)	(3,1384)
PPG_==UNESP-ARAR	-1,5221	-0,2735	-16.8498***
	(1,3696)	(0,2702)	(4,1907)
PPG_==UNICAMP	1,5579	0,0191	-12.0258***
	(1,0952)	(0,2161)	(3,3512)
PPG_==UNICAMP_DEconomico	6.8813***	-0,1589	-22.4220***
	(1,0091)	(0,1991)	(3,0878)
PPG_==UNIOESTE	5.6004***	0.7644***	-34.1261***
	(1,1984)	(0,2364)	(3,6670)
PPG_==UNISINOS	1,429	0,0866	-14.7763***
	(1,2469)	(0,2460)	(3,8153)
PPG_==USP-ESALQ	0,4571	0.4598**	-12.0699***
	(1,0567)	(0,2085)	(3,2334)
PPG_==USP-RP	1,0584	0,255	-2,0081
	(1,0964)	(0,2163)	(3,3548)
Observations	2312	2312	2312
R2	0,383	0,33	0,33
Adjusted R2	0,369	0,315	0,315

• Inclui dummy de período
• Erros-padrão em parênteses.
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

A Figura 5 mostra a relação entre a nota obtida para cada PPG na última avaliação da CAPES e a pontuação média, nos últimos doze anos, dos docentes permanentes que participam do atual ciclo de avaliação (coeficientes estimados das dummies de cada PPG). Apesar de não haver necessariamente relação direta entre as duas variáveis, ainda assim se observa uma correlação positiva entre elas, sugerindo uma produção de maior qualidade associada aos docentes permanentes atualmente vinculados aos programas mais bem ranqueados.

Figura 5
Relação entre nota CAPES na avaliação trienal 2013 e pontuação média por publicação em 2004-2015 (por PPG)

5. Colaboração científica e coautorias

Um aspecto ainda pouco explorado em relação à atuação dos economistas no Brasil refere-se à colaboração científica e coautorias entre eles. São diversos os motivos que os pesquisadores possuem para colaborar. Na busca pela excelência da pesquisa, a transferência do conhecimento e de habilidades por meio do compartilhamento de trabalho com colegas de destaque pode promover o aumento da qualidade e visibilidade da pesquisa, reduções do tempo dispensado, assim como da possibilidade de erros, a obtenção ou ampliação de financiamentos para as atividades de pesquisa, entre outros (RS 2011; Vanz 2009). Fundamentam-se, ainda, decisões internas à comunidade acadêmica no tocante à escolha de parceiros colaboradores para a otimização do impacto e visibilidade da pesquisa, além da análise das redes de coautorias para condução de políticas públicas quanto à alocação de recursos que viabilizem a realização de projetos colaborativos, de modo que aumente a qualidade da produção científica a partir de determinada quantidade dispendida no financiamento desses projetos (Pan et al. 2012).

Dentre os mecanismos responsáveis pela articulação das relações sociais entre a comunidade científica, as redes de coautorias são particularmente importantes, uma vez que são indicadores dos fluxos de conhecimento entre os pesquisadores. No entanto, representam apenas uma faceta do processo de colaboração, pois são numerosos os casos em que as colaborações não resultam em publicações em coautoria (Katz e Martin 1997).

5.1. Redes de coautoria interprogramas

Consideramos nesta seção a coautoria acadêmica dos docentes permanentes vinculados aos PPGS da área de Economia no Brasil. O objetivo é identificar e avaliar a rede de coautoria dos 46 PPGs por meio de seis métricas em grafos ponderados (i.e., com pesos nas arestas), e não direcionados: centralidade de grau, centralidade de grau ponderado, centralidade de proximidade, centralidade de intermediação, coeficiente de agrupamento e coeficiente de agrupamento ponderado.²³ Este tipo de rede permite caracterizar a colaboração entre instituições da área, analisando as coautorias de artigos em periódicos, livros, e capítulos de livros (Autran et al. 2015).

A Figura 6 apresenta a rede de coautoria entre os diferentes docentes permanentes dos PPGs - agrupados por PPG em que atuam²⁴ - que tiveram pelo menos uma coautoria no período. Consideramos todos os pesquisadores dos PPGs e analisamos a colaboração em um nível programa-programa. Para essa finalidade foram identificadas todas as colaborações no nível pesquisador-pesquisador para obter uma nova representação da colaboração no nível programa-programa. Dos 578 docentes, o número de docentes que apresentaram coautorias com outro docente de algum PPG aumentou ao longo do período (Tabela 5). Por outro lado, para 110 docentes não foi identificada nenhuma coautoria endógena em todo o período analisado. Cabe ressaltar que foi utilizado o método de contagem completa (full-counting), segundo o qual cada unidade de análise (autores) deve receber uma unidade de crédito pela participação em determinada publicação científica (Scherngell e Barber 2011).²⁵

Figura 6
Rede de colaboração endógena, 2004-2015

Tabela 5
Evolução da coautoria endógena

	Período
	2004-06	2007-09	2010-12	2013-15	2004-15
Colaborações únicas (arestas)	200	283	390	411	878
Pesquisadores que colaboraram (nós)	217	289	339	356	468
Pesquisadores isolados	361	289	239	222	110

Fonte: Elaboração própria.

Cada nó na Figura 6 representa um PPG e as arestas, suas coautorias. Os nós com as maiores circunferências referem-se aos PPGs que constituem os nós centrais da rede, uma vez que possuem muitos nós vizinhos (centralidade de grau) e por se encontrarem em posição estratégica e com alta densidade de inter-relacionamentos.

Os resultados da análise da coautoria interprogramas por meio de métricas tradicionais de análises de redes apontam os PPGs ligados à USP como os nós centrais da rede, por se encontrarem em posição estratégica e apresentarem uma alta densidade de relacionamentos.²⁶

A configuração da rede revela três grandes clusters com maior interação. O primeiro está localizado na porção meridional da rede, tendo como principais nós a UNICAMP e a UFRGS, integrando PPGs com predominância de produção heterodoxa. O segundo agrupamento situa-se na porção nordeste da rede, envolvendo PPGs com produção especializada em Economia Agrícola. Finalmente, aparece o terceiro grande grupo, menos integrado, localizado no arco setentrional da rede, caracterizando centros com produção bibliográfica predominantemente associada ao mainstream da área. Nesta representação visual, evidenciamos que a USP, que ocupa a posição central da rede, atua como principal centro integrador dos vários PPGs.²⁷

Vale notar a presença relevante de algumas colaborações regionais, capitaneadas pelas facilidades de interação proporcionadas pelas proximidades geográfica e institucional. Alguns exemplos são as conexões dos centros localizados em Brasília (UNB e UCB), no Rio Grande do Sul (UFRGS, PUC-RS, UNISINOS, UFPEL e FURG), e em Campinas (UNICAMP e UNICAMP_DEconomico).

5.2. Determinantes da colaboração científica entre docentes

Seguindo Sidone (2013), estimamos o seguinte modelo gravitacional empírico para identificar os determinantes das coautorias entre os pesquisadores dos PPGs:

(4) ${\mathit{Y}}_{\mathit{ij}}={\mathit{\alpha }}_0+{\mathit{o}}_{\mathit{i}}^{\mathit{\alpha }1}.{\mathit{d}}_{\mathit{j}}^{{\mathit{\alpha }}_2}.\mathit{exp}\left[{\Sigma }_{\mathit{k}=1}^{\mathit{K}}{\mathit{\beta }}_{\mathit{k}}.\mathit{u}_{\mathit{ij}}{}^{\left(\mathit{k}\right)}\right]+{\epsilon }_{\mathit{ij}};\mathit{i},\mathit{j}=1,\dots ,\mathit{n}$

Em que os parâmetros α₁ e α₂ e β_k estão associados às variáveis de origem (o_j) e destino (d_j) e às k variáveis de separação (u_ij^(k)).

Em nosso caso, as variáveis de origem (o_i) e destino (d_j) foram medidas pelo total de publicações científicas de cada pesquisador. Assim, espera-se que o total de colaborações entre os pesquisadores i e j (Y_ij) dependa positivamente do total de publicações de cada um, visto que quanto mais produtivo um pesquisador, maior deve ser a probabilidade de estar envolvido em colaborações científicas.

Quanto às variáveis de separação, quatro medidas foram utilizadas. Primeiro, foi construída uma variável dummy de proximidade geográfica, mensurada de tal forma que cada elemento u_ij⁽¹⁾ apresente valor igual a um se os pesquisadores envolvidos estão na mesma Unidade da Federação (UF). Além da distância geográfica, foi introduzida uma segunda variável de separação. A partir da atribuição do valor u_ij⁽²⁾ = 1 aos pares de pesquisadores i e j em que ambos atuam no mesmo PPG (e zero caso contrário), foi construída uma matriz que representa a distância institucional entre os pesquisadores brasileiros. Assim, é esperado que o fato de dois pesquisadores possuírem os mesmos vínculos institucionais seja diretamente proporcional ao aumento da probabilidade de colaboração científica entre eles. A terceira medida de proximidade refere-se ao estágio da carreira dos pesquisadores. A variável u_ij⁽³⁾ foi construída considerando-se a diferença, entre cada par de pesquisadores, das respectivas senioridades efetivas. Finalmente, a variável dummy u_ij⁽⁴⁾ foi utilizada, sendo-lhe atribuído o valor um no caso dos pesquisadores serem do mesmo gênero (e zero caso contrário).²⁸

Os resultados das estimativas dos modelos de Poisson, binomial negativo e de suas versões infladas por zeros (ZIP e ZINB)²⁹ para as coautorias entre os 578 docentes permanentes dos PPGs em Economia no período 2004-2015 são apresentados na Tabela 6. Alguns aspectos importantes merecem atenção especial.

Tabela 6
Modelo gravitacional de coautorias

Coautorias	Poisson	Bin Neg	ZIP	ZINB
Log(ProdA)	0,828***	0,924***	0,622***	0,924***
Log(ProdB)	0,638***	0,499***	0,431***	0,499***
Dist UF	1,645***	1,586***	1,542***	1,586***
PPG	2,457***	2,591***	0,469***	2,591***
Dist Sen	-0,018***	-0,164***	-0,107***	-0,164***
Gen	-0,027	-0,430**	-0,038	-0,430***
Heterogeneidade		Sim		Sim
Inflado de zeros			Sim	Não

• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01
• ProdA - produção total do pesquisador A; ProdB - produção total do pesquisador B; Dist UF - dummy de proximidade geográfica (=1 se ambos os pesquisadores estão na mesma UF); dummy PPG (=1 se ambos estão no mesmo PPG); Dist Sen - diferença entre as senioridades efetivas dos dois pesquisadores; Gen - dummy de gênero (=1 se os dois são do mesmo gênero).

Conforme esperado, as estimativas das medidas de massa (origem e destino) são estatisticamente significantes e relativamente próximas de um em todos os casos, o que é indício da boa especificação desses modelos. Também se observa a significância estatística e o sinal positivo das estimativas referentes à distância geográfica, o que significa que o fato de os pesquisadores estarem na mesma Unidade Federativa (UF) leva a maior colaboração. Tal resultado corrobora os resultados comumente encontrados na literatura de cientometria espacial (Sidone et al. 2016), segundo a qual a proximidade geográfica facilita a probabilidade de haver colaboração científica entre pesquisadores, ceteris paribus.³⁰ Também se verifica a significância estatística e o sinal positivo das estimativas referentes à proximidade institucional (PPG), o que reflete a maior intensidade de colaborações entre pesquisadores que estão sob o mesmo ambiente institucional. No caso da proximidade de experiência acadêmica entre os pesquisadores, mensurada pelo diferencial da senioridade efetiva entre eles, observa-se a significância estatística e o sinal negativo das estimativas, o que permite afirmar que tal dimensão de proximidade facilita a colaboração. Já no tocante à variável de gênero, observa-se o sinal negativo das estimativas em todos os modelos estimados, mas sua significância estatística não ocorre de maneira sistemática.

Quanto à escolha entre as diferentes especificações dos modelos, observa-se na Tabela 6 que a estimativa do parâmetro de heterogeneidade é estatisticamente significante, o que é evidência da presença de superdispersão nos dados analisados.³¹ Assim, a escolha da versão binomial negativa, em contrapartida à de Poisson, parece ser a especificação mais adequada para o modelo de dados de contagem proposto. Quanto aos resultados das versões infladas de zeros dos modelos de Poisson e binomial negativo,³² os testes de Vuong apontam para a escolha das versões infladas de zeros, quando esses são comparados a suas versões iniciais. Já o teste da razão de verossimilhança, o qual permite a escolha entre os modelos ZIP e ZINB, aponta para a escolha do modelo binomial negativo inflado de zeros (ZINB).

6. Índice Multidimensional de Desempenho Científico (IMDC)

Os indicadores bibliométricos descritos na seção 3 revelam diferentes dimensões do produto da atividade científica. A análise de cada indicador individualmente não permite sintetizar a qualidade do desempenho científico de um pesquisador. Todavia, é possível considerá-los conjuntamente para que se obtenha uma avaliação multidimensional sobre seu impacto científico, minimizando distorções associadas às especificidades de cada indicador.

Os trabalhos aqui revisitados que endereçaram aspectos do desempenho científico individual de economistas brasileiros (Azzoni 1998 e 2000; Faria 2000; Issler e Pillar 2002; Faria 2004; Issler e Ferreira 2004; Faria et al. 2007; Novaes 2008; Guimarães 2011) sugerem que, na prática, a maior parte dos estudos se baseia em apenas um ou dois indicadores, como ocorre em avaliações de desempenho de pesquisadores de outras áreas do conhecimento em várias partes do mundo. Há, contudo, certo consenso em relação à utilização de uma combinação de indicadores para se obter resultados mais abrangentes sobre o impacto da produção científica de pesquisadores (Martin 1996; Moed e Halevi 2015).

É possível sintetizar vários indicadores bibliométricos em um único indicador para todos os docentes? Para endereçar esta questão, optamos por utilizar a análise fatorial (Haddad 1989) para construir um Índice Multidimensional de Desempenho Científico (IMDC) para os docentes permanentes dos PPGs em Economia no Brasil, considerando indicadores bibliométricos quantitativos, qualitativos e estruturais para o período 2004-2015.

A análise fatorial permite condensar (sintetizar) as informações contidas em uma lista (série) de variáveis originais em um conjunto menor de informações (fatores), sem perda de informação. Os indicadores bibliométricos serão agrupados com base em suas correlações, de forma tal que todas as variáveis dentro de um grupo particular devam ser altamente correlacionadas entre si, mas devam apresentar, relativamente, pequena correlação com as variáveis dos demais grupos. Como veremos, os fatores poderão ser associados a diferentes formas de atuação dos docentes no processo de geração de conhecimento em Economia.

Para a elaboração do IMDC, os indicadores bibliométricos foram inicialmente selecionados e agrupados para caracterizar diferentes estratégias de atuação e dimensões do impacto científico dos pesquisadores. Selecionamos três indicadores para cada dimensão inicialmente pensada, de modo que partíssemos de pesos similares para os cinco agrupamentos (Figura 7). As cinco dimensões consideradas nos subgrupos de indicadores buscam exprimir, ex ante: (i) preferências dos docentes fortemente associadas à qualidade das publicações nos principais periódicos internacionais, com foco no índice CL (grupo 1); (ii) preferências dos docentes associadas à quantidade das publicações, com foco no Qualis (grupo 2); (iii) preferências dos docentes associadas a um equilíbrio entre quantidade e qualidade das publicações (grupo 3); (iv) preferências de docentes com carreiras consolidadas (grupo 4); e (v) relevância do pesquisador na rede (grupo 5).³³

Figura 7
Agrupamentos iniciais dos indicadores bibliométricos

A aplicação da análise fatorial ao conjunto dos 15 indicadores bibliométricos resultou na extração de quatro fatores - todos com raízes características superiores à unidade -, que explicam conjuntamente 96,65% da variância total do modelo. A Tabela 7 apresenta, além da variância explicada por cada fator, as cargas fatoriais com destaque para as variáveis mais fortemente relacionadas com cada fator. O modelo manteve nossas expectativas em relação aos grupos 4 (Fator 4) e 5 (Fator 3). Entretanto, as variáveis pré-selecionadas e agrupadas nos grupos 1, 2 e 3 foram associadas aos dois primeiros fatores: enquanto as variáveis mais representativas da qualidade e internacionalização da produção associaram-se mais fortemente ao Fator 1, os indicadores que refletem as quantidades de artigos publicados e a pontuação total ponderada pelo Qualis associaram-se mais fortemente ao Fator 2.³⁴ A associação bastante clara entre os quatro fatores e subgrupos de indicadores identificados a distintas estratégias de atuação e dimensões do impacto científico dos pesquisadores permite-nos "batizar" cada fator como segue:

• Fator 1 - "Qualidade e internacionalização da produção"

• Fator 2 - "Produção Qualis - Economia"

• Fator 3 - "Relevância do pesquisador na rede"

• Fator 4 - "Senioridade e outras produções bibliográficas"

Tabela 7
Cargas fatoriais dos fatores rotacionados

Variável	Fator 1	Fator 2	Fator 3	Fator 4
Pontos_CLm	0,8910	0,4407	0,0485	-0,0240
Pontos_CLh	0,9922	0,0429	-0,0241	-0,0182
Pontos_CLm_int	0,9317	0,3336	-0,0154	-0,0413
Pontos_CLh_int	0,9924	0,0308	-0,0301	-0,0199
PPP_Qualis	0,5613	0,2350	-0,0684	-0,2107
Artigos_CL	0,3097	0,8677	0,2228	0,0230
Artigos_CL_int	0,5044	0,7963	0,0333	-0,0350
Quant_Qualis_tot	-0,0227	0,5914	0,5790	0,3488
Pontos_Qualis_tot	0,2158	0,7654	0,4687	0,2069
Collaborationrank_tot	0,0019	0,2544	0,7971	0,0771
Degree_tot	-0,0654	0,1307	0,9121	0,0402
Betweennesscentrality_tot	-0,0092	0,1628	0,7401	0,0302
Livro_tot	-0,0524	-0,0003	0,0122	0,7631
Capitulodelivro_tot	-0,0894	0,1008	0,1230	0,7951
Senioridadeefetiva_2015	-0,0054	0,3439	0,2528	0,5392
% da variância	0,3595	0,2411	0,2234	0,1425
% da variância acum.	0,3595	0,6006	0,8240	0,9665

Fonte: Elaboração própria.

Uma vez calculados os escores fatoriais, o IMDC foi obtido da seguinte forma:

(5) $\begin{array}{c}{\mathit{IMDC}}_{\mathit{i}}=\left(\mathit{varF}1/\mathit{varTotal}\right)*\mathit{F}{1}_{\mathit{i}}+\left(\mathit{varF}2/\mathit{varTotal}\right)*\mathit{F}{2}_{\mathit{i}}+\left(\mathit{varF}3/\mathit{varTotal}\right)*\mathit{F}{3}_{\mathit{i}}\hfill \\ +\left(\mathit{varF}4/\mathit{varTotal}\right)*\mathit{F}{4}_{\mathit{i}}\hfill \end{array}$

Onde IMDC_i é o Índice Multidimensional de Desempenho Científico do pesquisador i; Var Fx é a variância explicada pelo Fator x; Var Total - é a variância total explicada pelo modelo; e Fx_i é o valor do Fator x para o pesquisador i.

A Equação (6) apresenta a estrutura de ponderação endógena resultante:

(6) ${\mathit{IMDC}}_{\mathit{i}}\mathit{=}\mathit{0}\mathit{,}\mathit{373}\mathit{*}\mathit{F}{\mathit{1}}_{\mathit{i}}\mathit{+}\mathit{0}\mathit{,}\mathit{249}\mathit{*}\mathit{F}{\mathit{2}}_{\mathit{i}}\mathit{+}\mathit{0}\mathit{,}\mathit{231}\mathit{*}\mathit{F}{\mathit{3}}_{\mathit{i}}\mathit{+}\mathit{0}\mathit{,}\mathit{147}\mathit{*}\mathit{F}{\mathit{4}}_{\mathit{i}}$

Por construção, tanto os fatores individuais como o fator ponderado (IMDC) apresentam média zero. Assim, valores positivos representam desempenho acima da média em cada dimensão específica, bem como no agregado. A Figura 8 apresenta as estimativas de densidade Kernel (EDK) de cada fator e do IMDC, sugerindo diferenças significativas nas distribuições dos escores fatoriais entre dimensões distintas, com maior diferença dos valores extremos da cauda direita principalmente nos Fatores 1 e 2.

Figura 8
Kernel dos escores fatoriais

O cálculo do IMDC permite a hierarquização dos pesquisadores considerando diferentes estratégias de atuação científica. Por construção, o modelo cria fatores não correlacionados, permitindo-nos identificar, dentro da atual elite de pesquisadores vinculados à pós-graduação em Economia no Brasil, subgrupos com preferências bastante específicas. Há na comunidade científica um entendimento de que diferenças geracionais e de áreas de pesquisa reflitam diferentes perfis de atuação dos pesquisadores brasileiros, concretizados, dentre outros, em suas produções bibliográficas (Bianchi 2003). Uma importante ressalva em relação à utilização da análise fatorial para a construção do IMDC refere-se a sua validade em outros contextos amostrais. Não há nenhuma garantia que a extração dos fatores seja robusta a amostras diferentes. Pelo contrário, a extração dos fatores é válida apenas para a amostra dos 578 docentes permanentes dos PPGs utilizada neste trabalho, sendo que a exclusão de indivíduos poderia levar a resultados distintos. Assim, deve-se ter em mente na discussão subsequente que as conclusões se restringem à observação conjunta das distribuições das variáveis selecionadas em um contexto amostral específico.³⁵

O IMDC disponibiliza ao pesquisador informações para cada uma das quatro dimensões da produção científica, havendo várias possibilidades de combinações de desempenho individual relativo.³⁶ Considerando o desempenho de um pesquisador (em relação à média) nas quatro componentes do IMDC, há 2⁴ = 16 combinações possíveis (Figura 9). Por exemplo, o "Pesquisador 1" apresenta desempenho acima da média em todas as dimensões, enquanto o "Pesquisador 11" apresenta desempenho acima da média apenas nos Fatores 2 e 4. Percebe-se, na Figura 10, maior concentração de docentes brasileiros alocados nos grupos 9 a 16, o que reflete o padrão de concentração da produção científica, discutido na seção 4.1.

Figura 9
Tipologia dos pesquisadores de acordo com o desempenho relativo das componentes do IMDC

Figura 10
Distribuição dos pesquisadores por tipo

Podemos comparar a classificação dos docentes permanentes no IMDC com sua localização na Figura 9, considerando os 16 "tipos" de pesquisador, para testar qual das combinações estratégicas estaria associada a um melhor desempenho. Para tanto, regredimos o ranking do pesquisador no IMDC contra dummies refletindo sua condição na tipologia dos pesquisadores. O tipo "Pesquisador 16" foi escolhido como grupo de referência. Os resultados da Tabela 8 mostram que, em média, um "Pesquisador 1" - aquele que apresenta desempenho relativo acima da média nas quatro dimensões - estaria 456 posições acima de um "Pesquisador 16" no ranking do IMDC - grupo com pesquisadores com desempenho abaixo da média em todas as dimensões. Todas as combinações alternativas estão mais bem posicionadas no ranking, com destaque para os seguintes grupos: "Pesquisador 5" (455 posições), "Pesquisador 7" (447 posições), "Pesquisador 3" (440 posições), "Pesquisador 2" (408 posições) e "Pesquisador 6" (406 posições).

Tabela 8
Diferencial de desempenho no IMDC entre os "tipos" de pesquisadores

Dependent variable - Rank_IMDC
P_1	-456.0038***
	(25,8327)
P_2	-408.5872***
	(21,5333)
P_3	-440.1824***
	(33,2221)
P_4	-371.4846***
	(18,3946)
P_5	-455.2538***
	(43,4649)
P_6	-406.2538***
	(35,7528)
P_7	-447.5538***
	(39,0209)
P_8	-268.3854***
	(21,0297)
P_9	-399.6601***
	(16,8966)
P_10	-357.4726***
	(16,8966)
P_11	-281.2700***
	(17,1139)
P_12	-161.5213***
	(15,0628)
P_13	-283.0284***
	(14,1472)
P_14	-198.8448***
	(11,8196)
P_15	-122.5782***
	(12,4685)
Constant	493.7538***
	(7,5096)
Observations	578
R-squared	0,7440
Adj R-squared	0,7371

• Erros-padrão em parênteses.
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

É possível organizar os valores calculados para o IMDC e para cada uma de suas componentes, de tal forma a visualizar padrões de atuação de pesquisadores. Cada um dos gráficos abaixo que compõem a Figura 11 contemplam as quatro dimensões simultaneamente, e revelam características da produção bibliométrica de grupos de pesquisadores com preferências similares. Há quatro informações relevantes para a interpretação dos gráficos:³⁷ (i) o eixo das abscissas corresponde à posição do pesquisador em relação ao Fator 1, ou seja, valores positivos (acima da média) estão associados a pesquisadores com produção de maior inserção internacional; (ii) o eixo das coordenadas corresponde ao Fator 2, de modo que valores positivos (acima da média) identificam pesquisadores com melhor desempenho na produção incentivada pelos critérios Qualis; (iii) o círculo presente nos gráficos define o limite para se identificar a posição relativa do docente em relação a sua relevância na rede (Fator 3): valores internos à circunferência identificam pesquisadores com indicadores de colaboração acima da média; e (iv) os marcadores individuais referem-se ao Fator 4 - triângulos pretos representam indivíduos com valores positivos (acima da média) e triângulos vermelhos indivíduos com valores negativos (abaixo da média). Finalmente, em cada gráfico estão representados apenas os 25 pesquisadores com melhor desempenho em cada dimensão identificada nos títulos.³⁸

Figura 11
Tipologia dos pesquisadores com melhor desempenho no IMDC e em suas componentes (Top 25)

Os padrões de atuação dos "líderes" em cada dimensão são bastante distintos. Para o Fator 1, há maior especialização nos indicadores associados a publicações internacionais, sendo que as colaborações com pares da rede são pouco relevantes. Isso parece ser um indício, a ser investigado com maior detalhe, de que eventuais coautorias destes pesquisadores estejam concentradas em parceiros internacionais. No caso do Fator 2, há também um padrão claro de especialização dos principais docentes desta dimensão, todavia, com sinais de maior colaboração endógena. Já para a dimensão que revela a relevância do pesquisador na rede endógena (Fator 3), a localização dos marcadores individuais dentro da circunferência está concentrada no semicírculo da esquerda, com menos ocorrências no semicírculo da direita, associado à produção em periódicos internacionais. Interessante notar que a prevalência de pesquisadores na parte inferior do semicírculo da esquerda - alta colaboração com baixo impacto (tanto internacional quanto utilizando a régua do Qualis da área de Economia) - está relacionada a docentes dos PPGs especializados em Economia Agrícola.³⁹ Já os docentes com melhor desempenho no Fator 4 concentram-se próximos à fronteira ocidental da circunferência, sugerindo preferências com menos esforço destinado a publicações em periódicos.

6.1. IMDC versus outras métricas

Como o IMDC correlaciona-se com outros indicadores relevantes para a academia brasileira? Nesta seção, vamos comparar a hierarquização dos pesquisadores por meio do IMDC e seus componentes com outros indicadores usualmente utilizados e não contemplados no cálculo do índice multidimensional.

O primeiro exercício irá comparar a classificação dos docentes permanentes no IMDC e sua condição atual de bolsista de produtividade do CNPq. Como observa Novaes (2008), os conflitos entre quantidade e qualidade são relevantes para o esquema de financiamento à pesquisa implementado pelo governo brasileiro. Segundo o autor, o grupo de pesquisadores que, em tese, responderiam aos incentivos ditados pelos mecanismos de avalição de desempenho individual do CNPq [e das demais agências de financiamento de pesquisa no país] estaria fortemente associado ao grupo de pesquisadores com bolsas de produtividade de pesquisa do CNPq.

Usando nossos indicadores, podemos testar em qual das dimensões o fato de o pesquisador ser bolsista de produtividade estaria mais associado a um melhor desempenho científico. Para tanto, selecionamos os bolsistas em 2016 (Tabela 9), separando-os por classe de bolsa (nível 1 e nível 2). A seguir, regredimos os rankings dos pesquisadores no IMDC e em seus componentes contra dummies para bolsistas nível 1 e bolsistas nível 2. Os resultados são apresentados na Tabela 10.

Tabela 9
Distribuição dos bolsistas da área de Economia, segundo classe, 2016 – Docentes permanentes dos PPGs

CLASSE	#	%
1 A	13	6,8
1 B	14	7,3
1 C	13	6,8
1D	40	20,8
2	112	58,3
TOTAL	192	100,00

Fonte: CNPq.

Tabela 10
Diferencial de desempenho dos bolsistas de produtividade

Dependent variable
	Rank IMDC	Rank F1	Rank F2	Rank F3	Rank F4
PQ_1	-275.0584***	-166.7207***	-222.4573***	-80.6883***	-77.1786***
	(15,9136)	(19,2671)	(17,2719)	(20,0129)	(20,2472)
PQ_2	-173.0155***	-62.7421***	-164.7162***	-80.3544***	-15.8874
	(13,9035)	(16,8335)	(15,0903)	(17,4851)	(17,6898)
Constant	361.0959***	324.7332***	352.2073***	316.2383***	297.1036***
	(6,5936)	(7,9830)	(7,1563)	(8,2921)	(8,3891)
Observations	578	578	578	578	578
R-squared	0,4004	0,1210	0,2936	0,0516	0,0293
Adj R-squared	0,3983	0,1179	0,2912	0,0483	0,0259

• Erros-padrão em parênteses.
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

Na média, um pesquisador com bolsa de produtividade nível 1 estaria 275 posições acima dos demais pesquisadores no ranking do IMDC, enquanto um pesquisador nível 2 estaria 173 posições acima da média. A comparação dos resultados para os rankings dos quatro fatores que compõem o IMDC sugere que os critérios definidos pelo Qualis são preponderantes na alocação das bolsas, apesar de não exaustivos. Ademais, há evidências de focalização em sua distribuição de acordo com as regras previamente definidas, corroborando a hipótese de Novaes (2008).

O IMDC apresenta limitações que já se originam na seleção das variáveis iniciais do modelo. Apesar de se apresentar como uma alternativa à utilização de indicadores individuais, a combinação dos indicadores considerados também carrega consigo as vicissitudes de cada indicador que a compõe. A falta de disponibilidade de um conjunto mais amplo de métricas faz com que algumas dimensões importantes da produção científica não possam ser incorporadas. As citações e colaborações internacionais são importantes métricas que poderiam estar presentes em nosso indicador. No caso das citações, os indicadores de qualidade que utilizamos, baseados na reputação de periódicos, revela apenas o potencial de impacto da produção de um pesquisador. Ao interpretar o ato de um pesquisador citar trabalhos anteriores como a admissão explícita da influência do conhecimento outrora descoberto sobre suas atividades de pesquisa, a mensuração da frequência de citações revelaria o impacto "realizado" das publicações específicas do pesquisador, revelando outra dimensão da qualidade e importância do desempenho científico individual. Similarmente, indicadores altmétricos referentes a visualizações e acessos a trabalhos do pesquisador ressaltariam uma dimensão adicional de seu impacto científico (Moed e Halevi 2015).

A importância da colaboração internacional é amplamente reconhecida na formulação de políticas de C&T&I, visto que pode viabilizar o aumento da qualidade da ciência doméstica por meio da absorção de novos conhecimentos, além de consistir em maneira eficaz de acesso ao conhecimento desenvolvido a partir de investimentos em pesquisa de outros países (Sidone 2013).⁴⁰ No caso da área de Economia no Brasil, este parece ser um elemento fundamental para a inserção qualificada dos pesquisadores brasileiros na comunidade científica internacional (Haddad et al. 2015). Esta dimensão também mereceria ser explorada em nossa discussão.

Entretanto, as bases de dados disponíveis não apresentam informações para todos os 578 pesquisadores para estas dimensões adicionais. Isso decorre da falta de registro do pesquisador ou de sua produção nas várias bases de dados alternativas. Apesar das restrições em sua cobertura, informações complementares disponíveis apenas para uma parcela da população de nosso objeto de estudo mostram-se, ainda assim, úteis para validação e ampliação de nosso índice multidimensional.

Ainda que de forma incompleta, parece-nos pertinente comparar nossas estimativas para o IMDC e suas componentes com algumas métricas disponíveis em bases complementares que enderecem algumas das dimensões faltantes. Utilizamos inicialmente indicadores do Google Acadêmico (Índice-H e Índice i10 disponível para 213 docentes permanentes registrados na plataforma - 36,8% do total), LogEc (estatísticas de downloads e acessos para todos os itens dos 178 docentes cadastrados - 30,8% do total) e Scopus (Índice H para 464 docentes - 80,2% do total).

A Tabela 11 apresenta as correlações entre os rankings de nossas estimativas (IMDC e suas quatro componentes) e o ranking de métricas do Google Acadêmico (citações), LogEc (acessos e downloads) e Scopus (Índice H) considerando os mesmos docentes nas três amostras. Em todos os casos, o indicador sintético, IMDC, é o que apresenta correlação mais alta com as métricas alternativas.

Tabela 11
Correlação entre os rankings do IMDC e das métricas alternativas

Google Acadêmico (n = 213)
	1	2	3	4	5	6	7	8	9
1 Rank_IH_tot	1
2 Rank_IH_5	0,9813	1
3 Rank_I10_tot	0,9842	0,9767	1
4 Rank_I10_5	0,9568	0,9759	0,9752	1
5 Rank_IMDC	0,6468	0,6537	0,6337	0,6432	1
6 Rank_F1	0,3066	0,3244	0,3176	0,3657	0,5828	1
7 Rank_F2	0,3776	0,3899	0,3984	0,4023	0,3887	0,1196	1
8 Rank_F3	0,0603	0,0476	0,0464	0,0236	0,4125	0,0302	-0,1411	1
9 Rank_F4	0,5347	0,5070	0,5073	0,4444	0,2325	-0,1889	-0,1024	0,0339	1
LogEc (n = 178)
		1	2	3	4	5	6	7	8
1 Rank_LogEc_D_tot		1
2 Rank_LogEc_D_12		0,8819	1
3 Rank_LogEc_A_tot		0,9659	0,8276	1
4 Rank_IMDC		0,6914	0,6308	0,6993	1
5 Rank_F1		0,5431	0,5347	0,4870	0,6140	1
6 Rank_F2		0,4812	0,4216	0,4463	0,4221	0,0292	1
7 Rank_F3		0,0911	0,0717	0,1663	0,4050	-0,0435	0,0339	1
8 Rank_F4		0,3176	0,2071	0,3680	0,2503	0,0156	-0,0035	0,0038	1
Scopus (n = 464)
		1	2	3	4	5	6
1 Rank_IH_Scopus
2 Rank_IMDC		0,7256	1
3 Rank_F1		0,4541	0,4860	1
4 Rank_F2		0,4760	0,4259	0,0699	1
5 Rank_F3		0,1775	0,5212	0,0958	-0,0567	1
6 Rank_F4		0,2064	0,2733	-0,1649	-0,0288	0,0154	1

7. Epílogo: Virtus in medium est?

Ressaltamos que os indicadores bibliométricos de qualidade utilizados no cálculo do IMDC são estritamente baseados na reputação dos periódicos que a emprestam aos autores que preenchem suas páginas. Citações revelariam o impacto "realizado" das publicações específicas do pesquisador, explicitando uma dimensão mais precisa da influência do pesquisador em sua comunidade científica.

Em nossas considerações finais, vamos revisitar o modelo teórico de Faria (2003), que explora o trade-off entre qualidade e quantidade de publicações.⁴¹ Em seu modelo, o autor classifica os economistas de acordo com suas posições neste trade-off, ao introduzir o conceito de curvas de iso-citação - para um dado nível de citações haveria várias combinações possíveis entre o número de publicações em periódicos de menor impacto e o número de publicações nos melhores periódicos da área. Os resultados são validados por informações bibliométricas de autores vinculados a programas de Economia nos EUA, sugerindo que a virtude (maior número de citações) estaria no equilíbrio bem sucedido entre quantidade e qualidade.⁴²

No caso brasileiro, podemos verificar a influência relativa dos pesquisadores considerando as diferentes estratégias inferidas pela tipologia desenhada a partir do desempenho relativo das componentes do IMDC (Figura 9). Para tanto, utilizamos como métrica de influência o Índice-H, obtido da base de dados do Scopus para 464 dos 578 docentes permanentes dos PPGs. Regredimos esta informação para cada um dos pesquisadores da amostra contra dummies, refletindo sua condição na tipologia dos pesquisadores. O tipo "Pesquisador 1" foi escolhido como grupo de referência. A Tabela 12 apresenta os resultados, mostrando que, na média, a estratégia do "Pesquisador 1" levaria a melhores resultados que todas as alternativas. A exceção seria a estratégia do "Pesquisador 3", que levaria a resultados semelhantes.

Tabela 12
Diferencial de influência e colaboração entre os "tipos" de pesquisadores

	Dependent variable
	IH_Scopus	Coauthors	Citations
P_2	-5.1944***	-15.2500***	-331.7222***
	(0,8582)	(4,5101)	(53,7683)
P_3	-0.4643	-9.2024	-97.3810
	(1,0952)	(5,7556)	(68,6167)
P_4	-4.9674***	-22.3080***	-304.7536***
	(0,8200)	(4,3096)	(51,3774)
P_5	-2.2500*	-15.6667**	-82.6667
	(1,3295)	(6,9871)	(83,2975)
P_6	-6.0833***	-22.4167***	-282.0000***
	(1,1514)	(6,0510)	(72,1378)
P_7	-3.5500***	-18.7167***	-198.8667***
	(1,2257)	(6,4418)	(76,7965)
P_8	-6.2167***	-26.6500***	-319.0000***
	(0,8919)	(4,6871)	(55,8777)
P_9	-4.9435***	-4.6586	-259.2796***
	(0,7829)	(4,1145)	(49,0519)
P_10	-6.2500***	-18.7917***	-358.0729***
	(0,7795)	(4,0965)	(48,8375)
P_11	-5.4286***	-22.3810***	-312.1310***
	(0,7945)	(4,1756)	(49,7798)
P_12	-7.2250***	-24.9667***	-371.7917***
	(0,7579)	(3,9832)	(47,4869)
P_13	-7.5682***	-21.6667***	-375.0758***
	(0,7499)	(3,9412)	(46,9861)
P_14	-7.6731***	-23.7244***	-375.6026***
	(0,7141)	(3,7527)	(44,7380)
P_15	-7.1500***	-24.6056***	-349.0444***
	(0,7481)	(3,9318)	(46,8741)
P_16	-7.7105***	-25.6535***	-364.9298***
	(0,7153)	(3,7592)	(44,8164)
Constant	8.7500***	30.9167***	383.6667***
	(0,6647)	(3,4935)	(41,6488)
Observations	464	464	464
R-squared	0,3679	0,2289	0,2223
Adj R-squared	0,3467	0,2031	0,1962

• Erros-padrão em parênteses.
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

A diferença entre as estratégias dos grupos de pesquisadores 1 e 3 recai apenas sobre a dimensão associada ao Fator 3, que mensura a relevância do pesquisador na rede. Todavia, as métricas utilizadas relativas a esta dimensão restringem-se às colaborações endógenas, ou seja, àquelas contemplando apenas coautorias entre docentes permanentes dos PPGs. Podemos ampliar um pouco esta dimensão, ainda que de forma indireta, ao considerarmos as informações disponibilizadas pelo Scopus sobre o número total de coautores associados às produções bibliográficas cadastradas na base de dados. Esta informação é menos restritiva no sentido de considerar um conjunto mais amplo de colaboradores, tanto domésticos quanto internacionais. Os resultados da regressão do número de coautores contra as dummies de categoria (Tabela 12) revelam não haver diferenças significantes entre o número total de coautores dos grupos de "Pesquisador 1" e "Pesquisador 3", sendo o número médio de coautores de pesquisadores associados às demais categorias sistematicamente mais baixo.

Finalmente, ao considerarmos o total de citações de artigos, o mesmo padrão se verifica, com melhor desempenho médio associado aos grupos "Pesquisador 1" e "Pesquisador 3". O desempenho do grupo "Pesquisador 5" é similar neste quesito. Ao contrário do Índice-H, que considera tanto o número de artigos de um pesquisador quanto o número de suas citações, favorecendo assim a regularidade da produção de qualidade, o indicador que contempla apenas o número total de citações pode favorecer os autores de poucos trabalhos de elevada qualidade, os denominados "one-hit-wonder-author" (Durieux e Gevenois 2010).

Parece haver evidências de que, também no caso brasileiro, a virtude estaria no meio. Para verificar se este resultado se sustenta em outro contexto amostral, calculamos o IMDC excluindo os pesquisadores que aparentemente buscam de forma sistemática publicar em periódicos internacionais de impacto em suas respectivas áreas. Para identificarmos tais pesquisadores, consideramos os 25 docentes com melhor desempenho no Fator 1.⁴³ Estes pesquisadores apresentam diferenças marcantes nos indicadores de pontuação ponderados pelo Índice CL e também valores de pontos por publicação ponderados pelo Qualis, mesmo quando comparados aos pesquisadores de melhor desempenho em cada uma das demais dimensões do IMDC (Tabela 13). Seus indicadores de impacto (Índice H e número de citações), todavia, encontram-se abaixo da média dos docentes com melhor desempenho no Fator 2. Os resultados com esta nova amostra, que exclui pesquisadores com produção associada a periódicos internacionais de maior impacto em suas áreas de atuação, sugerem também que os "Pesquisadores 1", que apresentam desempenho acima da média em todas as dimensões, tendem a ser mais citados.^44,45

Tabela 13
Estatísticas descritivas, pesquisadores com melhor desempenho em cada dimensão do IMDC

Variável	Fator 1	Fator 2	Fator 3	Fator 4	IMDC
Artigos_CL	12,52	25,92	10,44	5,92	21,44
Artigos_CL_int	9,76	14,96	2,84	1,88	13,48
Artigos_CL_int	9,76	14,96	2,84	1,88	13,48
Quant_Qualis_tot	14,40	51,84	45,04	34,80	39,60
Livro_tot	0,52	2,56	2,04	12,96	2,44
Capitulodelivro_tot	2,72	11,64	11,28	33,48	10,16
Pontos_CLm	454,89	232,08	74,18	40,44	439,61
Pontos_CLh	261,06	33,48	10,47	4,24	209,52
Pontos_CLm_int	440,33	175,18	35,44	19,59	398,01
Pontos_CLh_int	260,28	30,48	8,48	3,15	207,32
Pontos_Qualis_tot	1087,40	2305,20	1518,40	927,20	2004,80
PPP_Qualis	80,04	46,71	34,60	27,38	64,59
Collaborationrank_tot	0,73	1,57	2,17	0,98	1,43
Degree_tot	1,80	4,60	11,68	3,40	5,44
Betweennesscentrality_tot	517,72	1457,12	4327,67	765,17	2216,36
Senioridadeefetiva_2015	12,32	20,32	18,00	23,56	17,96
IH_Scopus	6,13	7,68	2,48	3,22	6,13
Coautors	13,04	29,59	21,88	17,43	13,04
Citations	219,67	318,86	30,04	75,83	219,67
Observações = Top 25 em cada dimensão

Há, nesse contexto, que se ter em mente nos desenhos de avaliação e de políticas científicas a multidimensionalidade da atuação dos pesquisadores em Economia no Brasil, sem se perder o foco fundamental na qualidade que vem sendo paulatinamente conquistada no período recente. A utilização de indicadores multidimensionais conjuntamente com as informações sobre suas distintas dimensões parece-nos mais adequada que o olhar para uma medida única de desempenho.

• 1
  Alberts (2013) argumenta que a utilização do fator de impacto de um periódico para avaliar cientistas é equivocada por se tratar de métrica concebida para mensurar a qualidade dos periódicos e não dos indivíduos.
• 2
  Moed e Halevi (2015) analisam as potencialidades e limitações na utilização dos indicadores mais frequentemente utilizados em estudos bibliométricos.
• 3
  Este produtivismo está relacionado com o fenômeno denominado "Salami Science" - prática de fatiar uma única descoberta, como um salame, para publicá-la no maior número possível de artigos científicos (Reinach 2013).
• 4
  O próximo ciclo de avaliação, previsto para se concluir em março de 2017, será quadrienal e compreenderá o período 2013-2016.
• 5
  Dos 46 PPGs Acadêmicos, 27 oferecem Mestrado e Doutorado, um oferece somente Doutorado, e 18 PPGs oferecem somente mestrado.
• 6
  Portaria CAPES n° 174, de 30/12/2014, que define as categorias de docentes dos PPGs como Permanente, Visitante e Colaborador.
• 7
  Lançada em março de 2014, a Plataforma Sucupira é uma ferramenta online para coletar informações, realizar análises, avaliações e servir como base de referência para o Sistema Nacional de Pós-Graduação (SNPG). A Plataforma disponibiliza em tempo real e com transparência as informações, processos e procedimentos que a CAPES realiza no SNPG para toda a comunidade acadêmica.
• 8
  Embora o processo de atualização dos currículos ainda não seja realizado de forma contínua pelos usuários, a disponibilização pública das informações possibilita o monitoramento da qualidade das informações divulgadas, uma vez que a decisão quanto às alocações de recursos para pesquisas depende da comparação direta entre os currículos dos pesquisadores pleiteadores.
• 9
  O ScriptLattes é um software livre em constante aperfeiçoamento que tem sido adaptado e utilizado por diversas agências de fomento, institutos de pesquisa e universidades para auxiliar os processos de avaliações institucionais (disponibilizado em http://scriptlattes.sourceforge.net/).
• 10
  Os CVs foram rastreados por meio de seus códigos de identificação no dia 04 de abril de 2016. O procedimento considerado no ScriptLattes é descrito em Mena-Chalco e Cesar-Jr (2013). O relatório com o banco de dados pode ser acessado em https://doi.org/10.13140/rg.2.2.33226.47045
• 11
  Nos três casos, o escore para o periódico mais bem classificado é igual a 100.
• 12
  https://www.scopus.com/. Último acesso em 12 de maio de 2016.
• 13
  https://scholar.google.com/. Último acesso em 05 de maio de 2016.
• 14
  Um trabalho pioneiro analisando os economistas e revistas de economia brasileiros utilizando o Google Scholar é o de Faria (2010).
• 15
  http://logec.repec.org/. Último acesso em 06 de maio de 2016.
• 16
  Nesta etapa do trabalho não foram consideradas as coautorias exógenas, isto é, as colaborações dos 578 docentes com outros pesquisadores que não pertencem aos 46 PPGs não foram estimadas. Planejamos em futuras análises identificar na PL todos os coautores dos 578 docentes e usar essa informação como indicador estrutural.
• 17
  O índice de colaboração Collaboration Rank, baseado no índice proposto por Liu et al. (2005), é utilizado para estimar o grau de colaboração de um pesquisador com outros do conjunto considerado.
• 18
  No trabalho de Nederhof e Van Raan (1992) foi apresentada uma discussão sobre a influência de pesquisadores-chave sobre a avaliação de desempenho de grupos de pesquisa em Economia ("star effect")
• 19
  CAPES (2013). "Documento de área 2013 - Economia", Diretoria de Avaliação, Brasília, DF, pp. 4 (https://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Economia_doc_area_e_comissão_16out.pdf. Último acesso em 1 de maio de 2016).
• 20
  Embora não tenha sido avaliada a evolução da colaboração científica entre todos os pesquisadores brasileiros da área de Economia, espera-se que tenha ocorrido um aumento dos esforços colaborativos ao longo do tempo, seguindo a tendência encontrada para várias grandes áreas do conhecimento reportada em Sidone et al. (2016).
• 21
  A proximidade cognitiva pode ser entendida como o grau de similaridade pelo qual dois pesquisadores compartilham da mesma base de conhecimento. Sua importância consiste na ideia de que a efetividade da transferência de conhecimento numa colaboração requer certo nível de capacidade absortiva para a identificação, processamento, compreensão, interpretação e exploração do novo conhecimento. Assim, faz-se necessário que as bases cognitivas dos pesquisadores sejam próximas o suficiente para o sucesso na comunicação e entendimento por ambas as partes, de modo que a proximidade cognitiva entre pesquisadores funciona como um pré-requisito essencial para o processo interativo de aprendizado e colaboração entre eles.
• 22
  As estimativas do método POLS podem ser sobrestimadas se os efeitos fixos dos pesquisadores forem positivamente correlacionados com os efeitos dos seus respectivos centros. Como a mobilidade de professores entre PPGs é restrita, não foi possível estimar um modelo controlando os efeitos fixos de professores e PPGs, simultaneamente.
• 23
  Veja no ^{Anexo A} uma descrição das seis métricas consideradas neste trabalho.
• 24
  Para evitar sobreposição dos atores, consideramos a sua atuação em um único programa (os seis pesquisadores que constavam como docentes permanentes em mais de um PPG foram alocados para o PPG em que formaram o maior número de mestres e doutores no período).
• 25
  Mais comum em análises de citações, a alternativa consiste no método de contagem fracionada, o qual realiza uma contagem ponderada, de forma que os valores das ligações entre dois PPGs são divididos pela quantidade de ligações totais entre os PPGs dos pesquisadores envolvidos, i.e., o crédito da coautoria é dividido proporcionalmente entre os coautores e suas instituições.
• 26
  Ver Tabela A1 no ^{Anexo A}.
• 27
  A centralidade da USP pode estar ligada também ao seu papel de maior e mais antigo programa de pós-graduação em Economia do país (ver a respeito, Faria et al. 2016). Agradecemos a um dos pareceristas a atenção a este ponto.
• 28
  Do total de docentes permanentes vinculados aos PPGs em Economia no Brasil, 112 (19,4% do total) são mulheres.
• 29
  De modo geral, a interpretação do modelo como de dados de contagem por meio da utilização de versões pertencentes à família de modelos de Poisson resolve as deficiências técnicas de MQO, reconhece explicitamente a natureza inteira e não negativa da variável dependente, além de permitir que as estimativas de máxima-verossimilhança dos parâmetros possam ser interpretadas como elastici-dades (Winkelmann 2008; Scherngell e Hu 2011).
• 30
  É importante ressaltar que a proximidade geográfica por si só, embora seja fundamental, não deve ser entendida como condição necessária e suficiente para a interação entre os pesquisadores nos processos de criação e difusão do conhecimento, mas a maior proximidade geográfica consiste num mecanismo facilitador eficaz para a ocorrência dessas interações, principalmente quando simultânea à verificação de outras dimensões da proximidade, tais como a institucional, cognitiva e social.
• 31
  A função de distribuição de Poisson possui a propriedade estatística de equidispersão, definida pela igualdade entre a média e variância condicionais. Usualmente, as análises empíricas apontam para a presença de superdispersão nos dados observados, o que sugere a procura por um modelo que se adapte melhor à estrutura dos dados observados (Winkelmann 2008; Hilbe 2011).
• 32
  Outro problema de especificação refere-se à quantidade excessiva de zeros nos dados observados, o que pode figurar como fonte adicional de heterogeneidade não observada, na medida em que a ocorrência de valores nulos pode ser bastante superior àquela passível de acomodação pelos modelos de Poisson e binomial negativo. Tal problema pode ser contornado por meio da utilização das versões infladas de zeros do modelo de Poisson (ZIP) e binomial negativo (ZINB) as quais admitem uma estrutura de média condicional que diferencia os valores nulos e positivos (Hilbe 2011).
• 33
  Ver McDowell e Melvin (1983) e, principalmente, Faria (2003, 2004) para uma discussão sobre os incentivos que levam pesquisadores a adotarem diferentes estratégias de publicação. Newman (2001) e Haddad et al. (2016) adicionam à discussão mostrando a relevância da conectividade de pesquisadores.
• 34
  A separação em fatores distintos que consideram os pontos totais atribuídos aos pesquisadores quando se consideram o ranking Qualis e o ranking CL não surpreende, dada a baixa correlação entre as duas métricas, já apontada em Guimarães (2011).
• 35
  Agradecemos a um dos pareceristas a atenção a este ponto.
• 36
  https://www.researchgate.net/publication/305651066 Dataset Dados IMDC disponibiliza uma planilha contendo a descrição das variáveis, os metadados e os resultados.
• 37
  Esta forma de visualização de quatro variáveis em um espaço bidimensional denomina-se "hinge-ba-sed-circle (HBC) graph". Para maiores detalhes, ver Haddad et al. (2011).
• 38
  Ver ^{Anexo B}.
• 39
  Tabela B4 no ^{Anexo B}.
• 40
  A ambição por parte dos países cientificamente emergentes de realizarem vultosos investimentos num futuro próximo faz com que o apoio à colaboração internacional seja uma estratégia política prioritária nos países cientificamente mais tradicionais, uma vez que a criação de novas oportunidades de pesquisa colaborativa pode estimular o crescimento de suas atividades científicas internas (Adams e King 2009).
• 41
  Um dos parecerista chamou a atenção para implicações adicionais do sistema de incentivos: "As diferentes estratégias de publicação não se limitam apenas ao dilema quantidade vs. qualidade, elas estão também associadas aos incentivos de pesquisa domésticos ligados às agências de fomento à pesquisa. No Brasil, como verificado neste artigo, há incentivos conflitantes no que se refere aos rankings de revistas nacionais vs. internacionais. Esses incentivos, por exemplo, explicam as diferenças entre os economistas Americanos e Europeus como registrados por Frey e Eichenberger (1993) e Frey e Pom-merehne (1988). Essas estratégicas foram analisadas teoricamente por Faria (2005), o qual mostra que o esforço dos pesquisadores em satisfazer diferentes incentivos de publicação leva a um trade-off entre publicações domésticas e internacionais, i.e., uma clara "especialização" como é visível no caso brasileiro. Além disso, deve-se atentar para o fato de que há enormes incentivos financeiros para os economistas acadêmicos no Brasil despenderem seu esforço em consultorias (privadas ou públicas) que não necessariamente resultam em pesquisas e publicações acadêmicas (Faria 2002)."
• 42
  O autor denomina a estratégia de tais economistas (Samuelson-strategists) em referência à atuação prolífica e influente de Paul Samuelson, cuja vasta produção bibliográfica está fortemente concentrada nos principais periódicos da área de Economia.
• 43
  Ver Tabela B.2 no ^{Anexo B}.
• 44
  Ver ^{Anexo C}. Ressalta-se, como apontado por um dos pareceristas, que este teste de robustez está associado a um novo viés amostral. Ao utilizarmos a análise fatorial para a construção do "novo" IMDC, agora com a amostra reduzida, não garantimos que a nova extração dos fatores se mantenha robusta.
• 45
  Este resultado sugere que os pesquisadores que aparentemente se dedicam a publicar nos principais periódicos internacionais têm menos citações do que aqueles que aparentemente se dedicam ao Qualis. De acordo com um dos pareceristas, haveria pelo menos duas explicações possíveis que mereceriam ser testadas em estudos futuros. A primeira é que os pesquisadores que se dedicam aos periódicos internacionais lidariam com temas relevantes para a comunidade internacional de pesquisadores, enquanto os pesquisadores concentrados no mercado nacional (Qualis) dedicar-se-iam a temas que, do ponto de vista dos pesquisadores nacionais, seriam mais relevantes do que os pesquisados pelos primeiros pesquisadores. Daí o menor número de citações. A segunda possibilidade é que os pesquisadores dedicados a publicação em periódicos Qualis simplesmente ignorariam os trabalhos publicados nos principais periódicos.
• ♦
  Os autores agradecem ao excelente auxílio de pesquisa de Jack Yugo Yoshida e Diana Lúcia Gonzaga da Silva. Os comentários de Alexandre Porsse, Carlos Azzoni, Edmund Amann, Edson Domingues, Fábio Waltenberg, Fernando Perobelli, Flávio Vieira, Leonardo Mulls, Thiago Nascimento e dos participantes dos seminários do NEREUS e do IPE-USP foram importantes para o aprimoramento de versões anteriores do artigo. Finalmente, Eduardo A. Haddad e Jesús P. Mena-Chalco são gratos ao CNPq e à CAPES pelo auxílio financeiro

ANEXO A - Métricas baseadas na coautoria entre PPGs

Tabela A1
Métricas baseadas na coautoria entre PPGs (2004-2015)

PPG	Degree	Weighted Degree	Closeness Centrality	Betweenness Centrality	Clustering Coefficient	Weighted Clustering Coefficient
FGV-RJ	10	20	0.5432	0.0205	0.3556	0.3833
FGV-SP	9	32	0.5500	0.0083	0.4167	0.4805
FURG	4	11	0.4536	0.0010	0.6667	0.6970
INSPER	6	15	0.4783	0.0046	0.3333	0.3067
PUC-RJ	6	18	0.4783	0.0035	0.4667	0.4000
PUC-RS	13	54	0.5570	0.0329	0.2821	0.2948
PUC-SP	4	5	0.4536	0.0003	0.8333	0.8000
UCB	10	90	0.5301	0.0164	0.3556	0.5235
UEL	8	60	0.5238	0.0069	0.3929	0.5119
UEM	10	34	0.5301	0.0080	0.3556	0.3562
UERJ	9	32	0.5301	0.0054	0.4444	0.5195
UFAL	3	22	0.4112	0.0011	0.3333	0.0682
UFBA	5	11	0.4490	0.0062	0.3000	0.2500
UFC	5	32	0.4632	0.0080	0.1000	0.0391
UFC_ERural	7	27	0.5000	0.0102	0.2857	0.1543
UFES	5	9	0.4783	0.0008	0.5000	0.5278
UFF	14	24	0.5714	0.0289	0.3187	0.3333
UFG	16	46	0.5946	0.0340	0.3333	0.3522
UFJF	11	54	0.5714	0.0176	0.2545	0.3611
UFMA	0	0	0.0000	0.0000	0.0000	0.0000
UFMG	13	47	0.5570	0.0159	0.4615	0.4752
UFMT	7	12	0.5238	0.0111	0.2857	0.3194
UFPA	5	21	0.4835	0.0068	0.2000	0.1310
UFPB-JP	10	37	0.5238	0.0248	0.2444	0.3213
UFPE	11	63	0.5301	0.0213	0.2000	0.2032
UFPE-Agreste	6	39	0.4835	0.0031	0.4000	0.3282
UFPEL	5	20	0.4835	0.0013	0.6000	0.5625
UFPR	14	61	0.5946	0.0165	0.4615	0.4149
UFRGS	19	130	0.6377	0.0525	0.3567	0.3064
UFRJ	14	51	0.5867	0.0314	0.3956	0.3650
UFRN	8	13	0.4944	0.0080	0.2857	0.2857
UFSC	11	71	0.5570	0.0366	0.2909	0.3282
UFSCAR	13	78	0.5789	0.0372	0.2821	0.3782
UFSM	8	19	0.5238	0.0067	0.3571	0.2857
UFU	14	43	0.5867	0.0191	0.4505	0.4866
UFV	7	73	0.5000	0.0063	0.3810	0.4635
UFV_EAplicada	15	120	0.5867	0.0470	0.2000	0.2643
UNB	12	104	0.5641	0.0225	0.3485	0.4205
UNESP-ARAR	8	11	0.5301	0.0041	0.5714	0.5714
UNICAMP	17	67	0.6197	0.0473	0.3088	0.3759
UNICAMP_DEconomico	12	57	0.5500	0.0360	0.3030	0.3892
UNIOESTE	13	50	0.5641	0.0240	0.3590	0.3683
UNISINOS	5	43	0.5000	0.0008	0.6000	0.6860
USP	22	127	0.6667	0.0870	0.2727	0.2745
USP-ESALQ	15	67	0.6027	0.0348	0.3143	0.3763
USP-RP	19	48	0.6377	0.0680	0.2865	0.3438

• Centralidade de grau (degree): Esta métrica representa o número de conexões que cada PPG mantém com os outros 45 PPGs. Quanto maior o valor de centralidade de grau, mais conectado está o PPG.

  Para o período 2004-2015, o PPG em Economia da USP manteve o maior número de conexões, sendo que ao todo manteve coautoria com docentes de 22 outros PPGs.

• Centralidade de grau ponderado (weighted degree): Esta métrica é similar à centralidade de grau, mas considera também o número de trabalhos feitos em coautoria. Note que esta medida pode estar sobrestimada quando um trabalho for realizado por coautoria com docentes de mais de dois PPGs.

  Para o período 2004-2015, o PPG em Economia da UFRGS manteve o maior número de trabalhos feitos em coautoria, sendo que ao todo foram identificados 130 trabalhos feitos em colaboração com docentes de outros PPGs.

• Centralidade de proximidade (closeness centrality): Esta métrica representa a distância geodésica de um PPG aos outros. Em outros termos, este indicador representa o quão "próximo" ou o quão "rapidamente" a informação/colaboração pode ser espalhada de um dado PPG aos outros. Para fins de comparação, utilizamos o valor de centralidade normalizado (valores entre 0 e 1) pelo número de nós. Quanto maior o valor de centralidade de proximidade de um PPG, mais próximo será aos outros PPGs (em termos de coautoria). Para o período 2004-2015, o PPG da USP manteve-se mais "próximo" aos outros PPGs (0,6667).

• Centralidade de intermediação (betweenness centrality): Esta métrica quantifica a importância de um PPG considerando a quantidade de caminhos mais curtos que relacionam outros PPGs, e que passam através dele. Em outras palavras, este indicador representa a influência de um PPG sobre o fluxo de informação entre cada par de PPG supondo que a informação é transferida sempre pelo caminho mais curto entre os PPGs. Para fins de comparação, utilizamos o valor de centralidade normalizado (valores entre 0 e 1) pelo número de vértices.

  Para o período 2004-2015, o PPG da USP foi o mais "intermediário" dentre todos os PPGs (0,0870).

• Coeficiente de agrupamento (clustering coefficient): Esta métrica quantifica como os PPGs colaboradores de cada PPG colaboram. Um valor igual a 1 significa que todos os PPGs colaboradores de um PPG se relacionam em termos de coautoria (formando um subgrupo coeso).

  Para o período 2004-2015, a PUC-SP foi o PPG com maior coeficiente de agrupamento (0,8333). Os PPGs colaboradores da PUC-SP são UNIOESTE, UFV_EAplicada, UFSCAR, USP-RP, e UFV, associados ao cluster de Economia Agrícola.

• Coeficiente de agrupamento ponderado (weighted clustering coefficient): Esta métrica é similar ao coeficiente de agrupamento, mas considera também o número de trabalhos feitos em coautoria. Este indicador representa o quanto um PPG tende a se agrupar com seus vizinhos.

  Para o período 2004-2015, o PPG da PUC-SP se destacou nesta métrica (0,8000).

ANEXO B - Tipologia dos pesquisadores com melhor desempenho

Tabela B1
Tipologia dos pesquisadores com melhor desempenho no IMDC (Top 25)

Fator 2 – “Produção Qualis - Economia”	"Fator 1 – "Qualidade e internacionalização da produção"
	(+)				(-)
	Fator 3 – "Relevância do pesquisador na rede"				Fator 3 – "Relevância do pesquisador na rede"
		(+)	(-)		(+)	(-)
	(+)	PAULO KLINGER MONTEIRO (1)	MARCELO CUNHA MEDEIROS (7)		JOSE LUIS DA COSTA OREIRO (10)	LUIZ CARLOS BRESSER GONCALVES PEREIRA (11)
		BENJAMIM MIRANDA TABAK (3)	HELDER FERREIRA DE MENDONCA (12)*		MARCELO JOSE BRAGA (18)
		ALOISIO PESSOA DE ARAUJO (5)	MARCELO FERNANDES (13)		JOAO EUSTÁQUIO DE LIMA (19)
		JOAO VICTOR ISSLER (8)	MARILDA ANTONIA DE OLIVEIRA SOTOMAYOR (20)
		NAERCIO AQUINO MENEZES FILHO (9)*	LUIZ RENATO REGIS DE OLIVEIRA LIMA (23)*
		EDUARDO AMARAL HADDAD (17)	ERALDO SERGIO BARBOSA DA SILVA (25)*
		ENLINSON HENRIQUE CARVALHO DE MATTOS (22)*
		JOAQUIM JOSE MARTINS GUILHOTO (24)
	(-)	MARCELO JOVITA MOREIRA (4)	RODRIGO REIS SOARES (2)
		BERNARDO DE VASCONCELLOS GUIMARAES (6)	BRAZ MINISTERIO DE CAMARGO (14)		-	-
		CARLOS EUGENIO ELLERY LUSTOSA DA COSTA (21)*	ANDRES MAURICIO CARVAJAL ESCOBAR (15)
			GIL RIELLA (16)*

• OBS. Fator 4 – "Senioridade e outras produções bibliográficas" - acima da média / *abaixo da média

Tabela B2
Tipologia dos pesquisadores com melhor desempenho no Fator 1 – "Qualidade e internacionalização da produção" (Top 25)

Fator 2 – "Produção Qualis - Economia"	Fator 1 – "Qualidade e internacionalização da produção"
	(+)				(-)
	Fator 3 – "Relevância do pesquisador na rede"				Fator 3 – "Relevância do pesquisador na rede"
		(+)	(-)		(+)	(-)
	(+)	PAULO KLINGER MONTEIRO (3)	MARCELO CUNHA MEDEIROS (9)
		ALOISIO PESSOA DE ARAUJO (5)	MARCELO FERNANDES (12)
		JOAO VICTOR ISSLER (11)	MARILDA ANTONIA DE OLIVEIRA SOTOMAYOR (15)
		NAERCIO AQUINO MENEZES FILHO (21)*	LUIZ RENATO REGIS DE OLIVEIRA LIMA (16)*
			RICARDO DE OLIVEIRA CAVALCANTI (19)*
			LUIS HENRIQUE BERTOLINO BRAIDO (22)*
			FABIO KANCZUK (25)*
	(-)	MARCELO JOVITA MOREIRA (1)	RODRIGO REIS SOARES (2)
		BERNARDO DE VASCONCELLOS GUIMARAES (4)	BRAZ MINISTERIO DE CAMARGO (6)
		CARLOS EUGENIO ELLERY LUSTOSA DA COSTA (10)*	GIL RIELLA (7)*
		SERGIO PINHEIRO FIRPO (17)*	ANDRES MAURICIO CARVAJAL ESCOBAR (8)
		HUMBERTO LUIZ ATAIDE MOREIRA (18)*	EMANUEL AUGUSTO RODRIGUES ORNELAS (13)*		-	-
		JOAO MANOEL PINHO DE MELLO (20)	CARLOS VIANA DE CARVALHO (14)*
			AUREO NILO DE PAULA NETO (23)*
			CLAUDIO ABRAMOVAY FERRAZ DO AMARAL (24)*

• OBS. Fator 4 – "Senioridade e outras produções bibliográficas" - acima da média / *abaixo da média

Tabela B3
Tipologia dos pesquisadores com melhor desempenho no Fator 2 – "Produção Qualis – Economia" (Top 25)

Fator 2 – " Produção Qualis - Economia"	Fator 1 – "Qualidade e internacionalização da produção"
	(+)				(-)
	Fator 3 –"Relevância do pesquisador na rede"				Fator 3 – "Relevância do pesquisador na rede"
		(+)	(-)		(+)	(-)
	(+)	BENJAMIM MIRANDA TABAK (2)	HELDER FERREIRA DE MENDONCA (1)*		GILBERTO TADEU LIMA (6)*	LUIZ CARLOS BRESSER G. PEREIRA (11)
		DANIEL OLIVEIRA CAJUEIRO (12)	ERALDO SERGIO BARBOSA DA SILVA (3)*		JOSE LUIS DA COSTA OREIRO (7)	GABRIEL CALDAS MONTES (11)*
		ENLINSON HENRIQUE CARVALHO DE MATTOS (13)*	MARCELO RESENDE DE MENDONCA E SILVA (4)*		TITO BELCHIOR SILVA MOREIRA (8)	RODOLFO HOFFMANN (25)
		FABIO AUGUSTO REIS GOMES (16)*	MAURO BOIANOVSKY (9)		GAUSS MOUTINHO CORDEIRO (10)
		EDUARDO AMARAL HADDAD (18)	JOSE GABRIEL PORCILE MEIRELLES (14)*		FERNANDO SALGUEIRO PEROBELLI (19)*
		CARLOS ROBERTO AZZONI (22)	DAVID DEQUECH FILHO (15)*		PAULO ROBERTO AMORIM LOUREIRO (21)*
			VLADIMIR KUHL TELES (17)*		ROBERTO MEURER (23)*
			NEWTON CARNEIRO AFFONSO DA COSTA JUNIOR (20)		ANDRE MOREIRA CUNHA (24)
	(-)				-	-

• OBS. Fator 4 – "Senioridade e outras produções bibliográficas" - acima da média / *abaixo da média

Tabela B4
Tipologia dos pesquisadores com melhor desempenho no Fator 3 – "Relevância do Pesquisador na Rede" (top 25)

Fator 2 – "Produção Qualis - Economia"	" Fator 1 – " Qualidade e internacionalização da produção"
	(+)				(-)
	Fator 3 – "Relevância do pesquisador na rede"				Fator 3 – "Relevância do pesquisador na rede"
	(+)		(-)		(+)	(-)
	(+)	JOAQUIM JOSE MARTINS GUILHOTO (4)			JOAO EUSTÁQUIO DE LIMA (1)
		EDUARDO AMARAL HADDAD (7)			MARCELO JOSE BRAGA (2)
		NAERCIO AQUINO MENEZES FILHO (14)*			JOSE LUIS DA COSTA OREIRO (8)
		FREDERICO GONZAGA JAYME JR (17)			ERIK ALENCAR DE FIGUEREDO (19)*
					EDUARDO SIMOES DE ALMEIDA (21)*
					MARCELO SAVINO PORTUGAL (24)*
	(–)				ANTONIO CARVALHO CAMPOS (5)*
					MARILIA FERNANDES MACIEL GOMES (6)
					UMBERTO ANTONIO SESSO FILHO (9)*
					VIVIANI SILVA LIRIO (10)
					ROSSANA LOTT RODRIGUES (11)
					PATRICIA VERONICA PINHEIRO SALES LIMA (12)
					WILSON DA CRUZ VIEIRA (13)*
					ALEXANDRE BRAGANCA COELHO (15)*
					JOSE LUIZ PARRE (16)
					ELVANIO COSTA DE SOUZA (18)*
					RICARDO LUIS LOPES (20)*
					MARCIA REGINA GABARDO DA CAMARA (22)
					ANTONIO CARLOS MORETTO (23)
					MIRIAN RUMENOS PIEDADE BACCHI (25)*

• OBS. Fator 4 – "Senioridade e outras produções bibliográficas" - acima da média / *abaixo da média

Tabela B5
Tipologia dos pesquisadores com melhor desempenho no Fator 4 – "Senioridade e outras Produções Bibliográficas" (Top 25)

Fator 2 – "Produção Qualis - Economia"	"Fator 1 – "Qualidade e internacionalização da produção"
	(+)				(-)
	Fator 3 – "Relevância do pesquisador na rede"				Fator 3 – "Relevância do pesquisador na rede"
		(+)	(-)		(+)	(-)
	(+)				LUIZ FERNANDO RODRIGUES DE PAULA (8)	LUIZ CARLOS BRESSER GONCALVES PEREIRA (3)
					FRANCISCO DE ASSIS COSTA (9)	ROSA MARIA MARQUES (6)
					ERLY CARDOSO TEIXEIRA (12)	LIA HASENCLEVER (15)
					YONY DE SA BARRETO SAMPAIO (14)	RODOLFO HOFFMANN (23)
					ARMANDO JOAO DALLA COSTA (16)
					JANDIR FERRERA DE LIMA (20)
	(–)	ANTONIO MARCIO BUAINAIN (2)	MARCIO POCHMANN (1)		PERY FRANCISCO ASSIS SHIKIDA (22)	LADISLAS DOWBOR (4)
		RONALDO SEROA DA MOTTA (21)			ADEMAR RIBEIRO ROMEIRO (24)	JOSE EDUARDO CASSIOLATO (5)
					SILVIO ANTONIO FERRAZ CÁRIO (25)	LUIZ EDUARDO SIMOES DE SOUZA (7)
						JOSE DARI KREIN (10)
						ORIANA TRINDADE DE ALMEIDA (11)
						WALTER BELIK (13)
						ANTONIO CESAR ORTEGA (17)
						ALEXIS TORIBIO DANTAS (18)
						WILSON CANO (19)

• OBS. Fator 4 – "Senioridade e outras produções bibliográficas" - acima da média /* abaixo da média

Anexo C - Análise de Robustez

Tabela C1
Cargas fatoriais dos fatores rotacionados com amostra reduzida

Variável	Fator 1	Fator 2	Fator 3	Fator 4
Pontos_CLm	0,6923	0,6957	0,1255	0,0008
Pontos_CLh	0,9725	0,1869	0,0046	-0,0312
Pontos_CLm_int	0,7714	0,5951	0,0162	-0,0378
Pontos_CLh_int	0,9767	0,1505	-0,0172	-0,0387
PPP_Qualis	0,5496	0,1730	-0,0198	-0,1668
Artigos_CL	0,3312	0,8447	0,2458	0,0528
Artigos_CL_int	0,4495	0,8346	0,0533	-0,0073
Quant_Qualis_tot	-0,0186	0,5929	0,5893	0,3367
Pontos_Qualis_tot	0,1646	0,7449	0,5001	0,2192
Collaborationrank_tot	0,0555	0,2362	0,8049	0,0776
Degree_tot	-0,0278	0,1200	0,9133	0,0320
Betweennesscentrality_tot	0,0160	0,1465	0,7398	0,0301
Livro_tot	-0,0421	-0,0058	0,0132	0,7698
Capitulodelivro_tot	-0,0722	0,0996	0,1223	0,8008
Senioridadeefetiva_2015	-0,0946	0,3447	0,2566	0,5336
% da variância	0,3000	0,2857	0,2300	0,1422
% da variância acum.	0,3000	0,5857	0,8157	0,9579

Tabela C2
Diferencial de influência e colaboração entre os "tipos" de pesquisadores com amostra reduzida

Dependent variable
	IH_Scopus	Coauthors	Citations
P_2	-3.4848***	-12.9242***	-252.1667***
	(0,8381)	(4,5613)	(51,9373)
P_3	-2.4394***	-10.5152**	-150.4848***
	(0,9749)	(5,3055)	(60,4114)
P_4	-3.5196***	-19.2157***	-237.4902***
	(0,8806)	(4,7922)	(54,5665)
P_5	-3.2778***	-3.4444	-193.3333***
	(1,0298)	(5,6046)	(63,8175)
P_6	-4.833***	-17.1111***	-287.7778***
	(1,0298)	(5,6046)	(63,8175)
P_7	-3.8810***	-17.6191***	-245.2381***
	(1,1107)	(6,0448)	(68,8302)
P_8	-5.3939***	-25.1061***	-286.8030***
	(0,8381)	(4,5613)	(51,9373)
P_9	-3.7754***	-7.0725	-174.0580***
	(0,8317)	(4,5261)	(51,5373)
P_10	-4.8067***	-15.8133***	-277.2267***
	(0,8202)	(4,4636)	(50,8256)
P_11	-4.9267***	-21.9333***	-276.9687***
	(0,8202)	(4,4636)	(50,8256)
P_12	-5.6667***	-22.8070***	-292.1404***
	(0,7733)	(4,2087)	(47,9231)
P_13	-5.8939***	-17.6061***	-297.4545***
	(0,7873)	(4,2846)	(48,7866)
P_14	-6.1000***	-20.8800***	-299.7067***
	(0,7261)	(3,9517)	(44,9967)
P_15	-5.7193***	-22.5702***	-273.6404***
	(0,7733)	(4,2087)	(47,9231)
P_16	-6.0045***	-22.2117***	-286.3288***
	(0,7268)	(3,9554)	(45,0386)
Constant	7.1667***	28.3333***	307.6667***
	(0,6742)	(3,6691)	(41,7784)
Observations	440	440	440
R-squared	0,2471	0,1777	0,1407
Adj R-squared	0,2205	0,1486	0,1103

• Erros-padrão em parênteses
• ^*
  p < 0.10,
• ^**
  p < 0.05,
• ^***
  p < 0.01

Referências

• Abbott, A., Cyranoski, D., Jones, N., Maher, B., Schiermeier, Q., e R. Van Noorden. 2010. "Metrics: Do Metrics Matter?" Nature News 465 (7300): 860-862.
• Académie Des Sciences. 2011. "Du Bon Usage De La Bibliométrie Pour L'évaluation Individuelle Des Cher-cheurs." Institut De France.
• Adams, J., e King, C. 2009. "Global Research Report: Brazil." Leeds, UK: Thomson & Reuters.
• Alberts, B. 2013. "Impact Factor Distortions." Science 340 (6134): 787.
• Akazaki, J.M., Bueno, L.R., e Mena-Chalco, J.P. 2016. "Caracterização De Pesquisa- Dores Utilizando Indicadores Bibliométricos De Senioridade E Inatividade: Um Estudo De Caso Dos Bolsistas De Produtividade 1a-Cnpq." 5° Encontro Brasileiro De Bibliometria E Cientometria. São Paulo.
• Autran, M., Borges, M. M., e Mena-Chalco, J. P. 2015. "A Coautoria Acadêmica Interprogramas Da Pós-Graduação Em Ciência Da Informação: Uma Análise Baseada Em Métricas Em Grafos." Xvi Encontro Nacional De Pesquisa Em Ciência Da Informação. Paraíba.
• Azzoni, C. R. 1998. "Clássicos Da Literatura Econômica Brasileira." Economia Aplicada 2 (4): 771-780.
• Azzoni, C. R. 2000. "Desempenho Das Revistas E Dos Departamentos De Economia Brasileiros Segundo Publicações E Citações Recebidas No Brasil." Economia Aplicada 4 (4): 786.
• Barnett, A. H., Ault, R. W., e Kaserman, D. L. 1988. "The Rising Incidence Of Co-Authorship In Economics: Further Evidence." The Review Of Economics And Statistics: 539-543.
• Berliant, M., e Fujita, M. 2008. "Knowledge Creation As A Square Dance On The Hilbert Cube." International Economic Review 49 (4): 1251-1295.
• Berliant, M., e Fujita, M. 2012. "Culture And Diversity In Knowledge Creation." Regional Science And Urban Economics 42 (4): 648-662.
• Bianchi, A. M. 2003. "O Sistema De Avaliação Da Capes: Impressões E Palpites." Acesso em 15 de Jun. 2016. http://www.anpec.org.br/capes/sistemaaval_capes.pdf
  » http://www.anpec.org.br/capes/sistemaaval_capes.pdf
• Cainelli, G., Maggioni, M. A., Uberti, T. T., e De Felice, A. 2015. "The Strength Of Strong Ties: How Co-Authorship Affect Productivity Of Academic Economists?" Scientometrics 102: 673-699.
• Capes. 2013. Documento De Área. Área De Avaliação: Economia. Acesso em 15 de Jun. 2016. http://www.avaliacaotrienal2013.capes.gov.br/documento-de-area-e-comissao
  » http://www.avaliacaotrienal2013.capes.gov.br/documento-de-area-e-comissao
• Capes. Relatório De Avaliação. Avaliação 2010-2012. Trienal 2013. Área De Avaliação: Economia. Acesso em 15 de Jun. 2016. http://avaliacaotrienal2013.capes.gov.br/relatorios-de-avaliacao
  » http://avaliacaotrienal2013.capes.gov.br/relatorios-de-avaliacao
• Cnpq - Conselho Nacional De Desenvolvimento Científico E Tecnológico. Plataforma Lattes. Brasília. Acesso em Out. 2012. http://www.lattes.cnpq.br
  » http://www.lattes.cnpq.br
• Combes, P., e Linnemer, L. 2003. "Where Are The Economists Who Publish? Publication Concentration And Rankings In Europe Based On Cumulative Publications."Journal Of The European Economic Association 1 (6): 1250-1308.
• Combes, P., e Linnemer, L. 2010. "Inferring Missing Citations: A Quantitative Multi-Criteria Ranking Of All Journals In Economics." Groupement De Recherche En Economie Quantitative D'aix Marseille (Greqamj), Document De Travail 2010: 28.
• Cronin, B., e Sugimoto, C. R. (Ed.). 2015. "Scholarly Metrics Under The Microscope: From Citation Analysis To Academic Auditing." New Jersey: Information Today.
• Durieux, V., e Gevenois, P. A. 2010. "Bibliometric Indicators: Quality Measurements Of Scientific Publication." Radiology 255 (2): 342-351.
• Faria, J. R. 2000. "The Research Output Of Academic Economists In Brazil." Economia Aplicada 4 (1): 95-111.
• Faria, J. R. 2002. "Scientific, Business And Political Networks In Academia." Research In Economics 56: 187-198.
• Faria, J. R. 2003. "What Type Of Economist Are You: R-Strategist Or K-Strategist?" Journal Of Economic Studies 30 (2): 144-154.
• Faria, J. R. 2004. "Some Reflections On Incentives For Publication: The Case Of The Capes' List Of Economic Journals." Economia Aplicada 8 (4): 791-816.
• Faria, J. R. 2005. "Is There A Trade-Off Between Domestic And International Publications?" The Journal of Socio-Economics 34: 269-280.
• Faria, J. R. 2010. "Most Cited Articles Published In Brazilian Journals Of Economics: Google Scholar Rankings." Economia 11 (1): 1-25.
• Faria, J. R., Araujo Jr, A. F., e Shikida, C. D. 2007. "The Citation Pattern Of Brazilian Economists." Estudos Econômicos 37 (1): 151-166.
• Faria, J. R., Araujo Jr, A. F., e Shikida, C. D. 2007. "The International Research Of Academic Economists In Brazil: 1999-2006." Economia Aplicada 11 (3): 387-406.
• Faria, J. R., Mixon Jr, F. G., e Upadhyaya, K. P. 2016. "Human Capital, Collegiality And Stardom In Economics: Empirical Analysis." Scientometrics 106: 917-943.
• Frey, B. S., e Eichenberger, R. 1993. "American And European Economics And Economists." Journal Of Economic Perspectives 7 (4): 185-193.
• Frey, B. S., e Pommerehne, W. W. 1988. "The American Domination Among Eminent Economists." Scientometrics 14: 97-110.
• Glänzel, W., e Moed, H. F. 2002. "Journal Impact Measures In Bibliometric Research." Scientometrics 53 (2): 171-193.
• Glänzel, W., e Schubert, A. 2004. "Analyzing Scientific Networks Through Co-Autorship." In H. F. Moed et al. (Eds.). Handbook Of Quantitative Science And Technology Research. Springer.
• Guimarães, B. 2011. "Qualis As A Measuring Stick For Research Output In Economics." Brazilian Review of Econometrics 31 (1): 03-18.
• Haddad, P. R. 1989. "Medidas De Localização E De Especialização." In P. R. Haddad (Org.). Economia Regional: Teorias E Métodos De Análise. Fortaleza: Banco Do Nordeste.
• Haddad, E. A., Barufi, A. M. B, e Costa, S. M. A. 2011. "Regional Integration In Colombia: A Spatial Cge Application." Scienze Regionali 10 (2): 5-30.
• Haddad, E.A., Mena-Chalco, J. P., e Sidone, O. J. G. 2015. "Scholarly Collaboration In Regional Science In Developing Countries: The Case Of The Brazilian Real Network." International Regional Science Review.
• Hicks, D. et al. "Bibliometrics: The Leiden Manifesto For Research Metrics." Nature 520: 429-431.
• Hilbe, J. M. 2011. "Negative Binomial Regression." Cambridge: Cambridge University Press.
• Hirsch, J. E. 2005. "An Index To Quantify An Individual's Scientific Research Output." Proceedings of The National Academy Of Sciences Of The United States Of America 102 (46): 16569-16572.
• Hollis, A. 2001. "Co-Authorship And The Output Of Academic Economists." Labour Economics 8 (4): 503-530.
• Horta, J. S. B., Moraes, M. C. M. 2005. "O Sistema Capes De Avaliação Da Pós-Graduação: Da Área De Educação À Grande Área De Ciências Humanas." Revista Brasileira De Educação 30 (4): 95-116.
• Issler, J. V., e Ferreira, R. C. 2004. "Avaliando Pesquisadores E Departamentos De Economia No Brasil A Partir De Citações Internacionais."
• Issler, J. V., e Pillar, T. C. A. 2002. "Mensurando A Produção Científica Em Economia De Pesquisadores E Departamentos Brasileiros." Ensaios Econômicos Da Epge 450.
• Katz, J. S., e Martin, B. R. 1997. "What Is Research Collaboration?" Research Policy 26 (1): 1-18.
• Kalaitzidakis, P., Mamuneas, T. P., e Stengos, T. 2003. "Rankings Of Academic Journals And Institutions In Economics." Journal Of The European Economic Association 1 (6): 1346-1366.
• Kaur, J., Radicchi, F., e Menczer, F. 2013. "Universality Of Scholarly Impact Metrics." Journal Of Informetrics 7 (4): 924-932.
• Kodrzycki, Y. K., e Yu, P. 2006. "New Approaches To Ranking Economics Journals." The Be Journal Of Economic Analysis & Policy 5 (1).
• Laband, D. N., e Piette, M. J. 1994. "The Relative Impacts Of Economics Journals: 1970-1990." Journal Of Economic Literature 32 (2): 640-666.
• Laband, D. N., e Tollison, R. D. 2000. "Intellectual Collaboration." Journal Of Political Economy 108 (3): 632-662.
• Lane, J. 2010. "Let's Make Science Metrics More Scientific." Nature 464 (7288): 488-489.
• Levin, S.G., e Stephan, P.E. 1991. "Research Productivity Over The Life Cycle: Evidence For Academic Scientists." American Economic Review 81 (1): 114-132.
• Liu, X., Bollen, J., Nelson, M., e De Sompel, H. V. 2005. "Co-Authorship Networks In The Digital Library Research Community." Information Processing And Management 41 (6): 1462-1480.
• Martin, B. R. 1996. "The Use Of Multiple Indicators In The Assessment Of Basic Research." Scientometrics 36 (3): 343-362.
• Maske, K. L., Durden, G. C., e Gaynor, P. E. 2003. "Determinants Of Scholarly Productivity Among Male And Female Economists." Economic Inquiry 41 (4): 555-564.
• Mcdowell, J. M., e Melvin, M. 1983. "The Determinants Of Co-Authorship: An Analysis Of The Economics Literature." The Review Of Economics And Statistics: 155-160.
• Medoff, M. H. 2003. "Collaboration And The Quality Of Economics Research." Labour Economics 10 (5): 597-608.
• Moravcsik, M. J. 1986. "The Classification Of Science And The Science Of Classification." Scientometrics 10 (3-4): 179-197.
• Mena-Chalco, J. P., Junior, C., e Marcondes, R. 2009. "Scriptlattes: An Open-Source Knowledge Extraction System From The Lattes Platform." Journal Of The Brazilian Computer Society 15 (4): 31-39.
• Mena-Chalco, J. P., e Júnior, C. 2013. "Prospecção De Dados Acadêmicos De Currículos Lattes Através De Scriptlattes." In M. C. P. I. Hayashi, J. Leta (Org.). Bibliometria E Cientometria: Reflexões Teóricas E Interfaces. São Carlos: Pedro & João Editores.
• Moed, H. F., Burger, W. J. M., Frankfort, J. G., e Van Raan, A. F. 1985. "The Use Of Bibliometric Data For The Measurement Of University Research Performance." Research Policy 14 (3):131-149.
• Moed, H. F., e Halevi, G. 2015. "Multidimensional Assessment Of Scholarly Research Impact." Journal Of The Association For Information Science And Technology 66 (10): 1988-2002.
• Nederhof, A J., e Van Raan, A. F.J. 1993. "A Bibliometric Analysis Of Six Economics Research Groups: A Comparison With Peer Review." Research Policy 22 (4): 353-368.
• Newman, M. E. J. 2001. "Who Is The Best Connected Scientist? A Study Of Scientific Coauthorship Networks." Phys. Rev. E 64 (016131).
• Novaes, W. 2008. "A Pesquisa Em Economia No Brasil: Uma Avaliação Empírica Dos Conflitos Entre Quantidade E Qualidade." Revista Brasileira De Economia 62 (4): 467-495.
• Oster, S.M., e Hamermesh, D.S. 1998. "Aging And Productivity Among Economists." Review Of Economics And Statistics 80: 154-156.
• Pan, R. K., Kaski, K., e Fortunato, S. 2012. "World Citation And Collaboration Networks: Uncovering The Role Of Geography In Science." Scientific Reports 2: 902.
• Reinach, F. 2013. "Darwin E A Prática Da 'Salami Science'." Revista De Ciências Médicas E Biológicas 12 (4): 402-403.
• Ritzberger, K. 2008. "A Ranking Of Journals In Economics And Related Fields." German Economic Review 9 (4): 402-430.
• RS - Royal Society. 2011. "Knowledge, Networks And Nations: Global Scientific Collaboration In The 21st Century." London: The Rs.
• Sahel, José-Alain. 2011. "Quality Versus Quantity: Assessing Individual Research Performance." Science Translational Medicine 3 (84).
• Scherngell, T., e Barber, M. J. 2011. "Distinct Spatial Characteristics Of Industrial And Public Research Collaborations: Evidence From The Fifth Eu Framework Programme." The Annals Of Regional Science 46 (2): 247-266.
• Scherngell, T.; e Hu, Y. 2011. "Collaborative Knowledge Production In China: Regional Evidence From A Gravity Model Approach." Regional Studies 45 (6): 755-772.
• Sidone, Otávio José Guerci. 2013. "Análise Espacial Da Produção E Das Redes De Colaboração Científica No Brasil: 1990-2010." Tese De Doutorado, Universidade De São Paulo.
• Sidone, O. J. G., Haddad, E. A., e Mena-Chalco, J. P. 2016. "Scholarly Publication And Collaboration In Brazil: The Role Of Geography." Journal Of The Association For Information Science And Technology.
• Spinak, E. 1998. "Indicadores Cienciométricos." Ciência Da Informação 27 (2): 141-148.
• Sutter, M., e Kocher, M. 2004. "Patterns Of Co-Authorship Among Economics Departments In The Usa." Applied Economics 36 (4): 327-333.
• Vanz, S. A. S. 2009. "As Redes De Colaboração Científica No Brasil (2004-2006)." Teses De Doutorado, Universidade Federal Do Rio Grande Do Sul.
• Winkelmann, R. 2008. "Econometric Analysis Of Count Data." Berlim: Springer Science & Business Media.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2017

Histórico

• Recebido
  19 Jul 2016
• Aceito
  26 Jun 2017