A pesquisa em economia no Brasil: uma avaliação empírica dos conflitos entre quantidade e qualidade

A pesquisa em economia no Brasil: uma avaliação empírica dos conflitos entre quantidade e qualidade^*

Walter Novaes

Departamento de Economia, Pontifícia Universidade Católica (PUC-Rio). Rua Marquês de São Vicente, 225, Rio de Janeiro, RJ, 22453-900, Brasil. Telefone (21) 35271078. E-mail: [e-mail]

RESUMO

Como em várias outras atividades, a pesquisa em Economia internaliza um conflito entre qualidade e quantidade. Para avaliar tal conflito, este artigo documenta as publicações de 94 pesquisadores do CNPq e 1.209 pesquisadores de 54 centros americanos de referência em Economia (44 ortodoxos e 10 heterodoxos). Os dados mostram que, entre 1999 e 2004, a média de publicações internacionais dos pesquisadores do CNPq é extremamente pequena, quando comparada com a dos americanos com mesma orientação metodológica. Ainda assim, o número médio total das publicações dos pesquisadores no Brasil é estatisticamente maior, sugerindo um sacrifício de qualidade para aumentar o número de publicações.

Palavras-chave: Qualidade versus Quantidade de Pesquisa; Pesquisa em Economia no Brasil; Publicações no Brasil e no Exterior.

Códigos JEL: A11, D29, I29.

ABSTRACT

There is trade-off between quantity and quality in the process of doing research in Economics. To evaluate this trade-off, I document the publications of 94 researchers sponsored by the Brazilian governmental agency that provides funding for research (CNPq) and of 1209 researchers of 54 Economics departments in the U.S. The data show that, from 1999 to 2004, the average international publication of the CNPq researchers is very low. And yet, the average publication of these researchers is larger than the average publication of their U.S. peers, when the articles published in Brazil are taken into account. The results suggest that the CNPq researchers sacrifice quality to increase the number of publications.

1. INTRODUÇÃO

No Brasil, professores de Economia são freqüentemente requisitados por órgãos de comunicação para falar sobre inflação, juros, crescimento e, mais recentemente, crime. Tais discussões são em geral marcadas por citações de estatísticas que, possivelmente, reforçam a percepção de que economistas superestimam aspectos quantitativos, em detrimento de importantes dimensões qualitativas. Realmente, uma grande parte dos pesquisadores em Economia parece buscar formas de quantificar efeitos, o que pode ser interpretado como uma tentativa de ignorar dimensões qualitativas dos problemas. Ainda assim, pelo menos um dos trabalhos mais influentes na teoria de contratos, Holmstrom e Milgrom (1991), ganhou fama justamente por identificar dificuldades e soluções para o desenho de incentivos, em situações que envolvam tarefas de difícil mensuração como, por exemplo, prover qualidade.

Uma fábula envolvendo economistas talvez ajude a entender a contribuição de Holmstrom e Milgrom (1991). A fábula começa com um fato comum na vida acadêmica americana. Um recém doutor ocupa uma posição de professor assistente e contrata um construtor para reformar o apartamento adquirido, quando da chegada à nova cidade. Assim como no Brasil, as empresas americanas de construção freqüentemente descumprem prazos. Conhecendo a reputação, o professor assistente propõe ao construtor um contrato de remuneração com penalidades crescentes com o atraso da entrega; com tal contrato, pensa o professor, os interesses estariam alinhados: ambos lucrariam, caso a obra terminasse dentro do prazo previsto. De fato, a obra termina dentro do prazo. Entretanto, após seis meses, vazamentos começam a aparecer, bem como problemas na parte elétrica.

Holmstrom e Milgrom (1991) explicam o erro do jovem professor assistente. Durante a obra, o construtor se preocupa com duas tarefas: completar as etapas dentro do cronograma e garantir qualidade na execução de cada etapa. Essas duas tarefas são potencialmente conflitantes, pois uma maior atenção na qualidade do acabamento pode aumentar a probabilidade de atraso. Ao desenhar um contrato de remuneração que ignora os potenciais conflitos entre prazo de execução e qualidade, o jovem professor assistente induziu um viés contrário à qualidade de execução. Para prover incentivos adequados à qualidade do trabalho, o contrato de remuneração não poderia ser muito sensível ao cumprimento da tarefa observável, isto é, o tempo de execução. Reza então a lenda que, ao ouvir a história, os colegas do professor assistente teriam perguntado se ele não tinha lido Holmstrom e Milgrom (1991).

Obviamente, os conflitos entre quantidade e qualidade não são exclusivos do setor de construção. Eles também são relevantes para o esquema de financiamento à pesquisa implementado pelo governo brasileiro. Por exemplo, entre 2002 e 2006, o CNPq aumentou em 95% o gasto em bolsas de produtividade de pesquisa, exigindo, em contrapartida, uma maior transparência na avaliação dos pesquisadores. Concomitantemente, a CAPES mantém um programa de avaliação de programas de pós-graduação, que determina recursos para bolsas de estudo e gastos de capital. Tanto o CNPq como a CAPES concordam que as avaliações devem levar em conta aspectos quantitativos e qualitativos.

Ora, a dimensão quantitativa da pesquisa é facilmente medida; basta contar o número de publicações de cada pesquisador. Mas, medir qualidade de pesquisa não é uma tarefa trivial. Na CAPES, a medida de qualidade é dada pela classificação da produção acadêmica em tipos de publicação que recebem pesos distintos; quanto maior for o peso da publicação, maior é a suposta qualidade. Nesse esquema, pesos semelhantes para publicações em periódicos de prestígios acadêmicos desiguais causam o mesmo impacto do contrato de remuneração do nosso exemplo; os incentivos serão enviesados para quantidade, em detrimento da qualidade. Ciente dos riscos envolvidos, a CAPES, através de seus comitês assessores, faz consultas periódicas à comunidade acadêmica para decidir os pesos de uma lista de periódicos conhecida como Qualis.

A despeito dos esforços da CAPES, os pesos do Qualis são alvos de um intenso debate entre os pesquisadores de Economia. Issler e Pillar (2002) argumentam que a dispersão de pesos é demasiadamente baixa, o que - segundo eles - explicaria o pequeno impacto internacional da pesquisa em Economia no Brasil. Nessa primeira visão, os incentivos do Qualis seriam enviesados para quantidade de publicações, em detrimento de qualidade. Por outro lado, um grande número de pesquisadores critica propostas de dar pesos muito mais altos para os periódicos com maior impacto internacional. Para esses, uma boa parte da variação do impacto dos periódicos refletiria um viés contra propostas metodológicas contrárias ao "mainstream" da profissão ou contra tópicos de baixo interesse internacional, mas de alta relevância para o Brasil. Nessa segunda visão, uma maior dispersão de pesos inviabilizaria projetos alternativos de pesquisa, sem necessariamente aumentar a qualidade da produção científica em Economia no Brasil.

O objetivo deste artigo é contrastar as duas visões em voga sobre o Qualis da Economia, através de um experimento que seja tão imune quanto possível ao uso de pesos para periódicos internacionais e nacionais. Para tanto, será feita uma comparação das publicações feitas entre 1999 e 2004 por pesquisadores de centros de referência nos Estados Unidos com as de um grupo de pesquisadores no Brasil que, em tese, respondem aos incentivos ditados pelos mecanismos de avaliação do CNPq: os pesquisadores com bolsas de produtividade de pesquisa do CNPq. O estudo compara a produção de 57 pesquisadores ortodoxos do CNPq com a de 1.123 pesquisadores ortodoxos nos Estados Unidos, além de comparar a produção de 37 pesquisadores heterodoxos do CNPq com a de 86 heterodoxos de centros americanos.

Como esperado, os dados indicam uma clara separação entre os periódicos internacionais nos quais ortodoxos e heterodoxos publicam seus trabalhos. Mas, talvez surpreendentemente, há uma convergência de periódicos internacionais, quando comparamos os pesquisadores dos dois países com mesma abordagem metodológica. Por exemplo, entre os ortodoxos dos centros americanos, 83,8% das publicações encontram-se nos 50 primeiros da lista de 144 periódicos internacionais analisados por Barret et alii (1998). Para os ortodoxos brasileiros, 61,3% dos seus artigos internacionais também estão concentrados nesses 50 periódicos. Em contraste, a publicação dos heterodoxos nos EUA está concentrada nos últimos 44 periódicos da lista de Barret, Olia & Bailey, 51,9%, enquanto que 78,6% dos artigos internacionais dos heterodoxos no Brasil também estão concentrados nos periódicos de 101 a 144.

Entretanto, os dados revelam uma diferença marcante. A vasta maioria das publicações dos pesquisadores no Brasil está em periódicos nacionais: 79,1% para os ortodoxos e 92,6% para os heterodoxos. Esse resultado sugere que a fraca inserção dos pesquisadores brasileiros no mundo acadêmico internacional não é resultado de um viés contra abordagens metodológicas alternativas; a ausência vale tanto para os heterodoxos como para os ortodoxos.

Eliminada a questão metodológica, uma possível explicação para o baixo nível de publicação internacional dos pesquisadores do CNPq seria a falta de interesse dos periódicos internacionais por assuntos brasileiros, sejam eles ortodoxos ou heterodoxos. Alternativamente, pode-se argumentar - na linha de Faria (2000) e Issler e Pillar (2002) - que os mecanismos de incentivo implementados pela CAPES e pelo CNPq privilegiam quantidade em detrimento de qualidade, que, nesses dois artigos, é basicamente sinônimo de publicação internacional.

A comparação da publicação Brasil-EUA permite um teste bastante simples dos determinantes da baixa publicação internacional da pesquisa em Economia feita no Brasil. Sob a hipótese de diversidade de interesses, o esforço por trabalho publicado pelos pesquisadores do CNPq deveria ser tão grande quanto o esforço por trabalho publicado pelos pesquisadores nos EUA. Conseqüentemente, a publicação média dos brasileiros (incluindo as publicações internacionais e nacionais) não deveria ser maior do que a publicação média dos centros de referência americanos. Em contraste, a hipótese de viés de quantidade prevê que os pesquisadores no Brasil se concentram nos periódicos nacionais para garantir um aumento de publicação. E, se o viés de quantidade for suficientemente forte, a publicação média dos pesquisadores no Brasil pode até superar a dos centros americanos, apesar de os últimos oferecerem um apoio para pesquisa consideravelmente maior do que o disponível para pesquisadores no Brasil.

De fato, os pesquisadores do CNPq têm uma média de publicação maior do que a de seus pares americanos. Na ortodoxia, os pesquisadores do CNPq publicaram entre 1999 e 2004, em média, 5,2 artigos, enquanto os pesquisadores ortodoxos nos EUA publicaram 4,3 artigos; uma diferença estatisticamente significativa com um p-valor de 0,083. Na heterodoxia, o viés de quantidade parece ser ainda mais severo. Enquanto os pesquisadores heterodoxos no Brasil publicaram, em média, 5,1 artigos, os heterodoxos nos EUA publicaram apenas 1,8 artigo; uma diferença estatisticamente significativa a 1%. Os resultados constituem evidência forte de que tanto os ortodoxos como os heterodoxos no Brasil sacrificam qualidade (prestígio do periódico de publicação) em nome de quantidade.

Existe um número relativamente grande de trabalhos no Brasil e no exterior, cujo objetivo é ordenar a produtividade de departamentos de Economia e seus pesquisadores. Por exemplo, Faria (2000) e Faria et alii (2007) documentam a baixa inserção de pesquisadores brasileiros nos periódicos internacionais de maior impacto. Em outros trabalhos, as publicações são ponderadas por pesos que, em tese, capturariam alguma dimensão da qualidade da pesquisa. Na literatura internacional, Dusansky e Vernon (1998) ponderam os artigos pelo número de páginas e co-autores, enquanto Laband e Piette (1994) ponderam pelo impacto de citações dos periódicos. No Brasil, Azzoni (1998, 2000), Issler e Pillar (2002) e Issler e Ferreira (2004), entre outros, usam citações como pesos para publicações.

Diferentemente dos trabalhos acima, meu objetivo não é ordenar pesquisadores ou departamentos. Aqui, o objetivo é usar a produção acadêmica de centros de referência no exterior para avaliar conflitos entre a quantidade e a qualidade da pesquisa em Economia no Brasil, levando em conta que campos distintos de conhecimento podem resolver os conflitos de formas diferentes.¹ Este trabalho, portanto, segue a linha de Graves et alii (1982), Oster e Hamermesh (1998), Sauer (1988), Laband e Tollison (2000), Ellison (2002a,b, 2007), Goyal et alii (2006) e Kim et alii (2006), que buscam entender os incentivos para a produção de pesquisa em Economia.

O restante do artigo está organizado da seguinte forma. A Seção 2 discute o desenho do experimento empírico e a seleção da amostra, apresentando estatísticas descritivas para as amostras de pesquisadores no Brasil e nos EUA. A Seção 3 documenta as publicações dos pesquisadores da amostra, mostrando que a publicação internacional dos brasileiros é baixa, apesar de a publicação total ser mais alta do que a dos pesquisadores de centros americanos de referência. Esses resultados são interpretados como evidência de que os pesquisadores brasileiros sacrificam qualidade para aumentar quantidade. A Seção 4 discute explicações alternativas para a baixa publicação internacional dos brasileiros, e a Seção 5 conclui com uma discussão sobre os incentivos existentes no Brasil para a quantidade e qualidade de produção científica em Economia.

2. TESTE DE VIÉS DE QUANTIDADE, SELEÇÃO DA AMOSTRA E BASE DE DADOS

2.1. Teste de viés de quantidade

A hipótese principal deste trabalho é que os incentivos para pesquisa em Economia no Brasil induzem um viés de quantidade em detrimento de qualidade. Para encontrar evidência de tal viés, o meu ponto de partida é uma amostra de 121 pesquisadores em Economia que, em dezembro de 2004, detinham bolsa do CNPq de produtividade em pesquisa. Desses pesquisadores, apenas um não está associado a um programa de pós-graduação em Economia. Portanto, essa amostra de pesquisadores brasileiros, muito provavelmente, responde fortemente aos incentivos providos pelo CNPq e pela CAPES.

Obviamente, a identificação de um viés requer uma base de comparação. Neste trabalho, a base de comparação é dada pelos pesquisadores de centros americanos de excelência em Economia. Kocher e Sutter (2001) mostram que, entre 1977 e 1997, a produção americana de pesquisa em Economia responde por 72,2% das publicações nos 15 periódicos de maior impacto em termos de citações. Tal liderança é devida a, pelo menos, dois fatores: um grande apoio financeiro à pesquisa em Economia e uma política persistente de contratação dos melhores pesquisadores, independentemente de seus países de origem.

Além de oferecer um ambiente propício à seleção dos melhores cérebros, Frey e Eichenberger (1992, 1993) argumentam que a mobilidade do mercado acadêmico americano e o processo de promoção de suas universidades cumprem um importante papel na construção da liderança em pesquisa dos EUA. As universidades americanas estão preocupadas não apenas com a quantidade da produção de seus pesquisadores, mas também com a sua qualidade. Em particular, as decisões de contratação e promoção se baseiam em cartas de recomendação (internas e externas), que tipicamente avaliam a quantidade e o impacto dos trabalhos dos candidatos. Conhecendo o padrão de avaliação, os pesquisadores nos EUA decidem quanto alocar de tempo em cada um de seus projetos, o que, por sua vez, implica uma distribuição conjunta para a quantidade e qualidade da produção científica dos centros americanos de excelência. Essa distribuição conjunta será usada como padrão de comparação com a dos pesquisadores do CNPq.

Que deveríamos esperar de uma comparação das publicações de pesquisadores do CNPq e dos centros de excelência em Economia nos EUA? Suponha inicialmente que os incentivos da CAPES e do CNPq não induzam um viés de quantidade. Então, a média de publicação dos pesquisadores do CNPq deveria ser menor do que a dos centros americanos de excelência. Ou seja, o menor apoio aos pesquisadores no Brasil deveria fazê-los sacrificar quantidade para conseguir níveis de qualidade não tão distantes dos trabalhos dos seus pares nos EUA. Em contraste, um viés de quantidade suficientemente severo pode ofuscar o maior apoio à pesquisa e a concentração de talentos nos EUA, fazendo com que a produção no Brasil seja quantitativamente igual, ou mesmo superior, à dos centros americanos. E o viés de quantidade será mais evidente se, contrariamente à pesquisa produzida nos EUA, a produção brasileira estiver concentrada em periódicos de menor prestígio.

Segue então o experimento a ser utilizado para testar se os incentivos da CAPES e do CNPq induzem um viés de quantidade em detrimento de qualidade. Vamos comparar a produção acadêmica de pesquisadores no Brasil e nos EUA em dois quesitos: total publicado e periódico de publicação.

2.2. Seleção da amostra

No Brasil, um substancial número de pesquisadores em Economia adota abordagens metodológicas que, em vez de se basearem em escolha individual e condições de equilíbrio, enfatizam fatores históricos e institucionais. Esses economistas - chamados de heterodoxos - também estão presentes na vida acadêmica americana, apesar de aparentemente não serem relativamente tão numerosos quanto aqui.² Portanto, uma primeira tarefa de um estudo que visa a comparar a pesquisa em Economia no Brasil e nos Estados Unidos é selecionar uma amostra de pesquisadores nos dois países, que cubra não apenas os economistas ortodoxos, mas, também, os heterodoxos.

Para obter uma amostra de pesquisadores ortodoxos em centros de excelência nos EUA, a base inicial é uma lista das 44 melhores escolas americanas de pós-graduação em Economia, segundo o US.News de 2002 (vide ^{Apêndice A}). A opção pela lista da US.News não reflete uma crença de que a sua ordenação seja superior a várias outras existentes. O importante é que, a menos de diferenças marginais nas ordenações, todas as principais listas de melhores escolas de pós-graduação em Economia selecionam basicamente os mesmos centros na lista do US.News de 2002. Sem exceção, todas as escolas dessa lista são conhecidas como ortodoxas.

A internet foi o instrumento para a identificação dos nomes dos professores de cada uma das 44 instituições de ensino na lista do US.News, sendo a identificação feita em junho de 2006. Desses nomes, excluí os instrutores e professores eméritos, pois eles raramente se mantêm ativos em pesquisa. Adicionalmente, eliminei os professores visitantes para garantir que, como norma, os pesquisadores internacionais se beneficiam do apoio oferecido pelas melhoras escolas americanas de Economia.

Para a amostra de pesquisadores heterodoxos nos EUA, o ponto de partida foi uma página na internet descrevendo as 10 principais escolas americanas de pós-graduação em Economia, que adotam uma abordagem metodológica heterodoxa. A confiabilidade dessa lista foi confirmada por dois colegas heterodoxos (vide o final do ^{Apêndice A} para a lista de escolas heterodoxas). Para cada uma dessas escolas heterodoxas, pesquisei as páginas da internet de seus professores a fim de identificar linhas de pesquisa claramente ortodoxas: econometria, equilíbrio geral, ciclos reais de negócio etc. Tal busca me levou a classificar como ortodoxos 34 de 120 professores das escolas heterodoxas. Como no caso dos ortodoxos, eliminei os professores eméritos e visitantes, além dos instrutores.

Por fim, os brasileiros foram selecionados entre aqueles que, em dezembro de 2004, detinham bolsa do CNPq de produtividade de pesquisa em Economia, excluindo-se os que trabalham em Economia agrícola. Os pesquisadores restantes, 121, foram divididos em heterodoxos, 46, e ortodoxos, 75, da seguinte forma: os membros da Sociedade Brasileira de Econometria foram classificados como ortodoxos e os da Sociedade de Economia Política como heterodoxos. Os que não eram membros de nenhuma das duas organizações foram classificados em um dos dois grupos, após leitura dos seus programas de pesquisa no Currículo Lattes e consulta a quatro colegas (dois heterodoxos e dois ortodoxos). O ^{Apêndice B} apresenta a lista de pesquisadores do CNPq, com a classificação adotada (ortodoxo ou heterodoxo).

2.3. Dados de publicações e estatísticas descritivas

Tendo determinado a amostra de pesquisadores, o próximo passo é coletar as publicações. Para tanto, precisa-se determinar o período de coleta dos dados, as publicações de interesse e a fonte dos dados.

Como na maioria dos trabalhos que visam a ordenar a produtividade de pesquisa de departamentos e pesquisadores, a fonte principal dos dados de publicação é o EconLit. Apesar de ser uma excelente fonte de publicações internacionais, o manuseio do EconLit é dificultado por dois problemas: existência de homônimos e um processo de busca bastante sensível ao uso de prenomes, acentuação, ordem de nomes etc. Adicionalmente, a maioria dos periódicos nacionais não está catalogada no EconLit.

Tendo em vista tais dificuldades, procurei confirmar os dados do EconLit com fontes alternativas. Por exemplo, para os pesquisadores do CNPq, as publicações no EconLit foram confirmadas com as do Currículo Lattes e, em casos em que houve dúvida se o trabalho já tinha sido publicado, verifiquei os periódicos. Para os pesquisadores nos EUA, procurei informações nas páginas da internet das universidades, nas páginas pessoais dos professores (quando disponíveis), além de fazer buscas no Google.

Dado o alto tempo envolvido no processo de documentação dos trabalhos, optou-se por restringir tanto o período amostral como as publicações de interesse. Em particular, restringi o período de coleta para os anos de 1999 a 2004. Por um lado, o trabalho de documentação não vai além de 2004 para aumentar a probabilidade de que as fontes principais dos dados - o EconLit e o Currículo Lattes - já tenham incorporado todas as publicações relevantes. Por outro lado, a exclusão de trabalhos anteriores a 1999 reduz a coleta de dados, garantindo, porém, dois triênios de análise.

Iniciar o período amostral em 1999 causa um problema. Alguns pesquisadores do CNPq na nossa amostra - e também parte dos pesquisadores nos EUA - terminaram seu doutorado após 1999. Como em Economia geralmente só se começa a publicar após o doutoramento, o uso da amostra completa de pesquisadores induziria um viés para baixo na média de publicações entre 1999 e 2004. Para evitar esse viés, a amostra base do estudo consiste apenas dos pesquisadores que se doutoraram antes de 1999.³ Entretanto, os pesquisadores mais jovens fazem parte da análise do sub-período entre 2002 e 2004, que é feita na Seção 4.

A Tabela 1 resume os números da amostra, que inclui apenas os pesquisadores que terminaram seu doutorado antes de 1999. Nas escolas americanas, a grande maioria é de professores titulares e associados. Em parte, o reduzido número de professores assistentes reflete a exclusão dos professores mais jovens, que se graduaram depois de 1998. Adicionalmente, o processo de eliminação de docentes pelo sistema de promoções das universidades americanas também leva a um baixo número de professores assistentes. Note, também, que o número de professores é relativamente balanceado entre as escolas. Os 10 principais centros do ranking do US.News empregam 26,8% dos professores ortodoxos da amostra, os 20 centros seguintes empregam 53,5% e os 10 últimos respondem por 16,7%.

Enquanto os pesquisadores nos EUA são divididos de acordo com suas posições nas universidades, os no Brasil estão agrupados pelo nível no CNPq, sendo 1-A o mais alto e 2 o mais baixo. Pelo critério do CNPq, a maior parte dos pesquisadores no Brasil está no nível 2. Issler e Pillar (2002) mostram que o número de anos desde o doutoramento é o determinante mais importante do nível da bolsa de produtividade do CNPq, com larga vantagem sobre a produção científica em periódicos internacionais. Assim sendo, a análise da produção científica dos pesquisadores do CNPq será feita de forma agregada, sem buscar diferenças entre os diversos níveis.

A Tabela 1 também mostra um baixo número de mulheres pesquisadoras, tanto no Brasil como nos Estados Unidos. Curiosamente, o viés pró-homem é menor nos departamentos heterodoxos, sendo que, nos EUA, a percentagem de mulheres docentes nas escolas heterodoxas é de 23,3% contra 10,4% nas escolas ortodoxas. Essa diferença é estatisticamente significativa com um p-valor de 0,007. No Brasil, a percentagem de professoras heterodoxas é de 18,9% contra 17,5% de ortodoxas (p-valor de 0,868).

Com o período amostral definido, o passo seguinte é a determinação das publicações de interesse. Entre os periódicos nacionais, foram incluídos os 13 classificados como A ou B no Qualis nacional de 2001 a 2003. Entre os periódicos internacionais, foram incluídos os 144 analisados por Barret et alii (1998). Uma vantagem da lista de Barret, Olia & Bailey é que ela inclui os principais periódicos de várias subáreas da Economia, diminuindo, portanto, o risco de vieses contra subáreas menos populares. Uma desvantagem da lista é que alguns relevantes periódicos mais novos não estão incluídos, por exemplo, o Economic Theory. O ^{Apêndice C} apresenta a lista de periódicos da nossa amostra.

3. RESULTADOS

Esta seção se divide em duas partes. A primeira descreve as publicações dos pesquisadores nos Estados Unidos entre 1999 e 2004, servindo de base de comparação para as publicações de pesquisadores do CNPq, a ser descrita na segunda parte da seção.

3.1. Pesquisadores nos Estados Unidos

O painel A da Tabela 2 apresenta o padrão de publicação dos pesquisadores ortodoxos nos Estados Unidos, que terminaram o doutorado antes de 1999. Em média, esses pesquisadores publicaram 4,26 artigos entre 1999 e 2004, ou, equivalentemente, 0,7 artigo por ano. Esse número é bastante próximo da média anual de 0,6 publicação em 41 periódicos internacionais, documentada por Kim et alii (2006) em uma amostra de publicações de professores de 25 departamentos americanos de Economia e Finanças na década de 1990.⁴

Em tese, os departamentos americanos de maior prestígio oferecem melhores condições de pesquisa, facilitando a atração de pesquisadores talentosos. É de se esperar, portanto, que a média de publicação aumente com a posição do departamento no ranking da US.News. Para testar essa conjectura, a amostra de professores ortodoxos foi dividida em três grupos: os pesquisadores das 10 principais escolas do ranking, aqueles nas escolas nas posições 11 a 34 e os que trabalham nas escolas nas posições 35 a 44. De fato, a publicação média cresce com a posição da escola no ranking: 3,11 publicações para as 10 últimas, 4,04 para as escolas do grupo intermediário e 5,68 para os pesquisadores das 10 principais escolas ortodoxos.

Mas, a publicação média não é a única estatística de interesse. O periódico de publicação é outro importante dado para a avaliação dos conflitos entre qualidade e qualidade. Uma maneira de documentar as preferências de publicação dos ortodoxos é indexar os periódicos e, a partir dos índices, obter a freqüência de publicação. Em princípio, não há nada de especial na escolha dos índices dos periódicos; o que importa é a freqüência. Entretanto, como argumento a seguir, o ordenamento dos periódicos por impacto de citação aparece como candidato natural para índice.

Como os índices de impacto de citação refletem principalmente a abordagem ortodoxa de pesquisa, publicações nos periódicos de maior impacto devem refletir investimentos em qualidade de pesquisadores ortodoxos. Faria (2003) argumenta que publicar em tais periódicos deve ser mais difícil, o que pode fazer com que os pesquisadores ortodoxos menos habilidosos dêem prioridade a uma maior quantidade de publicação em periódicos de menor impacto.⁵ Sendo assim, espera-se que as publicações dos pesquisadores de Economia das melhores escolas ortodoxas nos EUA estejam concentradas nos periódicos de maior impacto, com a concentração diminuindo para os pesquisadores das escolas menos prestigiosos. Para testar essa hipótese, indexamos os 144 periódicos analisados por Barret et alii (1998) em ordem decrescente de impacto e formamos três grupos: os 50 periódicos de mais prestígio entre os ortodoxos, os 50 seguintes e, por fim, os 44 últimos.

Os dados mostram que a publicação dos ortodoxos está fortemente concentrada no primeiro grupo de periódicos: 83,8%. Enquanto o segundo grupo de periódicos ainda gera algum interesse para os ortodoxos nos EUA (12,1% do total publicado), a percentagem publicada cai para 4% no terceiro grupo e para insignificantes 0,1% nos 13 periódicos brasileiros classificados em A ou B no Qualis nacional 2001-2003. Adicionalmente, a concentração de publicação no grupo de periódicos de maior impacto cresce com o prestígio da instituição de ensino, sendo de 76,2% nas escolas de 35 a 44 da lista da US.News, passando para 82,2% nas escolas intermediárias e chegando a 89,8% nas 10 primeiras da lista. As duas últimas linhas do painel A mostram que a publicação média das 10 principais escolas ortodoxas nos periódicos internacionais de maior impacto é estatisticamente maior do que a das demais escolas (p-valor de 0,000).

A forte concentração de publicação ortodoxa nos 50 periódicos de maior impacto é consistente com uma grande ênfase de qualidade sobre quantidade. Tal explicação também é consistente com o número aparentemente baixo da média de publicações: menos de um por ano. Porém, a ênfase em qualidade não é a única explicação para a concentração de publicações nos periódicos de maior impacto. É também possível que a habilidade para pesquisa seja tão maior nas 44 principais escolas ortodoxas, que o esforço de seus professores para publicar em um dos 50 periódicos de maior impacto seja relativamente baixo. Os resultados descritos no painel B da Tabela 2 não dão apoio a essa hipótese. Cerca de um terço dos pesquisadores das 10 principais escolas não conseguiram publicar por dois triênios consecutivos ao menos um artigo nos periódicos de maior impacto. Esse número sobe para 48,6% nas escolas intermediárias e para 64,2% nos escolas de 35 a 44. Ou seja, uma boa parte dos pesquisadores das principais escolas ortodoxas de pós-graduação em Economia dos EUA não consegue manter um ritmo constante de publicação nos periódicos de maior impacto.⁶

Passemos agora aos heterodoxos nos EUA, cuja publicação está resumida na Tabela 3. Diferentemente dos ortodoxos, a amostra de heterodoxos não é suficientemente grande para possibilitar uma ordenação da reputação acadêmica de suas escolas. Sendo assim, a análise da publicação heterodoxa será limitada à amostra agregada.

O painel A da Tabela 3 mostra uma publicação média de 1,84 artigo entre 1999 e 2004, para a amostra de heterodoxos nos EUA. Essa média de publicação é bem mais baixa do que a dos ortodoxos nos EUA; uma diferença estatisticamente significativa com p-valor de 0,000 (vide o painel B da tabela).

Como a ampla maioria da pesquisa americana em Economia é ortodoxa, os índices de citações que determinam o ranking das escolas americanas devem, essencialmente, ordenar os ortodoxos, não sendo bons indicadores da produtividade de pesquisa dos heterodoxos. Ainda assim, o painel A da Tabela 3 mostra que 10,8% das publicações dos centros heterodoxos estão concentradas no grupo de periódicos de maior impacto de citação. Entretanto, como esperado, a maior parte das publicações está concentrada nas publicações internacionais de menor impacto, 51,9%, com 36,7% nos periódicos com impacto intermediário. Da mesma forma que os ortodoxos, os heterodoxos dos centros americanos têm pouco interesse em publicar nos periódicos brasileiros.

O painel B da Tabelã 3 mostra que a publicação média dos heterodoxos nos periódicos 101 a 144 é estatisticamente maior do que a dos ortodoxos (p-valor de 0,000), enquanto que a publicação nos periódicos de maior impacto é estatisticamente menor (p-valor de 0,000). Note, também, que, como os ortodoxos, a publicação dos heterodoxos requer esforço. Pelo painel C da tabela, apenas 31,4% dos pesquisadores dos centros americanos de excelência heterodoxa conseguiram pelo menos uma publicação em cada triênio, sendo este número de apenas 2,33% nos 50 periódicos com maior impacto de citação.

Um ponto comum chama a atenção nas Tabelas 2 e 3, a publicação média dos pesquisadores dos centros americanos de referência é baixa, independentemente da orientação metodológica. Alguém poderia imaginar que o baixo número de artigos publicados é resultado de um viés da amostra, que está concentrado em um grupo de pesquisadores sem grandes incentivos para pesquisa: os professores titulares.

A Tabela 4 mostra que os titulares não estão puxando a média para baixo. Pelo painel A da tabela, a publicação média dos titulares ortodoxos é maior do que as médias dos assistentes e associados. Analogamente, os titulares heterodoxos têm uma média de publicação acima da dos associados e assistentes, se bem que a diferença não é estatisticamente significativa.⁷ Em parte, a menor dominância dos titulares heterodoxos se deve às publicações dos associados no grupo de maior impacto de citação. Aparentemente, os heterodoxos americanos mais jovens estão convergindo para a abordagem ortodoxa.

A mensagem principal desta seção é, então, clara. Os ortodoxos e os heterodoxos dos centros americanos de referência publicam relativamente pouco, menos de um artigo por ano, mas se concentram fortemente nos periódicos de prestígio de seus respectivos grupos. Os dois grupos de pesquisadores aceitam um risco considerável de passar um triênio sem publicar, em troca de uma maior qualidade de publicação. A seguir, essa estratégia de pesquisa é comparada com a adotada pelos pesquisadores de Economia do CNPq.

3.2. Pesquisadores do CNPq

A Tabela 5 caracteriza o padrão de publicação dos pesquisadores do CNPq. Logo na segunda coluna do painel A da tabela, vê-se uma diferença marcante relativamente aos pesquisadores nos EUA: a média de publicação dos pesquisadores do CNPq é bem maior. Enquanto que a publicação média dos centros americanos ortodoxos é de 4,6 artigos nos seis anos, ela chega a 5,2 para os ortodoxos brasileiros; uma diferença estatisticamente significativa com p-valor de 0,083 (vide o painel B da tabela). E a diferença de publicação é ainda maior para os heterodoxos brasileiros, que, nos seis anos da amostra, publicaram uma média de 5,1 artigos contra 1,8 dos heterodoxos americanos.⁸

O que explica as maiores médias de publicações de ortodoxos e heterodoxos no Brasil é a publicação nos periódicos brasileiros. No caso dos ortodoxos, 4,1 para os brasileiros contra 0,01 para os americanos. No caso dos heterodoxos, 4,7 para os brasileiros contra o mesmo 0,01 para os americanos.

Por si só, a maior concentração de publicações em periódicos nacionais não permite afirmar que os pesquisadores do CNPq sacrificam qualidade para aumentar quantidade de publicação. Afinal, alguém poderia argumentar que não há evidência objetiva de que o padrão de qualidade dos periódicos brasileiros é inferior ao dos internacionais. Entretanto, se considerarmos, realisticamente, que os incentivos para pesquisa nos centros americanos de excelência são pelo menos tão fortes quanto os dos pesquisadores do CNPq, então, tudo o mais constante, estes não deveriam ter um número total de publicações significativamente maior do que os primeiros. Sem explicações adicionais, a maior produção dos brasileiros deveria exigir uma menor qualidade média dos artigos.

Os resultados no painel C da Tabela 5 nos dão uma segunda indicação de que, relativamente aos pesquisadores nos EUA, os do CNPq são mais propensos a sacrificar qualidade de pesquisa para aumentar a quantidade publicada. Enquanto a percentagem dos pesquisadores ortodoxos americanos que publicou ao menos um artigo em cada triênio é de 60,2%, ela chega a 70,2% para os pesquisadores ortodoxos do CNPq. E a diferença é ainda maior para os dois grupos de heterodoxos: 31,4% para os heterodoxos nos EUA e 64,9% para os no Brasil.

Ora, até o último ano na amostra deste estudo, 2004, as bolsas de produtividade de pesquisa eram avaliadas bienalmente, sendo a renovação duvidosa para pesquisadores sem novas publicações durante o período de vigência da bolsa. Pelas Tabelas 2 e 3, as chances de um pesquisador consistentemente publicar nos periódicos internacionais de mais prestígio não são altas, mesmo que ele trabalhe em um dos centros americanos de referência. Logo, uma opção de pesquisa guiada para os melhores periódicos internacionais é bastante arriscada, podendo desestimular pesquisadores que internalizem os incentivos da bolsa de produtividade do CNPq.

Por fim, o painel A da Tabela 5 sugere que os pesquisadores no Brasil e nos Estados Unidos concordam sobre os periódicos internacionais preferidos. Por exemplo, 61,3% das publicações internacionais dos pesquisadores ortodoxos do CNPq estão concentradas nos 50 periódicos de maior impacto de citação; tal concentração também existe na publicação dos ortodoxos nos EUA (83,8%). Analogamente, as publicações internacionais dos heterodoxos do Brasil estão concentradas nos periódicos de 101 a 144, 78,6%, assim como as de seus pares nos EUA.⁹ Portanto, a escassa publicação internacional dos brasileiros não parece ser uma opção contrária à orientação editorial dos periódicos internacionais preferidos pelos pares americanos.

4. EXPLICAÇÕES ALTERNATIVAS

A seção anterior documentou uma baixa publicação internacional dos pesquisadores de Economia do CNPq, justificando-a como uma opção por quantidade de publicação, em detrimento de qualidade. Apesar de existirem outras explicações, esta seção argumenta que elas não são consistentes com os dados de publicação dos pesquisadores da nossa amostra.

4.1. Relevância de tópicos e abordagens de pesquisa

Um argumento freqüente para explicar a nossa baixa publicação internacional é que uma boa parte dos pesquisadores brasileiros trabalharia em tópicos de pouco interesse internacional, mas de grande relevância para o Brasil. A diferença de interesses seria tanto no tópico de estudo, como na orientação metodológica.

Como a Seção 3 mostrou, conflitos metodológicos não podem ser usados como justificativas para a baixa inserção internacional da pesquisa em Economia feita no Brasil. Mas, é possível que pontos de vistas distintos sobre a relevância de tópicos de pesquisa expliquem parte da concentração da produção dos pesquisadores do CNPq nos periódicos nacionais. Por exemplo, Faria (2005) argumenta que trabalhos sobre assuntos de interesse nacional aumentam a reputação local do pesquisador, possivelmente criando externalidades positivas que aumentam as chances de consultorias lucrativas e ofertas de emprego no governo ou na iniciativa privada. Segue, então, um viés para publicações em periódicos brasileiros, que não está necessariamente ligado a um sacrifício de qualidade.

Para explorar essa hipótese, investiguei 268 artigos de pesquisadores do CNPq, publicados entre 1999 e 2004 e que estavam disponíveis na Internet. Desses artigos, 171 são de autores ortodoxos, e 74,7% deles usam dados brasileiros ou têm como motivação principal problemas brasileiros. Curiosamente, a concentração em tópicos brasileiros diminui nas 98 publicações de heterodoxos, das quais apenas 44,9% usam dados brasileiros ou têm o Brasil como motivação principal. Como esperado, a maior parte dos artigos sobre o Brasil foi publicada em periódicos brasileiros (68,6%), sem diferenças significativas entre os periódicos A ou B do Qualis. Portanto, os pesquisadores do CNPq concentram grande parte de sua produção em tópicos brasileiros, e a maior parte desses trabalhos é publicada no Brasil.

Será que a concentração da produção acadêmica em tópicos brasileiros é acompanhada por uma queda da qualidade de pesquisa? Infelizmente, os dados coletados neste artigo sugerem que sim. O número de publicações dos pesquisadores do CNPq não é consistente com uma qualidade média semelhante à dos pesquisadores dos centros americanos de referência. Como a diferença quantitativa aparece nas publicações no Brasil, é aí que a diferença de qualidade deve aparecer.

4.2. Ineficiência do sistema de pareceres nos periódicos internacionais

Um conhecido problema nos principais periódicos internacionais de Economia é o longo processo de revisão dos artigos. Ellison (2002b) mostra que, em 1999, o tempo médio de revisão de artigos aceitos para publicação foi superior a 20 meses, em quatro dos principais periódicos (American Economic Review, Econometrica, Journal of Political Economy e Review of Economic Studies). Em um artigo recente, Ellison (2007) relata que alguns pesquisadores do departamento de Economia de Harvard têm publicado seus trabalhos apenas na Internet, em resposta às crescentes demandas por revisão dos principais periódicos.

Infelizmente, desconheço trabalhos que comparem os prazos para decisões editoriais de periódicos nacionais e internacionais. Porém, é possível que os nacionais sejam mais rápidos do que alguns dos principais periódicos internacionais de Economia.

Segue, então, uma explicação alternativa para a maior produção dos pesquisadores no Brasil, sem que necessariamente haja uma queda na qualidade média dos trabalhos: uma combinação de interesses por tópicos nacionais com uma maior eficiência editorial dos periódicos brasileiros.

Há, entretanto, um problema com essa explicação alternativa. Os pesquisadores nos Estados Unidos não ficam de braços cruzados enquanto esperam as decisões editoriais dos artigos submetidos. O tempo entre pareceres é usado para desenvolver outros projetos, que deveriam gerar novas publicações.

O que diminui a média de publicação internacional não é o tempo de espera da decisão editorial, mas sim exigências de novas análises, que aumentam a qualidade dos trabalhos ao custo de alongar o tempo necessário para publicação. Adicionalmente, as altas taxas de rejeição dos principais periódicos exigem que, antes de enviar um artigo, os autores façam um intenso trabalho de preparação, que aumenta a qualidade, porém reduz o ritmo de publicação.¹⁰

4.3. Rede de conhecimentos e dificuldade de escrever em língua estrangeira

A pesquisa em Economia é uma atividade cujo sucesso depende da capacidade de convencimento do pesquisador. Apesar de a clareza e interesse dos manuscritos serem importantes para esse processo de convencimento, há outros fatores relevantes. Participações em seminários e conversas informais ajudam a refinar idéias e a convencer interlocutores. É de se esperar que pesquisadores com acesso direto a potenciais pareceristas tenham uma maior probabilidade de sucesso no processo de revisão em periódicos internacionais. Da mesma forma, pesquisadores com maior domínio do idioma inglês devem ter uma maior probabilidade de sucesso em termos de publicação internacional. Ou seja, a falta de uma rede de conhecimentos e um fraco domínio do inglês são obstáculos para a publicação internacional em Economia.

Mas, obstáculos para publicação internacional, por si só, não explicam por que os pesquisadores do CNPq publicam, em média, mais do que os pesquisadores de centros americanos de referência. A evidência de que pesquisadores no Brasil sacrificam qualidade para aumentar quantidade de produção, portanto, se mantém.

4.4. Viés na lista de periódicos

Até agora, a comparação da produção acadêmica dos pesquisadores do CNPq e dos centros americanos foi feita a partir da lista de 144 periódicos de Barret et alii (1998). Tal lista inclui apenas os periódicos cujos artigos são citados em trabalhos publicados nos principais periódicos internacionais da profissão que, como já foi argumentado, pode criar vieses contra metodologias fora do "mainstream" e contra tópicos de pouco interesse para a maioria dos economistas americanos e europeus.

Esses vieses invalidariam as conclusões deste trabalho se, por exemplo, os pesquisadores nos EUA também publicassem um grande número de artigos fora da lista de Barret, Olia & Bailey. Nesse caso, a diferença aqui documentada entre o número médio de publicações dos pesquisadores do CNPq e dos centros americanos poderia estar refletindo apenas o número limitado de periódicos analisados neste trabalho.

Para investigar a sensibilidade dos resultados à lista de periódicos de Barret et alii (1998), identifiquei todos os periódicos fora da lista, nos quais os heterodoxos nos EUA publicaram algum trabalho entre 1999 e 2004. Tal busca resultou em 89 periódicos, descritos no final do ^{Apêndice C}.

O painel A da Tabela 6 mostra que a lista adicional de periódicos aumenta em 0,11 a publicação média dos heterodoxos do CNPq entre 1999 e 2004. Curiosamente, o acréscimo é maior para a publicação média dos pesquisadores ortodoxos do CNPq: 0,25. Aparentemente, os periódicos internacionais fora da lista de Barret et alii (1998) são mais flexíveis no que se refere a opções metodológicas.

Como esperado, o acréscimo na publicação média dos heterodoxos nos EUA é bem maior do que a dos pesquisadores do CNPq: 1,17 (dado não relatado nas tabelas). Ainda assim, o painel B da tabela mostra que a publicação dos heterodoxos brasileiros supera a de seus pares nos EUA em 2,2 artigos; uma diferença significativa a um p-valor de 0,006. Ou seja, um viés pró-ortodoxia na lista de Barret et alii (1998) não explica a maior publicação média dos pesquisadores do CNPq.

4.5. Amostra de pesquisadores mais novos

Para que a comparação das publicações pudesse cobrir um período de seis anos, foi necessário restringir a amostra a pesquisadores que completaram o doutorado antes de 1999. Por um lado, tal amostra permite avaliar impactos mais duradouros das políticas de incentivo da CAPES e do CNPq. Por outro lado, pode-se questionar a representatividade dessa geração de pesquisadores. Será que não se trata de um grupo de pesquisadores mais empenhados em formar departamentos de pesquisa do que em investir na própria pesquisa?

Uma maneira de avaliar a robustez dos resultados à amostra de pesquisadores é analisar a produção de uma geração mais nova. Para tanto, usaremos os pesquisadores do CNPq (18 ortodoxos e nove heterodoxos) e dos centros de Economia nos EUA (180 ortodoxos e 10 heterodoxos), que completaram o doutorado entre 1999 e 2001, restringindo a análise das publicações ao triênio de 2002 a 2004. Obviamente, o reduzido número de pesquisadores dessa amostra implica cautela na interpretação dos resultados, especialmente para os pesquisadores heterodoxos.

No lado da ortodoxia, os pesquisadores mais novos do CNPq não parecem estar mais estimulados a publicar no exterior do que os mais antigos. O painel A da Tabela 7 mostra que os mais novos publicaram um total de 2,33 artigos no triênio 2002-2004, enquanto que os mais antigos publicaram 1,94 artigo (dado não relatado nas tabelas); uma diferença que não é estatisticamente significativa. A vantagem de publicação se reverte nos periódicos estrangeiros. Aí, os mais novos publicaram uma média de 0,67 artigo e os mais antigos publicaram 0,83 (dado não relatado nas tabelas), uma diferença que também não é estatisticamente significativa. Por fim, o painel B da Tabela 7 mostra que, comparativamente aos seus pares nos EUA, os ortodoxos no Brasil publicaram mais no total (p-valor de 0,13) e bastante menos nos 50 principais periódicos ortodoxos (p-valor de 0,000).

No lado da heterodoxia, os pesquisadores do CNPq mais novos tiveram um desempenho significativamente melhor do que os mais velhos no total de publicações: 4,67 artigos no triênio 2002-2004 contra 2,65 da geração mais antiga, com um p-valor de 0,173 para o teste de diferença de médias. (Os dados de publicação total dos pesquisadores antigos no triênio não estão relatados nas tabelas.) Mas, a vantagem novamente se reverte nos periódicos estrangeiros: 1,00 artigo para a geração jovem contra 1,86 da geração mais antiga, com um p-valor de 0,219. (Os dados de publicação internacional dos pesquisadores antigos no triênio não estão relatados nas tabelas.) Relativamente aos pesquisadores nos EUA, os heterodoxos no Brasil publicaram significativamente mais no total (3,67 artigos), sendo que a quase totalidade dos ganhos está em publicações nos periódicos brasileiros (3,57). Nos periódicos estrangeiros, os heterodoxos no Brasil e nos EUA tiveram desempenhos similares (diferença de 0,1 a mais para os brasileiros), com um p-valor de 0,896 para o teste de igualdade de média.

5. DISCUSSÃO

Em princípio, não há por que achar que os pesquisadores no Brasil devam adotar as mesmas estratégias de pesquisa dos economistas dos centros americanos de referência. Em particular, é possível que seja eficiente sacrificar qualidade para garantir um número mais significativo de trabalhos produzidos no Brasil. Ainda assim, é difícil não ficar intrigado diante da combinação do reduzido número de publicações internacionais com uma publicação média total que supera os centros de excelência dos Estados Unidos.

De fato, há sinais de que os mecanismos de avaliação do CNPq e da CAPES estejam induzindo um sacrifício de qualidade para aumentar a quantidade de publicação. Por exemplo, Faria (2000, 2004), Issler e Pillar (2002) e Issler e Ferreira (2004) argumentam, convincentemente, que os pesos do Qualis subestimam fortemente o diferencial de impacto dos periódicos. Como aqui se mostra, a publicação nos periódicos ortodoxos de maior prestígio requer um esforço de pesquisa considerável, que resulta em um investimento de grande risco, mesmo para pesquisadores dos centros americanos de excelência. Sem uma devida compensação pelo alto risco de tentar publicar nos periódicos de maior prestígio, a tendência é que os ortodoxos busquem projetos menos ousados que garantam bolsas de produtividade de pesquisa do CNPq e apoio da CAPES aos seus departamentos.

Mas, os trabalhos de Faria (2000, 2004), Issler e Pillar (2002) e Issler e Ferreira (2004), por si só, não dão indicação sobre vieses na pesquisa heterodoxa no Brasil. A razão é simples. Os fatores de impacto baseados em citações dão pesos muito baixos para todos os periódicos heterodoxos (internacionais e nacionais). Os pesos baseados em citação, por conseguinte, não conseguem separar o joio do trigo na produção heterodoxa. Um viés de quantidade pode ser observado, porém, quando se comparam as publicações heterodoxas no Brasil e nos EUA.

Outros sinais apontam para um viés de quantidade na pesquisa em Economia no Brasil. Por exemplo, o aumento do número de periódicos internacionais no Qualis de 2004-2006, os novos periódicos brasileiros patrocinados por departamentos de pós-graduação em Economia, além do crescimento do número de doutorandos nos programas de pós-graduação. Todas essas medidas facilitam o cumprimento de metas quantitativas do CNPq e da CAPES, que, por sua vez, podem se sentir "forçados" a aumentar ainda mais as metas. Como Holmstrom e Milgrom (1991) ensinam, uma ênfase excessiva em metas quantitativas pode deteriorar a qualidade da pesquisa. Será que não estamos nesse ponto?

BIBLIOGRAFIA

Este Apêndice descreve as 44 escolas americanas de pós-graduação em Economia que serviram de ponto de partida para a amostra de pesquisadores ortodoxos nos Estados Unidos. A lista consiste das 44 principais escolas segundo o ranking de 2002 do U.S.News. Essas escolas estão divididas em três grupos: As 10 mais bem colocadas da lista da U.S.News, as 24 seguintes e as 10 últimas da lista. Adicionalmente, o Apêndice descreve as 10 escolas de pós-graduação em Economia que serviram de base para a amostra de pesquisadores heterodoxos nos EUA. A lista das escolas heterodoxas foi obtida em uma página da internet sobre programas heterodoxos em pós-graduação de Economia: Graduate Programs for All Kinds of Heterodox Economists.

A.1. Escolas de Pós-Graduação Ortodoxas

Escolas 1 a 10

• MIT

• Harvard

• Princeton

• Stanford

• Chicago

• UC-Berkeley

• Yale

• Northwestern

• Upenn

• Wisconsin

Escolas 11 a 34

• UCLA

• University of Michigan

• Rochester

• Cornell

• UC-San Diego

• Carnegie Mellon

• NYU

• Brown

• Duke

• University of Texas - Austin

• Johns Hopkins

• University of Maryland

• Columbia

• University of Minnesota

• Boston University

• University of Illinois - Urbana

• University of Virginia

• Ohio State University-Columbus

• North Carolina - Chapel Hill

• Michigan State University

• Pennsylvania State University

• UC-Davis

• University of Iowa

• University of Washington-Seattle

Escolas 35 a 44

• Washington University - St. Louis

• Texas A&M University

• University of Arizona

• Purdue

• Boston College

• Indiana University

• UC-Santa Barbara

• University of Florida

• University of Southern California

• Vanderbilt

Escolas de Pós-Graduação Heterodoxas

• American University

• Colorado State University, Fort Collins

• New School University

• University of California-Riverside

• University of Denver

• University of Massachusetts at Amherst

• University of Massachusetts - Boston

• University of Missouri - Kansas City

• University of Notre Dame (Department of Economics and Policy Sudies)

• University of Utah

Este Apêndice descreve os nomes dos pesquisadores em Economia do CNPq, no mês base de dezembro de 2004. Além dos nomes que constavam na página da internet do CNPq, foram incluídos na amostra quatro outros bolsistas de produtividade de pesquisa: Aloísio Araújo, Marcelo de Paiva Abreu, Marco Antonio Bonomo e Marilda Sotomayor. Além dos nomes dos pesquisadores, o Apêndice detalha a filiação, o ano de conclusão do doutorado, a abordagem metodológica (1 para ortodoxo e zero para heterodoxo) e se está incluído ou não na amostra (1 para inclusão). Foram excluídos da amostra os pesquisadores que trabalham em Economia agrícola.

Este Apêndice apresenta os periódicos internacionais e nacionais considerados na documentação das publicações dos pesquisadores do CNPq e dos departamentos americanos de referência internacional. Os 144 periódicos internacionais correspondem à lista elaborada por Barret et alii (1998), a partir do impacto das citações. Os periódicos nacionais são aqueles com conceito A ou B no Qualis nacional de 2001 a 2003. Outras revistas compreendem os periódicos nos quais os heterodoxos americanos publicaram e que não estavam na lista de Barret, Olia & Bailey.

Grupo 1 A 50

Grupo 51 A 100

• Journal of International Money and Finance

• Journal of Economic Behavior and Organization

• Monthly Labor Reviews

• Industrial Relations

• Scandinavian Journal of Economics

• Review of Income and Wealth

• Mathematical Social Sciences

• Oxford Bulletin of Economics and Statistics

• Economic Development and Cultural Change

• Journal of Environmental Economics and Management

• Demography

• Journal of Risk and Insurance

• Journal of Health Economics

• Social Security Bulletin

• Journal of Applied Econometrics

• Manchester School

• Journal of Economic Psychology

• World Economy

• Journal of Transport Economics and Policy

• Urban Studies

• Population and Development Review

• Acta Oeconomica

• Regional Science and Urban Economics

• Canadian Journal of Agricultural Economics

• Land Economics

• Kyklos

• Economic History Review

• Review of Radical Political Economics

• Journal of Labor Research

• International Labor Review

• World Development

• Economic Record

• Journal of Comparative Economics

• Weltwirtschatliches Archieves

• Applied Economics

• Journal of Regional Science

• Explorations in Economic History

• Public Finance Quartely

• Cambridge Journal of Economics

• Public Finance

• British Journal of Industrial Relations

• Social Choice and Welfare

• Journal of Macroeconomics

• Journal of Forecasting

• Journal of Developments Studies

• Agricultural Economics Research

• Business History Review

• Journal of Economic Studies

• Journal of Agricultural Economics

• Australian Journal of Agricultural Economics

Grupo 101 A 144

• Journal of International Business Studies

• History of Political Economy

• Journal os Economics and Business

• Journal of Policy Analysis and Management

• Cato Journal

• Inquiry

• World Bank Economic Review

• Social Science Quartely

• Journal of Peasant Studies

• Natural Resources Journal

• Quartely Review of Economics and Business

• Regional Studies

• Intl Regional Science Review

• IDS Bulletin

• Scottish Journal of Political Economy

• Journal of Post Keynesian Economics

• Development and Change

• Labor History

• Economic Geography

• Social Research

• Matekon

• Journal of Economics Issues

• Journal of Developing Áreas

• Annals of Regional Science

• Science and Society

• Journal of World Trade

• International Journal of Forecasting

• Population Research and Policy Review

• Growth and Change

• Food Policy

• Energy Economics

• Journal of Policy Modeling

• Sloam Management Review

• California Management Review

• Review of Black Political Economy

• International Journal of Social Economics

• American Journal of Economics and Sociology

• Review of Social Economy

• Journal of Common Market Studies

• Economic Modelling

• Journal of Leisure Research

• International Social Science Journal

• Developing Economies

• Managerial and Decision Economics

Periódicos Nacionais

• Revista Brasileira de Economia

• Estudos Econômicos

• Pesquisa e Planejamento Econômico

• Revista de Economia Política

• Brazilian Review of Econometrics

• Ensaios Econômicos

• Economia e Sociedade

• Revista de Economia e Sociologia Rural

• Análise Econômica

• Economia Aplicada

• Nova Economia

• Revista de Economia Contemporânea

• Revista de Economia do Nordeste

Outras Revistas

• African Finance Journal

• Agricultural Economic

• American Economist

• American Prospect

• Annals of the American Academy of Political and Social Science

• Antitrust Bulletin

• Applied Economics Letters

• Asia Pacific Development Journal

• Asian Development Review

• Bangladesh Development Studies

• Business Economics

• Canadian Journal of Development Studies

• Challenge

• Chinese Economy

• Comercio Exterior

• Contemporary Economic Policy

• Development

• Eastern Economic Journal

• International Journal of Applied Economics and Econometrics

• International Journal of Development Issues

• International Journal of Industrial Organization

• International Journal of the Economics of Business

• International Labour Review

• International Review of Applied Economics

• International Review of Economics and Finance

• Investigacion Economica

• Journal of African Economies

• Journal of Agricultural and Resource Economics

• Journal of Asian Economics

• Journal of Australian Political Economy

• Journal of Cultural Economics

• Journal of Economic and Social Policy

• Journal of Economic Development

• Journal of Economic Methodology

• Journal of Economic Perspectives

• Journal of Economic Surveys

• Journal of Economics (MVEA)

• Journal of Education Finance

• Journal of Energy and Development

• Journal of Human Development

• Journal of Institutional and Theoretical Economics

• Journal of International Development

• Journal of the History of Economic Thought

• La Questione Agraria

• Ecological Economics

• Economia (Pontifical Catholic University of Peru)

• Economic and Industrial Democracy

• Economic and Labour Relations Review - Supplement

• Economics Bulletin

• Economics of Education Review

• El Trimestre Economico

• Environment and Development Economics

• Environmental and Resource Economics

• Federal Reserve Bulletin

• Feminist Economics

• Forum for Social Economics

• Global Business and Economics Review

• Global Economy Quarterly

• Health Economics

• History of Economic Ideas

• History of Economics Review

• Humanomics

• Latin American Politics and Society

• Metroeconomica

• Momento Economico

• Natural Resource Modeling

• Nonlinear Dynamics, Psychology, and Life Sciences

• Nonprofit and Voluntary Sector Quarterly

• Oxford Development Studies

• Oxford Review of Economic Policy

• Population Studies

• Problemas del Desarrollo

• Public Finance Review

• Quarterly Review of Economics and Finance

• Regulation

• Resource and Energy Economics

• Review of Agricultural Economics

• Review of Austrian Economics

• Review of Development Economics

• Review of Industrial Organization

• Review of International Economics

• Review of International Political Economy

• Review of Political Economy

• Review of Regional Studies

• RISEC: International Review of Economics and Business

• Seoul Journal of Economics

• Small Business Economics

• WorkingUSA

• World Trade Review

• Azzoni, C. R. (1998). Clássicos da literatura econômica brasileira. Economia Aplicada, 2:771780.
• Azzoni, C. R. (2000). Desempenho das revistas e dos departamentos de economia brasileiros segundo publicações e citações recebidas no Brasil. Economia Aplicada, 4:787822.
• Barret, C. B., Olia, A., & Bailey, D. (1998). Subdiscipline-specific journal ranking: Whither Applied Economics? Applied Economics, 32:239252.
• Dusansky, R. & Vernon, J. V. (1998). Rankings of U.S. economics departments. Journal of Economic Perspectives, 12:157170.
• Ellison, G. (2002a). Evolving standards for academic publishing: A qr theory. Journal of Political Economy, 110:9941034.
• Ellison, G. (2002b). The slowdown of the economics pubhishing process. Journal of Political Economy, 110:947993.
• Ellison, G. (2007). Is peer review in decline? Technical Report 13272, NBER.
• Faria, J. R. (2000). The research output of academic economists in Brazil. Economia Aplicada, 4:95113.
• Faria, J. R. (2003). What type of economist are you: R-strategist or K-strategist? Journal of Economic Studies, 30:144154.
• Faria, J. R. (2004). Some reflections on incentives for publication: The case of the CAPES' list of economic journals. Economia Aplicada, 8:791816.
• Faria, J. R. (2005). Is there a trade-off between domestic and international publications? Journal of Socio-Economics, 34:269280.
• Faria, J. R., Araújo, A. F., & Shikida, C. D. (2007). The international research of academic economists in Brazil: 1999-2006. Economia Aplicada, 11:387406.
• Faria, J. R. & Monteiro, G. (2008). The tenure game: Building up academic habits. Japanese Economic Review, a sair.
• Frey, B. S. & Eichenberger, R. (1992). Economics and economists: A European perspective. American and Economic Review Papers and Proceedings, 82:216220.
• Frey, B. S. & Eichenberger, R. (1993). American and European economists. Journal of Economic Perspectives, 7:185193.
• Goyal, S., Leij, M. J., & Moraga-González, J. L. (2006). Economics: An emerging small word. Journal of Political Economy, 114:403412.
• Graves, E. P., Marchand, J. R., & Thompson, R. (1982). Economics departmental rankings: Research incentives, constraints and efficiency. American Economic Review, 72:11311141.
• Hodgson, G. M. & Rothman, H. (1999). The editors and author of economic journals: A case of institutional oligopoly. Economic Journal, 109:165181.
• Holmstrom, B. & Milgrom, P. (1991). Multitask principal-agent analyses: Incentive contracts, asset ownership and job design. Journal of Law, Economics and Organization, 7:2451.
• Issler, J. V. & Ferreira, R. C. (2004). Avaliando pesquisadores e departamentos de economia no Brasil a partir de citações internacionais. Pesquisa e Planejamento Econômico, 34:491538.
• Issler, J. V. & Pillar, T. (2002). Mensurando a produção científica internacional em economia de pesquisadores e departamentos brasileiros. Pesquisa e Planejamento Econômico, 32:323381.
• Kim, E. H., Morse, A., & Zingales, L. (2006). Are elite universities losing their competitive edge?
• Kocher, M. & Sutter, M. (2001). The institutional concentration of authors in top journals of economics during the last two decades. Economic Journal, 111:405421.
• Laband, D. N. & Piette, M. J. (1994). The relative impacts of economic journals: 1970-1990. Journal of Economic Literature, 32:640660.
• Laband, D. N. & Tollison, D. (2000). Intellectual collaboration. Journal of Political Economy, 108:632 662.
• Oster, S. M. & Hamermesh, D. S. (1998). Aging and productivity among economists. The Review of Economics and Statistics, 80:154156.
• Sauer, R. D. (1988). Estimates of the returns to quality and co-authorship in economic academia. Journal of Political Economy, 96:855866.

Apêndice A

Apêndice B

Apêndice C

• Econometrica

• American Economic Review

• Journal of Political Economy

• Journal of Economic Theory

• Journal of Finance

• Journal of Finacial Economics

• Review of Economics Studies

• Quarterly Journal of Economics

• RAND Journal of Economics

• Journal of Monetary Economics

• Review of Economics and Statistics

• Journal of Econometrics

• International Economic Review

• Economic Journal

• Industrial and Labor Relations Review

• Journal of Labor Economics

• Southern Economic Journal

• Public Choice

• Canadian Journal of Economics

• National Tax Journal

• American Journal of Agricultural Economics

• Oxford Economic Papers

• Journal of Economic History

• Journal of Urban Economics

• Journal of Developments Economics

• Journal of Public Economics

• Journal of Business

• Brookings Papers on Economic Activity

• Journal of Law and Economics

• Economic Letters

• Journal of Futures Markets

• Journal of International Economics

• Journal of Money, Credit, and Banking

• Economica

• Journal of Mathematical Economics

• Journal of Financial and Quantitative Analysis

• Economic Inquiry

• Journal of Economic Literature

• Journal of Human Resources

• European Economic Review

• Journal of Accounting and Economics

• Journal of Industrial Economics

• Journal of Economics Dynamics and Control

• Journal of Banking and Finance

• Financial Management

• Journal of Business Economics and Statistics

• Journal of Legal Studies

• Journal of Portfolio Management

• Journal of Economic Education

• IMF Staff Papers

*

Eu gostaria de agradecer o apoio financeiro dado pelo CNPq e os comentários de Fernando Ferrari Filho, Gustavo Gonzaga, João Victor Issler, Luiz Fernando de Paula, Pedro Valls, três pareceristas e participantes de seminários na EPGE/FGV e no Congresso de 2007 da ANPEC. André Correa Cunha, Paula Grigolli e Carlos Miranda fizeram um excelente trabalho de ajuda à pesquisa dentro do programa PIBIC do MCT-CNPq.

1

De fato, as dificuldades para avaliação da produção acadêmica de economistas ortodoxos e heterodoxos também estão presentes (provavelmente aumentadas) quando se tenta comparar as publicações de dois campos totalmente distintos. Por exemplo, diferentemente do que acontece na Economia, a publicação média na Física parece ser extremamente alta, tanto no Brasil como nos Estados Unidos. Em parte, essa diferença pode estar correlacionada com preferências diversas no que se refere aos conflitos entre qualidade e quantidade de pesquisa. Levando em conta tais diferenças, pode-se chegar à conclusão que embora possa ser razoável pedir que um jovem físico publique um artigo anualmente, tal meta é excessiva para um jovem economista que tenta seguir a norma de qualidade dos centros americanos de referência em Economia. Afinal, como os dados deste trabalho mostrarão, em média, nem os principais departamentos de Economia dos Estados Unidos atingem a meta de uma publicação anual nos periódicos de ponta.

2

A excelência americana de pesquisa em Economia não se restringe ao "mainstream". Vários heterodoxos importantes trabalham nos Estados Unidos, por exemplo, Paul Davidson e Lance Taylor.

3

Quando não consegui identificar o ano de doutoramento do professor, eu o excluí da amostra, a menos que existisse uma publicação sua anterior a 1999.

4

Todos os 41 periódicos analisados por Kim et alii (2006) fazem parte da lista de Barret et alii (1998), com exceção do

Review of Financial Studies, que é um dos quatro principais periódicos de Finanças.

5

Hodgson e Rothman (1999) argumentam que os editores dos principais periódicos em Economia estimulam análises mais detalhadas para aumentar o tamanho das publicações e, conseqüentemente, reduzir o número de artigos. Tal estratégia aumenta o prêmio por publicação, reforçando o poder de mercado dos principais periódicos.

6

Vários pesquisadores das melhores escolas americanas correriam o risco de, em algum triênio, não se qualificarem para uma bolsa de produtividade de pesquisa do CNPq.

7

A alta produtividade dos professores titulares dos centros americanos de excelência é consistente com o argumento de que o sistema de "tenure" desenvolve hábitos de pesquisa que têm efeitos benéficos de longo prazo (vide Faria e Monteiro (2008)).

8

Uma possível explicação para a menor produção dos pesquisadores nos EUA é a presença de professores assistentes, que ainda estão desenvolvendo suas técnicas de pesquisa. Ou seja, a produção dos brasileiros seria maior, porque os professores assistentes puxariam para baixo a média de publicação dos pesquisadores nos EUA. Contrariamente a essa hipótese, as

Tabelas 4 e

5 mostram que, em média, os pesquisadores do CNPq produzem mais do que os professores associados nos EUA.

9

Diferentemente dos heterodoxos dos centros americanos, os pesquisadores heterodoxos do CNPq não publicaram nenhum artigo entre os periódicos de maior impacto de citações (1 a 50).

10

As taxas de aceitação de artigos dos quatro principais periódicos de Finanças (

Journal of Finance, Journal of Financial Economics, Review of Financial Studies e

Journal of Financial and Quantitative Analysis) estão disponíveis na Internet. Em julho de 2007, as taxas eram inferiores a 15%, em todos os quatro periódicos.

Datas de Publicação

• Publicação nesta coleção
  17 Mar 2009
• Data do Fascículo
  Dez 2008