AVALIAÇÃO DO PROGRAMA DE PRODUTIVIDADE EM PESQUISA DA UNIVERSIDADE FEDERAL DO TOCANTINS: UM OLHAR SOB A ÓTICA DA ECONOMIA COMPORTAMENTAL

EVALUATION OF THE PRODUCTIVITY IN RESEARCH PROGRAM OF THE FEDERAL UNIVERSITY OF TOCANTINS: A LOOK UNDER THE OPTICS OF THE BEHAVIORAL ECONOMICS

RESUMO

O presente estudo buscou compreender os efeitos do uso de incentivos na produtividade dos docentes beneficiados pelo Programa de Produtividade em Pesquisa (PPP) da Universidade Federal do Tocantins (UFT), sob a ótica da Economia Comportamental. Teve como objetivos (i) verificar se, por meio dos incentivos, os indivíduos aumentaram ou não a produtividade em pesquisa; (ii) identificar quais características individuais impactaram mais a propensão dos indivíduos a ingressarem no programa; e (iii) analisar se os resultados obtidos convergiram ou divergiram da teoria da Economia Comportamental. Foi realizada análise documental (AD), na qualforam analisados os currículos Lattes dos 125 integrantes da amostra. Com os resultados obtidos na AD, foram utilizadosos métodos de avaliação de impacto Propensity Score Matching e Diferença em Diferenças para aferir o efeito do tratamento. Durante a vigência do programa, houve aumento da média de produtividade nos dois grupos analisados, porém com maior evolução no grupo de controle, o que demonstra os limites dos incentivos financeiros sobre o desempenho dos indivíduos, como preconiza os pressupostos teóricos da Economia Comportamental.

PALAVRAS-CHAVE:
economia comportamental; produtividade dos docentes; incentivos financeiros

ABSTRACT

The present study sought to understand the effects of the use of incentives on the productivity of teachers benefiting from the Research Productivity Program (PPP) of the Federal University of Tocantins (UFT), from the perspective of Behavioral Economics. It had as objectives, (i) to verify if through the incentives, the individuals increased or not the productivity in research; (ii) identify which individual characteristics most impacted individuals' propensity to enter the program; (iii) to analyze whether the results obtained converged or diverged from the theory of behavioral economics. A documentary analysis (DA was performed, where the Lattes curriculum of the 125 sample members were analyzed. With the results obtained in the DA, the impact assessment methodsPropensity Score Matching and Difference in Differences were used to gauge the treatment effect. During the validity of the program, there was an increase in the average productivity in the two groups analyzed. In general, the results achieved converged with the theoretical assumptions of Behavioral Economics.

KEYWORDS:
behavioral economics; teacher productivity; financial incentives

1. Introdução

No início dos anos 1950, um movimento para contestar os ideais econômicos neoclássicos vigentes tomou forma, dando origem a uma nova abordagem no campo das Ciências Econômicas que ficou conhecida como Economia Comportamental (EC). Uma das principais fontes de descontentamento dos defensores da nova disciplina era o caráter pouco realista das hipóteses que alicerçavam as teorias neoclássicas (SIMON, 1955, 1978). Para os comportamentalistas esse fato contribuía para que a teoria econômica de caráter neoclássico fosse questionada e tivesse vários limites ao se deparar com a complexidade dos problemas econômicos.

Hodiernamente, a Economia Comportamental tem sido utilizada para embasar e estruturaro desenho e a formulação de políticas públicas, com o intuito de torná-las mais efetivas (BHARGAVA e LOEWENSTEIN, 2015). Estudiosos da área consideram que os programas e políticas públicas formuladoscom base no modelo teórico econômico neoclássico atingem seus resultados de forma rasa e genérica, por não considerarem as reais necessidades de seu público-alvo (THALER e SUNSTEIN, 2008; LOW, 2011; SOMAN, 2015). Nesse sentido, têm se focado em desenvolver programas e políticas estruturadas com base na EC em diferentes campos de conhecimento, a saber: saúde, finanças, direito, previdência e educação (SAMSON, 2014) para que novas soluções e designs de políticas públicas sejam propostos.

Alguns países têm se destacado na adoção da EC para impulsionar o alcance dos objetivos de suas políticas, entre os quais se incluem Estados Unidos, Reino Unido e Áustria. Dentre as medidas adotadas por esses países para fomentar a criação de programas e políticas, foram criados órgãos ligados ao governo com a finalidade exclusiva de criar e implementar intervenções de cunho comportamental. Os EUA criaram o Social and Behavioral Sciences Team (SBST) e, no Reino Unido, foi criado o Behavioral Insights Team (BIT). Já a Áustria tem como uma de suas principais políticas influenciadas pela EC a política de doação de órgãos (LOURENÇO, 2016). Embora sejam crescentes as intervenções baseadas na EC, ainda há predomínio da utilização do modelo econômico neoclássico na formulação de programas e políticas públicas, o que tem gerado controvérsias no âmbito dos teóricos comportamentalistas.

Dentre as práticas adotadas no desenho e formulação de políticas públicas influenciadas pelo modelo econômico neoclássico, contestadas pela EC, e que ainda são largamente utilizadas, pode-se citar o uso de incentivos financeiros para estimular a produtividade dos indivíduos, sem considerar outros aspectos, como a perda de eficácia desse incentivo ao longo do tempo, e que as pessoas nem sempre fazem escolhas racionais e dispõem de informações precisas para a sua tomada de decisão.

Essa prática, em geral, é permeada pelo mito de que o pagamento a mais por um serviço inevitavelmente conduzirá a resultados de melhor qualidade em decorrência de um maior empenho e esforço de quem o recebe (GLASZIOU et al., 2012). Ariely et al. (2005) consideram que existem dois principais pilares que sustentam a ideia de que as pessoas aumentarão e melhorarão seu desempenho caso recebam incentivos econômicos: (i) aumentando-se o incentivo para estimular a performance, a motivação e o esforço do indivíduo para executar determinada tarefa também irão aumentar; e(ii) o aumento da motivação e do esforço resultará no aumento e melhora da performance.

Os economistas comportamentais questionam se esse tipo de ação é suficiente para motivar e/ou estimular as pessoas a se empenharem mais na execução de suas tarefas (ARIELY et al., 2005; KAMENICA, 2012; SOMAN, 2015). Nesse sentido, Gneezy e Rustichini (2000) destacam que nem sempre o desenho de determinada política pública é adequado para ofertar incentivos financeiros, o que muitas vezes gera resultados diversos do esperado, tais como o esvaziamento da motivação intrínseca, o distanciamento social e baixa da produtividade dos indivíduos afetados, direta ou indiretamente, pelos programas e políticas de incentivo (VOHS et al., 2006; GLASZIOU et al., 2012).

Os estudos publicados e levantados sobre programas de concessão de produtividade em pesquisa no Brasil são, em sua maior parte, descritivos e discutem os condicionantes do programa. Também aspectos da distribuição regional das bolsas de produtividade são abordados.

Dentre eles destacam-se os estudos realizados por Santos, Candido e Kuppens (2010), Silva (2011) e Leite e Rocha Neto (2017), em que analisaram o perfil dos pesquisadores de áreas de conhecimento distintas que receberam bolsas de produtividade em pesquisa. Esses diferentes estudos têm como ponto comum o destaque de uma forte concentração de bolsistas PQ na região Sudeste e a pequena ocorrência deles na região Norte, aspectobastante relacionado à infraestrutura disponível nas instituições acadêmicas e de pesquisa daquela região.

Wainer e Viera (2013), em um trabalho de fôlego, deram ênfase na análise da produtividade em pesquisa utilizando medidas bibliométricas nas grandes áreas do conhecimento. Concluíram que nas áreas de agrárias, engenharias e exatas existe uma correlação mais forte entre produção científica e citações na renovação das bolsas PQ que em áreas ligadas a humanidades. Já Oliveira e Mello (2014) sistematizaram as opiniões dos pesquisadores da área de biociências sobre os critérios para concessão de bolsas PQ. Os resultados indicaram que os pesquisadores respondentes demandaram a aplicação de rigor, ética e integridade na avaliação de projetos de pesquisa e que se valorize o mérito da pesquisa, evitando-se apenas a quantificação de itens do currículo Lattes (CL).

Destarte, não foram encontradas pesquisas publicadas no País utilizando métodos de avaliação de impacto sobre os efeitos de programas de produtividade em pesquisa sobre o desempenho individual dos pesquisadores, lacuna esta preenchida pela pesquisa descrita no presente artigo.

Nesse sentido, o presente artigo investigou o Programa de Produtividade em Pesquisa (PPP) da Universidade Federal do Tocantins (UFT) com o intuito de verificar (i) se o oferecimento de incentivos financeiros, na forma de bolsas de produtividade em pesquisa, contribuiu ou não para o aumento da produtividade dos pesquisadores que os receberam; (ii) quais características individuais mais impactaram na propensão em participar do programa; e (iii) se o resultado do tratamento convergiu ou divergiu dos pressupostos da Economia Comportamental no que tange ao uso de incentivos financeiros para aumento da produtividade.

A investigação do efeito do uso de incentivos financeiros para estímulo da produtividade dos beneficiários do programa se faz importante porque, com os resultados em mãos, é possível propor ações incrementais, em caso de resultado positivo, ou ações corretivas e/ou preventivas, no caso de resultados negativos, com o intuito de aprimorar o desenho do programa. Da mesma forma, por meio da compreensão dos fatores individuais que interferem na propensão do indivíduo a participar do programa, é possível remodelar o programa a fim de torná-lo mais efetivo na consecução de seus objetivos. E com um programa de incentivo à produtividade em pesquisa funcionando plenamente, seus resultados poderão ser convertidos em tecnologias úteis em benefício da sociedade.

2. Objeto de estudo: Programa Produtividade em Pesquisa (PPP) da Universidade Federal do Tocantins

As normas gerais e específicas que regulamentam as modalidades de bolsas individuais no País são editadas e publicadas pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Dessa forma, a norma vigente que norteia tais modalidades é a Resolução Normativa (RN) nº 028/2015. Em específico, o Anexo III dessa normativa regulamenta as bolsas de produtividade em pesquisa (PQ) ofertadas no País.

De acordo com a RN nº 028/2015, as bolsas PQ são destinadas “aos pesquisadores que se destaquem entre seus pares, valorizando a sua produção científica segundo critérios normativos estabelecidos pelo CNPq” (CNPQ, 2015). Entre os critérios necessários para os pesquisadores concorrerem às bolsas destacam-se: necessidade de possuírem título de doutor ou perfil científico equivalente; ser brasileiro ou estrangeiro em situação regular no País; e dedicar-se às atividades constantes de seu pedido de bolsa. Os critérios estipulados pela normativa são revistos a cada três anos e divulgados no portal do CNPq na internet.

Na região Norte do País existe uma baixa concessão das bolsas de produtividade em pesquisa. Segundo dados disponibilizados pelo portal do CNPQ, durante o quadriênio de 2012/2015, o Norte do País recebeu um total de 365 bolsas na modalidade produtividade em pesquisa. A região Centro-Oeste recebeu 1074 bolsas PQ e Nordeste 2235 bolsas. Já as regiões Sul e Sudeste foram as regiões que mais receberam bolsas PQ. O Sul recebeu 3467 e o Sudeste 10792. O Gráfico 1 demonstra a distribuição das bolsas PQ por região geográfica em termos percentuais.

Gráfico 1
Distribuição de bolsas PQ no Brasil por região geográfica, 2012/2015

Das 365 bolsas PQ recebidas pela região Norte no quadriênio 2012/2015, apenas 28 bolsas PQ foram destinadas para o Tocantins. Por essa baixa concessão de bolsas PQ do CNPq para o estado, foi pensado um programa próprio para a UFT.¹

O primeiro edital do programa institucional de incentivo à produção e desenvolvimento de pesquisas cientificas da Universidade Federal do Tocantins (UFT), Edital 16/2013 - Produtividade em Pesquisa UFT (PPP) foi lançado pela Pró-Reitoria de Pesquisa e Pós-Graduação (PROPESQ) no dia 4 de novembro de 2013, no site institucional da universidade (www.uft.edu.br). Teve como público alvo professores que tivessem cursado e concluído pós-graduação stricto sensu doutorado.

Posteriormente foram lançados mais dois editais para ingresso no programa: um no dia 9 do mês de setembro de 2014 (Edital PROPESQ 21/2014) e o outro no dia 14 do mês de outubro de 2015 (Edital PROPESQ 31/2015), referentes à concessão de bolsas previstas para os anos de 2015 e 2016, respectivamente. Para o presente trabalho foram considerados apenas os editais de 2013 e 2014, com a subsequente concessão de bolsas nos anos 2014 e 2015.

O critério de avaliação dos candidatos ocorreu em função da análise do currículo cadastrado na Plataforma Lattes (PL) do CNPq. Foram extraídas do currículo Lattes (CL) informações referentes à produtividade do pesquisador, considerando sua produção nos cinco anos anteriores à publicação do edital. Ou seja, no caso do edital de 2013, produções feitas até o ano de 2009; e, no caso do edital de 2014, produções feitas até o ano de 2010.

Os pleiteantes ao ingresso no programa concorreram nas seguintes áreas do conhecimento: Ciências Agrárias; Ciências Biológicas/Saúde; Engenharias, Ciências Exatas e da Terra; Ciências Humanas, Sociais Aplicadas e Letras.

Embora em linhas gerais o programa estimule a melhora do rendimento docente para a obtenção da bolsa de produtividade em pesquisa, pode-se dizer que ele também estimula a melhora do rendimento após o recebimento da bolsa. O estimulo pré-bolsa se justifica pela necessidade de os candidatos ao programa necessitarem de publicações (que serão tabuladas) para obterem pontos suficientes para o ingresso nas vagas disponibilizadas. Por outro lado, o estimulo pós-bolsa se justifica pelo programa ser um “trampolim” para os programas de concessão de bolsas do CNPq, conforme depreende-se do item 1.2 do Edital nº 16/2013 - PROPESQ:

O Programa objetiva ainda incentivar e induzir os servidores doutores da UFT a submeterem projetos aos Editais do CNPq para concessão de bolsas nas modalidades “Produtividade em Pesquisa (PQ)” e “Produtividade em Desenvolvimento Tecnológico e Extensão Inovadora (DT)”, o que tem reflexo direto na capacidade da UFT em avançar no campo da pesquisa. Por isto, tem como público-alvo servidores que no futuro podem submeter e manter bolsas de fomento à excelência científica. (EDITAL nº 16/2013 PROPESQ-UFT, p. 01)

Ou seja, a estratégia é fomentar localmente o estímulo ao avanço científico na UFT para que seus profissionais se desenvolvam e tenham as condições necessárias para concorrer e manter bolsas de fomento científico do CNPq, em âmbito nacional.

3. Metodologia

3.1 Base de dados

Os dados utilizados neste trabalho foram extraídos de três fontes. A primeira provém dos editais publicados pela UFT por intermédio da PROPESQ. Dos editais de divulgação do resultado final da seleção do PPP foram extraídos os nomes das pessoas que participaram da seleção. Neles constavam informações quanto ao status da classificação do candidato: se ele havia sido contemplado ou se havia ficado como suplente (cadastro de reserva) e sua classificação. Para este trabalho, consideram-se os candidatos contemplados como o grupo de tratamento e os suplentes como o grupo controle.

Para aumentar o tamanho do grupo controle de forma a tornar mais rica as possibilidades de comparação entre o grupo de tratamento e o grupo controle e com isso aumentar a precisão do estudo foi utilizado o Edital PROPESQ 15/2016 relativo ao Programa Novos Pesquisadores (PNP) da UFT. Desse edital foram extraídos todos os candidatos cujo perfil se enquadrasse nos pré-requisitos estipulados para participação no PPP.

Em posse da relação dos candidatos que comporiam os grupos de tratamento e controle definidos, partiu-se para a segunda fonte de dados, a Plataforma Lattes (PL), da qual foram extraídos os CL dos candidatos para realização da análise documental. Dessa forma, os CL foram extraídos da PL entre os meses de setembro e outubro do ano de 2017.

Por fim, a terceira fonte de dados foi o Portal da Transparência do Governo Federal (portaltransparencia.gov.br), um sítio eletrônico, de responsabilidade do Ministério da Transparência, Fiscalização e Controladoria Geral da União, que permite a consulta de informações sobre despesas, gastos, convênios dispendidos pelo Governo Federal, e do qual foi possível complementar as informações não obtidas por meio da análise dos CL.

3.2 Descrição dos dados

Como o critério de ingresso no PPP consistiu basicamente na análise do currículo Lattes, as variáveis estudadas na pesquisa foram retiradas do próprio CL. As variáveis independentes utilizadas no estudo foram POS, SEXO, CONCGRA, CONCDOC e CAPITAL. Já as variáveis respostaforam XANT, XPOST e D_PROD. A variável dependente foi definida como SITU.

Considerando que um dos objetivos desse estudo foi aferir se a oferta de incentivos financeiros contribuiu ou não para o aumento da produtividade em pesquisa dos participantes do programa, foi escolhida como variável dependente o grupo de indivíduos que recebeu os incentivos financeiros, ou seja, integrantes do grupo de tratamento, afim de verificar se os incentivos surtiram os efeitos previstos, ou seja, aumento da produtividade dos tratados, ou se houve outros elementos comportamentais intervenientes. A principal diferença entre as variáveis independente e dependente é que, enquanto a primeira se refere às variáveis que podem ser manipuladas, a segunda não se manipula, pois depende da resposta que os sujeitos darão diante de uma determinada situação. A Tabela 1 apresenta as variáveis utilizadas no trabalho, os tipos de variáveis e uma breve descrição a respeito do que cada variável se propõe a medir ou informar.

Tabela 1
Descrição das variáveis utilizadas nas estimaçõe s

Tipo	Variável	Descrição
Dependente	SITU	Remete à situação dos candidatos: se pertencem ao grupo de tratamento (situ=1) ou ao grupo controle (situ=0)
Independente	SEXO	Sexo dos candidatos: se feminino ou masculino
	CONCGRAD	Tempo de conclusão da graduação
	CONCDOC	Tempo de conclusão do doutorado
	POS	Se é docente ou não de programa de pós-graduação na UFT
	CAPITAL	Se reside ou não na capital
Resposta	XANT	Resultado da produtividade média do pesquisador no período anterior ao recebimento da bolsa
	XPOST	Resultado da produtividade do pesquisador no período posterior ao recebimento da bolsa
	D_PROD	Diferença entre a produtividade do ano de recebimento da bolsa e a produtividade do ano anterior

• Fonte: Elaboração dos autores, com dados extraídos dos currículos Lattes, 2017.

Após verificação da estrutura do PPP e das variáveis que compuseram este estudo, segue apresentação da metodologia utilizada para verificação do efeito do tratamento na produtividade dos indivíduos.

3.3 Procedimentos empíricos

A atribuição da pontuação referente à produtividade em pesquisa dos indivíduos da amostra foi realizada por meio de análise documental. Foram analisados 125 Currículos Lattes,dos quais foram extraídos os dados que foram tabulados com base na tabela de pontuação constante no Edital de Abertura do PPP nº 16/2013.

Tabela 2
Tabela de pontuação do CL

ATIVIDADES	PONTUAÇÃO
Docente permanente atual em Programa de Pós-Graduação Stricto Sensu	15
Orientação atual de Pibic como proponente original (Independentemente do número debolsistas orientados)	10
Artigos completos publicados em periódicos
A1	15
A2	13
B1	11
B2	08
B3	06
B4	04
B5	02
C	1
Demais periódicos indexados em plataformas científicas nacionais ouinternacionais	0,5
Participação como parecerista ou membro do Comitê Interno do programa Pibic da UFT (por ano)	01
Participação como revisor ou membro do Conselho Editorial da Editora da UFT (por ano)	01
Participação como membro no CTC da UFT (por ano)	01

• Fonte: Edital 16/2013 e 21/2014.

Para verificação do impacto do recebimento do incentivo financeiro na produtividade dos pesquisadores contemplados pelo PPP foram utilizados os modelos de avaliação Propensity Score Matching (PSM), ou escore de propensão por pareamento, e DiferençaemDiferenças (DD).

O PSM foi popularizado após célebre artigo escrito por Rosenbaum e Rubin no ano de 1983, chamado The central role of the Propensity Score in observational studies for causal effects. Trata-se de um modelo estatístico aplicado para balancear um conjunto de características contidas em bases de dados distintas para tornar os grupos de tratamento e controle mais homogêneos tanto quanto for possível em relação às características contidas nesses bancos de dados (STUART et al., 2014). Para Lunt (2014), o objetivo desse balanceamento é possibilitar a comparação entre dois elementos que tenhamcondições probabilísticas similares levando-se em consideração o alcance dos resultados esperados por uma dada intervenção.

De acordo com Pan e Bai (2015), existem quatro principais passos para estimação do escore de propensão em estudos observacionais, a saber: estimação do escore de propensão; uso do algoritmo para definição do escore; avaliação da qualidade do pareamento e análise do resultado após o pareamento. Heinrich, Maffioli e Vázquez (2010) estão de acordo com os passos propostos pelos autores citados. Dessa forma, para fins de realização deste trabalho, foi adotada a sequência sugerida por Pan e Bai (2015). De forma sucinta, a Tabela 2 sintetiza os passos propostos pelos autores.

Tabela 3
Passos para criação do escore de propensão

Passo	Descrição
01	Estimação do escore de propensão por meio de regressão logística (probit) e cálculo do efeito marginal
02	Escolha do algoritmo (método) para parear os elementos: Radius Matching: uso de caliper
03	Avaliação da qualidade do pareamento. Feito graficamente.
04	Análise do resultado após o pareamento: Análise de Sensibilidade - Teste estatístico Mantel e Haenszel.

• Fonte: Elaboração dos autores.

Para rodar o PSM foi utilizado o programa desenvolvido por Leuven e Sianesi (2003), psmatch2, por meio do software estatístico Stata, versão 13.

Já o DD foi utilizado para avaliar o programa por meio da comparação das mudanças ocorridas ao longo do tempo nos grupos de tratamento e controle (antes da intervenção e depois da intervenção). Stuart et al. (2014) consideram que esse método pode fornecer resultados sem vieses se a tendência ao longo do tempo for a mesma entre os grupos de controle e de tratamento na ausência do programa. Tanto o PSM quanto o DD forneceram como resultado o efeito do tratamento sobre os indivíduos que receberam a intervenção (ATT).

Em geral, o modelo DD é utilizado para avaliar políticas ou programas por meio da comparação das mudanças ocorridas entre dois grupos: um submetido a intervenção e outro não (GERTLER et al., 2011). A diferença encontrada nessa comparação pode ser considerada como efeito da política (STUART et al., 2014).

A seguir foram relatados os resultados obtidos por meioda utilização dos métodos descritos, visando ao alcance dos objetivos propostos.

4 Resultados e discussão

Embora oriunda de diferentes áreas de conhecimento, a amostra se dividiu em dois grupos: um composto por indivíduos que não receberam tratamento, grupo controle (SITU = 0) (pleiteantes a ingressar no programa que foram classificados como suplentes) e os candidatos inscritos com perfil para se enquadrarem no programa;outro com indivíduos que receberam o incentivo financeiro, grupo de tratamento (SITU = 1), (classificadoscomo contemplados). Dos 125 currículos (CL) analisados, 85 pertenciam a integrantesdo grupo controle e 40 a integrantes do grupo de tratamento.

Conforme visto, o primeiro passo para o cálculo do escore de propensão (EP) é a utilização do modelo de regressão probit. Por meio da regressão foi possível verificar as características individuais dos candidatos que mais contribuíram para a obtenção do incentivo financeiro.

As variáveis independentes utilizadas para representar as características individuais foram CONCGRAD, referente ao tempo de conclusão da graduação; CONCDOC, referente ao tempo de conclusão do doutorado; CAPITAL, variável que indica a localidade em que o pesquisador está lotado; SEXO, variável que indica o sexo do pesquisador (a); e POS, variável binária que indica se o indivíduo integra ou não algum programa de pós-graduação stricto sensu da UFT.

Já a variável dependente utilizada foi SITU, variável binária que indica a situação do candidato: se foi contemplado com o incentivo financeiro e faz parte do grupo de tratamento ou se não foi contemplado com o incentivo e faz parte do grupo de controle. Na Tabela 4 podem ser vistos os resultados gerados pela rodagem do modelo probit no Stata.

Tabela 4
Regressão probit: Contribuição das características individuais para obtenção da bolsa produtividade em pesquisa da Universidade Federal do Tocantins

Variáveis independentes	Coeficientes.	Erro Padrão	P>|z|
Tempo de conclusão de graduação	-.1002789	.0359288	0.005
Tempo conclusão de doutorado	.1711044	.0480949	0.000
Participação Pós-Graduação	.5249741	.263562	0.046
Residência na capital	.5800441	.2673792	0.030
Sexo	.5044831	.2653578	0.057
_cons	-.9285208	.4486046	0.038

• Fonte: Elaboração dos autores.

Partindo da análise da Tabela 3, verifica-se que somente a variável CONCDOC foi estatisticamente significativa emum nível de 1% para determinar a propensão do pesquisador em participar ou não do programa. Já as variáveis CONCGRAD, POS e CAPITAL mostraram-se significativas emum nível de 5%. Por fim, a variável SEXO mostrou-se estatisticamente significativa emum nível de 10% de confiança na determinação da propensão do pesquisador em participar ou não do programa PPP. Em outras palavras, as variáveis analisadas impactaram significativamente a probabilidade de participação, ou não, do indivíduo no programa.

De posse dos resultados obtidos no modelo probit, procedeu-se ao cálculo do efeito marginal, ou seja, calculou-se a probabilidade da oscilação da variável de resultado caso fossem modificados os regressores (variáveis independentes), conforme pode ser visto na Tabela 5.

Tabela 5
Efeito marginal das variáveis independentes

Variáveis	Efeito Marginal	Erro Padrão	P>|z|
Tempo de conclusão de graduação	-.0297708	.0097068	0.002
Tempo de conclusão de doutorado	.0507974	.0120615	0.000
Participação em programa de pós-graduação stricto sensu	.1558542	.0744307	0.036
Campus de lotação	.1722034	.0751751	0.022
Sexo	.1497709	.0755296	0.047

• Fonte: Elaboração dos autores.

Os resultados obtidos indicaram que a probabilidade predita de sucesso é 5% maior para indivíduos que têmmaior tempo de conclusão de doutorado. Para indivíduos inseridos em programas de pós-graduação stricto sensu, a probabilidade predita é 15,58% maior de ingresso no programa. Indivíduos lotados no campus universitário de Palmas têm 17,22% maior probabilidade de ingresso no programa e indivíduos do sexo masculino têm 14,97% maior probabilidade de sucesso de participação no programa.

Em relação ao escore de propensão, por se tratar de uma probabilidade, necessariamente deve estar localizado entre o intervalo [0,1]. O escore de propensão é a probabilidade de participação de um indivíduo no tratamento. A Tabela 6 apresenta o escore de propensão estimado para participação no PPP.

Tabela 6
Escore de propensão

Escore de Propensão
Variável	Nº Obser.	Média	Desvio Padrão	Min	Max
Myscore	125	.3191347	.203762	.0047725	.815876

• Fonte: Elaboração dos autores.

Como pode ser visto na Tabela 6, o escore de propensão estimado para participação no PPP da UFT é 0.3191. Isso quer dizer que os indivíduos têm probabilidade de 31,91% de participar do programa. A menor probabilidade de participação estimada foi 0,004772 (ou 0,47%), e a máxima foi 0,8158 (ou 81,58%). Esses valores demonstraram que há uma variabilidade grande entre escores de propensão dos indivíduos. Nesse sentido se torna imprescindível controlar essa variabilidade para tornar possível a avaliação do efeito do tratamento.

Depois de estimado o escore de propensão (regressão probit), realizou-se o pareamento dos indivíduos contidos nos grupos. Em linhas gerais, os membros do grupo de tratamento foram pareados com os membros do grupo controle com valores de escore de propensão próximos, considerando as características observáveis (variáveis independentes; vetor X) (HEINRICH, MAFFIOLI e VÁZQUEZ, 2010), coletadas de seus respectivos currículos Lattes. Após o pareamento dos indivíduos com valores de X próximos (feito por meio do PSM), eles foram comparados com base na estimativa da probabilidade de uma unidade receber tratamento (escore de propensão).

Tabela 7
Efeito do tratamento nos tratados (ATT) no Programa Produtividade em Pesquisa, Universidade Federal do Tocantins

Variável	Amostra	Tratados	Controle	Diferença
Período posterior ao tratamento	Não pareado	34.76	19.01	15.74
	Efeito do trat. tratados	34.76	24.23	10.52

• Fonte:Elaboração dos autores.

Para aferir o efeito do tratamento nos tratados (Average Treatment Effect of Treated - ATT) foi utilizada a variável resultado XPOST, que indica a produção dos pesquisadores no ano do recebimento do incentivo financeiro. Conforme mostra a Tabela 7, na ausência do pareamento, a diferença da média de produtividade entre o grupo dos tratados e o grupo dos nãotratados foi de 15,74 pontos. Após a realização do pareamento a diferença diminuiu. A tabela indica que a diferença entre a média dos tratados e nãotratados foi de 10,52 após o pareamento.

O pareamento utilizando o algoritmo Radius Matching com caliper (para tornar o pareamento mais preciso e, com isso, obter resultados mais significativos) utilizou todos os indivíduos da amostra, tanto do grupo de tratamento quanto do grupo controle. Para aferição da qualidade do pareamento foi utilizado o gráfico de densidades. Através deste gráfico foi possível perceber como ficou a distribuição das densidades dos escores de propensão após o pareamento.

Gráfico 2
Densidade dos escores de propensão antes e depois do pareamento

Analisando-se o Gráfico 2 é possível perceber a sobreposição total da curva que indica a densidade dos escores de propensão do grupo controle, sobre a curva que indica a densidade dos escores de propensão do grupo de tratamento. E, comparando os dois gráficos, percebe-se que, após o pareamento, as variáveis independentes foram controladas, tornando possível a comparação dos grupos em condições de igualdade estatística, indicando que o pareamento foi realizado com êxito.

Para realizar a avaliação do resultado do programa após o pareamento foi realizada análise de sensibilidade utilizando o teste estatístico Mantel e Haenszel (QMH). Por meiodo QMH foi possível verificar o nível de robustez necessário para que uma variável nãoobservada influencie a realização do pareamento a ponto de comprometer seus resultados e análise, visto que, em regra, o estudo deve selecionar apenas variáveis observáveis (DIXIT et al., 2013). Na Tabela 8 segue o resultado do teste QMH.

Tabela 8
Avaliação do resultado pós pareamento, análise de sensibilidade, Teste QMH

	Gamma	Q_mh+	Q_mh-	p_mh+	p_mh-
	1	2.52702	2.52702	.005752	.005752
	1.05	2.47197	2.60349	.006718	.004614
	1.1	2.4108	2.66774	.007959	.003818
	1.15	2.35325	2.7301	.009305	.003166
	1.2	2.29896	2.79069	.010754	.00263
	1.25	2.24762	2.84963	.0123	.002188
	1.3	2.19896	2.90704	.01394	.001824
	1.35	2.15276	2.963	.015669	.001523
	1.4	2.10879	3.01762	.017481	.001274
	1.45	2.06688	3.07095	.019373	.001067
	1.5	2.02687	3.12309	.021338	.000895
	1.55	1.9886	3.17409	.023373	.000752
	1.6	1.95196	3.22401	.025472	.000632
	1.65	1.91682	3.27291	.027631	.000532
	1.7	1.88307	3.32084	.029845	.000449
	1.75	1.85063	3.36784	.032111	.000379
	1.8	1.81941	3.41397	.034425	.00032
	1.85	1.78932	3.45926	.036781	.000271
	1.9	1.76031	3.50375	.039178	.000229
	1.95	1.73229	3.54747	.041611	.000194
	2	1.70522	3.59045	.044076	.000165
	2.05	1.67904	3.63274	.046572	.00014
	2.1	1.6537	3.67435	.049095	.000119
	2.15	1.62914	3.71531	.051641	.000101
	2.2	1.60534	3.75564	.05421	.000086
	2.25	1.58224	3.79538	.056797	.000074
	2.3	1.55982	3.83455	.059401	.000063
	2.35	1.53804	3.87315	.06202	.000054
	2.4	1.51686	3.91122	.064651	.000046
	2.45	1.49626	3.94878	.067293	.000039
	2.5	1.47621	3.98583	.069944	.000034

• Fonte: Elaboração dos autores a partir de Mantel-Haenszel (1959).

Em um estudo livre de vieses ocultos, onde$\Gamma =1$ o resultado apontado pelo teste estatístico QMH foi semelhante (2.52), constituindo evidência de que os incentivos financeiros utilizados impactaram moderadamente a produtividade dos indivíduos. Na tabela, p_mh+ indica os níveis de significância dos níveis de gamma à medida que seus valores vão crescendo. Dessa forma, como pôde ser visto, os índices de p_mh+ mostraram-se estatisticamente significativos em um nível de 5% de confiança até gamma 2.1. De gamma 2.2 em diante, o p_mh+ mostrou-se estatisticamente significativo emum nível de 10%. Os resultados apontaram que o estudo ficou livre de variáveis nãoobserváveis e de vieses ocultos oriundos da seleção das variáveis. Considera-se, assim, que o resultado do pareamento não sofreu interferências externas e a análise de seu resultado não restará prejudicada.

De posse do efeito do tratamento sobre os tratados (ATT) no período posterior ao recebimento da bolsa, buscou-se descobrir a diferença de produtividade entre o período pós-tratamento e o período pré-tratamento. Ou seja, mensurar o impacto do incentivo financeiro na produção em pesquisa dos pesquisadores por meiodo modelo “diferença em diferenças” (DD).

Para aferição da DD foram utilizadas as mesmas configurações usadas no PSM para obtenção do ATT no ano de recebimento do incentivo: Radius Matching com caliper. O resultado da aplicação do modelo pode ser visto na Tabela 9.

Tabela 9
Aplicação do método Diferença em Diferenças (DD) no Programa Produtividade em Pesquisa, Universidade Federal do Tocantin s

	Média Tratados (situ=1)	Média Controle (situ=0)	Diferenças
Período posterior tratamento (PP)	34.76	24.23	10.52
Período anterior tratamento (PA)	31.74	17.02	14.71
Resultado das diferenças			- 4,18

• Fonte: Elaboração dos autores.

Odesvio padrão (DP) encontrado no modelo DID indica que a dispersão dos dados do estudo em relação à média é 13,52 pontos. A significância do DP encontrada, p-value, foi 0,0054, o que demonstra que a diferença entre as médias é estatisticamente significante.

Com basenos resultados obtidos no modelo DD, chegou-se a uma abrangente avaliação de impactos do Programa de Produtividade em Pesquisa da UFT: (i) a produção científica dos indivíduos que receberam a Bolsa Produtividade em Pesquisa (tratados) cresceu 9,52% (3,02 pontos) após o recebimento do incentivo financeiro; (ii) a produção científica dos indivíduos que não receberam a Bolsa Produtividade em Pesquisa (grupo controle) cresceu 42,30% (7,20 pontos) durante o período de vigência dessa política; e (iii) por meio do cálculo da diferença entre o período posterior ao tratamento e período anterior, o efeito do tratamento nos tratados foi -4,18 pontos. O resultado obtido demonstrou que houve uma maior aproximação entre a produção científica dos tratados e do grupo de controle, o que representa um efeito colateral positivo da política aplicada, visto que o Programa de Produtividade em Pesquisa da UFT tinha como interesse estratégico ser um bom sinalizador para a valorização da produção científica na instituição.

Conforme visto, o programa impactou positivamente o grupo de tratamento, impulsionando o aumento de sua produtividade média em 9,52%. O desempenho médio do grupo continuou num patamar alto, o que contribuiu para a manutenção de uma diferença de produtividade entre os grupos ainda considerável. Percebeu-se, porém, certo nível de acomodação na produtividade média do grupo. Talvez por terem alcançado uma boa média no período anterior e, com isso, a boa performance alcançada no período de tratamento tenha sido pouco sentida (se a média do período anterior não tivesse sido tão boa, o efeito do tratamento ficaria mais evidenciado). Ou, talvez, a acomodação nos níveis de produtividade tenha ocorrido em virtude de algumas das hipóteses elencadas pelos teóricos da economia comportamental.

Dentre elas, Deci (1971) demonstrou, por meio de estudos empíricos, que o uso de incentivos financeiros afeta a motivação intrínseca dos indivíduos, diminuindo-a, quando são usados como gratificações externas apenas por algum período de tempo. Segundo o autor, esse tipo de intervenção contribui para a redução do interesse dos indivíduos na continuidade das tarefas incentivadas, comprometendo a motivação para se esforçarem em finalizá-las após a retirada do incentivo (GNEEZY, MEIER e REY-BIEL, 2011).

Outra possibilidade a ser levada em consideração é o fato de o incentivo oferecido ter sido percebido como pequeno. Incentivos financeiros considerados pequenos podem gerar sentimentos de desvalorização e descrédito (ARIELY et al., 2005; KAMENICA, 2012) e também efeitos indesejados no comportamento esperado (GNEEZY, MEIER e REY-BIEL, 2011). Nesse caso, o sentimento de que o trabalho subsidiado está sendo feito por uma pequena quantidade de dinheiro e que o esforço despendido para sua execução não é válido, para Kamenica (2012), pode ter contribuído para impactar a motivação intrínseca dos beneficiários do programa (ARIELY et al., 2005).

Embora seja importante perceber e compreender o efeito do incentivo financeiro no empenho e esforço dos indivíduos, é preciso ter em mente que existem outros elementos impelindo-os a produzirem mais, conforme ficou evidenciado pela melhora abrupta do nível de desempenho dos nãotratados.

A possibilidade de participação no programa impulsionou o empenho dos não participantes do programa a produzirem mais, com o intuito de potencializar e incrementar seus níveis de produtividade e, em momento oportuno, alcançarem o status de bolsistas de produtividade em pesquisa (tal como uma recompensa futura). Já os integrantes do grupo de tratamento demonstraram certo nível de acomodação em seus níveis de produtividade, porém, mesmo assim, conseguiram superar a média de produtividade alcançada no período anterior ao programa, o que pôde ser conferido por meiodo efeito positivo do tratamento apontado pelo modelo PSM.

Ante o exposto, para além do impacto do incentivo financeiro na produtividade dos indivíduos, percebeu-se, neste estudo, que existem outros fatores que contribuíram para o aumento da produtividade dos indivíduos que não receberam tratamento. Os integrantes do grupo de controle, no geral, são pessoas que buscaram ingressar no programa, no entanto não alcançaram uma pontuação que lhes conferisse o status de participante.

Isso demonstra que, de alguma forma, integrar o rol de pessoas que recebem bolsas de produtividade em pesquisa, ou seja, integrar o grupo de pessoas que são financiadas para desenvolverem pesquisas científicas, constitui-se num mérito que poucas pessoas estão aptas a usufruir, e que, de certa forma, confere certa distinção entre os indivíduos que são “bolsistas de produtividade” e aqueles que não são. O próprio complemento “produtividade” remete a um indivíduo em constante ação, que, em conjunto com o substantivo “bolsista”, evidencia que a pessoa é paga para produzir trabalhos científicos, de natureza intelectual, os quais a maioria das pessoas em seu entorno não possui as credenciais necessárias para o intento (visto que apenas professores edoutores podiam se candidatar ao ingresso no programa), ou tentaram e não lograram êxito.

A possibilidade e o desejo de entrar nesse seleto grupo de pessoas parecem ter afetado a motivação dos indivíduos que não foram selecionados para o programa de forma que buscaram meios para num momento oportuno estarem em condições de ingressarem no programa; condição esta que perpassa pela aferição da produtividade pretérita acumulada, ou seja, quanto mais o indivíduo produzir, maiores são suas chances de ingressar no programa. E, de acordo com os resultados apontados pelo modelo DD, houve aumento substancial de 42,30% na produtividade dos integrantes do grupo controle de um período para outro, o que corresponde a quase o dobro da produtividade alcançada no período em que tentaram ingressar no programa.

Nesse sentido, Bourdieu (2003) explicita a dinâmica do campo científico trazendo relevantes contribuições para a compreensão do que está por trás do empenho dos indivíduos do grupo controle para aumentarem seus desempenhos. O célebre autor francês considera que o campo científico é um lugar onde as pessoas participam de uma forma de jogo, de uma luta concorrencial para ver quem conquistará o monopólio da autoridade cientifica estabelecida, e está intimamente ligada à capacidade oriunda dos requisitos técnicos e do poder social que uma pessoa demonstra ter. Em outras palavras, alcançar o status de “bolsista produtividade” simboliza que uma determinada pessoa tem o monopólio da competência científica que a confere a capacidade de falar e agir legitimamente, de maneira autorizada pelas pessoas que legitimam esse poder. As pessoas que buscaram alcançar esse status, e que consideram o alcance desse objetivo como uma mudança de nível na carreira, legitimam a autoridade daqueles que já conquistaram o feito.

De fato, o campo científico pode ser compreendido como um jogo dinâmico de busca de autoridade e poder, que só se torna autêntico e legítimo quando balizado e medido pelo reconhecimento dos pares. Não importa muito se as pessoas de outros campos reconheçam um pleiteante a ingressar no campo como autoridade. É preciso que as pessoas integrantes do campo científico reconheçam e legitimem as ações desse pleiteante a adentrar no campo (BOURDIEU, 2003). E, ao ir atrás desse reconhecimento, o pleiteante confere ao detentor da autoridade do campo mais poder de barganhar e de ditar as regras do jogo para quem quiser participar dele.

Como fontes de gratificação não monetizadas, as pessoas que alcançam esse objetivo conquistam status, prestígio, reputação, competência e se credenciam ao jogo para a busca do desenvolvimento de sua autoridade de poder falar e agir com legitimidade. Nesse sentido, Ariely (2016) corrobora com Bourdieu, afirmando que essas recompensas imateriais conquistadas a partir do ingresso no campo científico (status, reconhecimento, reputação) são motivadores tão poderosos quanto o oferecimento de outras formas de incentivos.

E o espaço onde a busca pelo monopólio da autoridade é consagrado são os programas de pós-graduação stricto sensu. Isto é, considerando que o modelo probit apontou a variável “participação em programas de pós-graduação strictosensu da UFT” como uma característica individual que influencia positivamente a probabilidade de participação no programa, há indícios para se inferir que integrar o corpo docente desses programas, além de status, confere a seus integrantes o ambiente propício para se conquistar cada vez mais a tão almejada legitimidade e o reconhecimento de competência técnica pelos pares.

Dessa forma, a interação dos fatores acima tratados impulsionou o empenho dos integrantes do grupo de controle em prol da consecução de melhores resultados, tornando, assim, seus desempenhos na produção científica compatíveis com o desempenho dos indivíduos integrantes do grupo de tratamento. Porém, mesmo com todo esse empenho e esforço dos nãotratados para se reposicionarem no campo científico, o efeito do tratamento indicou que ainda há uma diferença considerável entre os grupos de tratamento e controle.

5 Considerações finais

O principal objetivo do trabalho foi avaliar os impactos do Programa de Produtividade em Pesquisa da Universidade Federal do Tocantins sobre seu ambiente de produção científica. Para os pesquisadores, integrantes do campo científico, tão relevante quanto receber o incentivo financeiro é o reconhecimento dos pares como autoridade legitimada na luta pelo monopólio da competência científica.

Considerando o período posterior à aplicação da política, a produção científica dos integrantes do grupo de tratamento, ou seja, indivíduos que receberam a Bolsa Produtividade em Pesquisa, cresceu 9,52%, enquanto a dos integrantes do grupo de controle, indivíduos que não receberam a Bolsa Produtividade em Pesquisa, cresceu 42,30%. Embora o resultado do ATT dos indivíduos que receberam tratamento tenha demonstrado aumento na produtividade, o ATT dos indivíduos que não receberam tratamento teve um aumento muito mais expressivo.

Outro aspecto relevante constatado foi o que amplia as chances de os indivíduos conquistar as bolsas de produtividade em pesquisa: o fato de o pesquisador trabalhar no maior campus da universidade (17%), ser do sexo masculino (16%), ser professor em um programa stricto sensu (15%) e maior tempo de doutorado (5%). Diante disso, também deve-se refletir nesses condicionantes para que as políticas públicas de estímulo a pesquisa sejam mais eficazes e equânimes.

De acordo com os pressupostos da economia neoclássica, os indivíduos que receberam os incentivos financeiros deveriam demonstrar desempenho superior aos indivíduos que não receberam o incentivo, o que não ocorreu no presente estudo. Entretanto, os resultados obtidos no estudo demonstraram certa convergência com as ideias propagadas pela economia comportamental no que tange à mitigação da produtividade dos indivíduos ao se oferecerem incentivos financeiros para estimular a realização de atividades que naturalmente realizariam, ou seja, aquelas inerentes ao cotidiano laboral, principalmente se forem tarefas que demandam criatividade, uso da cognição, ou que tenham cunho intelectual (GLASZIOU et al., 2012; ARIELY et al., 2005).

Em relação aos resultados apontados pelo modelo DD, de modo geral também convergiram com os pressupostos teóricos da Economia Comportamental. Dessa forma, de acordo com a literatura da EC, dentre os possíveis motivos para explicar os resultados obtidos no PPP, tem-se que: (i) os incentivos financeiros ofertados por tempo limitado podem ter impactado negativamente a motivação intrínseca dos indivíduos (DECI, 1971); (ii) interferência do incentivo financeiro na produtividade dos indivíduos que o recebem, com aumento acentuado da produtividade do grupo controle, considerando um mesmo período (DECI, 1971); (iii) incentivo financeiro ter sido percebido como insuficiente (ARIELY et al., 2005; GNEEZY, MEIER e REY-BIEL, 2011; KAMENICA, 2012), e, por fim; (iv) impacto negativo do incentivo financeiro na motivação das pessoas em tarefas que envolvam o uso de habilidades cognitivas (ARIELY et al., 2005; WOOLHANDLER et al., 2012; HIMMELSTEIN et al.2014).

O programa também impactou positivamente o desempenho tanto do grupo de tratamento quanto, indiretamente, o desempenho do grupo controle, estimulados a perseguirem as diferentes formas de gratificações imateriais advindas do possível ingresso no programa (status, legitimidade de falar e agir, participação em programa de pós-graduação stricto sensu e reconhecimento dos pares). Assim, conclui-se que, para que a produção científica de impacto seja estimulada em universidades em regiões periféricas, deve-se ter uma estratégia que estimule, principalmente, a formação de um clima organizacional que favoreça o trabalho em equipe para a formação de grupos de pesquisa competitivos.

REFERÊNCIAS

• ARIELY, D. Payoff: the hidden logic that shapes our motivations (TED Books). New York: Ed. Simon & Schuster/TED, 2016.
• ARIELY, D. et al. Large stakes and big mistakes. Research Center for Behavioral Economics and Decision-Making, Federal Reserve Bank of Boston, n. 05-11, 2005. Disponível em: <http://www.bos.frb.org/economic/wp/index.htm>. Acesso em: 06 jun. 2016.
  » http://www.bos.frb.org/economic/wp/index.htm
• BHARGAVA, S.; LOEWENSTEIN, G. Behavioral economics and public policy 102: Beyond Nudging. American Economic Review: Papers & Proceedings, v. 105, n. 5, p. 396-401, 2015.
• BOURDIEU, P. “O campo científico”. In: ORTIZ, Renato (Org.). A sociologia de Pierre Bourdieu (cap. 4). São Paulo: Olho D’Água, 2003.
• DECI, E. Effects of externally mediated rewards on intrinsic motivation. Journal of Personality and Social Psychology, n. 18, p. 105-115, 1971.
• DIXIT et al. Estimating the impact of antenatal care visits on institutional delivery in India: A propensity score matching analysis. Health, v. 5, n. 5, p. 862-878, 2013. Disponível em: <http://dx.doi.org/10.4236/health.2013.55114>. Acesso em: 01 fev. 2017.
  » http://dx.doi.org/10.4236/health.2013.55114
• KAMENICA, E. Behavioral economics and psychology of incentivesannual. Review of Economics, v. 4, p. 427-452, 2012.
• GERTLER et al. Impact evaluation in practice. 2. ed. The International Bank for Reconstruction and Development/The World Bank, 2011.
• GLASZIOU et al. When financial incentives do more good than harm: A checklist. BMJ, n. 345, 14 Aug. 2012. Disponível em: <https://www.researchgate.net/publication/230671933_When_financial_incentives_do_more_good_than_harm_A_checklist>. Acesso em: 28 jan. 2017.
  » https://www.researchgate.net/publication/230671933_When_financial_incentives_do_more_good_than_harm_A_checklist
• GNEEZY, U.; MEIER, S.; REY-BIEL, P. When and why incentives (don’t) work to modify behavior.Journal of Economic Perspectives, v. 25, n. 4, p. 191-210, Fall, 2011.
• GNEEZY, U.; RUSTICHINI, A. A fine is a price .Journal of Legal Studies, v. 29, n. 1, Jan. 2000.
• HEINRICH, C.; MAFFIOLI, A.; VÁZQUEZ; G. A primer for applying propensity-score matching impact-evaluation guidelines. Inter-American Development Bank, Technical Notes, n. IDB-TN-161, Aug. 2010.
• LEUVEN, E.; SIANESI, B. PSMATCH2: stata module to perform full Mahalanobis and propensity score matching, common support graphing, and covariate imbalance testing, Software, 2003. Disponível em:<http://ideas.repec.org/c/boc/bocode/s432001.html>. Acesso em:
  » http://ideas.repec.org/c/boc/bocode/s432001.html
• LEITE, A. C. F.; ROCHA NETO, I. Perfil dos bolsistas de produtividade em pesquisa do CNPq em Educação. Revista Brasileira de Ensino Superior, Passo Fundo, v. 3, n. 4, p. 97-112, dez. 2017. Disponível em: <https://seer.imed.edu.br/index.php/REBES/article/view/2350/1539>. Acesso em: 11 nov. 2018.
  » https://seer.imed.edu.br/index.php/REBES/article/view/2350/1539
• LOURENÇO, J. S. Behavioural insights applied to policy: country overviews .European Union, 2016. Disponível em: <https://ec.europa.eu/jrc/sites/jrcsh/files/20160222-biap2016-agenda.pdf>. Acesso em: 01 fev. 2017.
  » https://ec.europa.eu/jrc/sites/jrcsh/files/20160222-biap2016-agenda.pdf
• LOW, D. “Cognition, choice and policy design”. In: LOW, D. (Ed.). Behavioural economics and policy design. 1. ed. Singapore: World Scientific Publishing Company, 2011.
• LUNT, M. PBALCHK. Checking Covariate Balance. 2014. Disponível em: <http://personalpages.manchester.ac.uk/staff/mark.lunt/propensity.html>.
  » http://personalpages.manchester.ac.uk/staff/mark.lunt/propensity.html
• OLIVEIRA, A. R.; MELLO, C. F. Indicadores para a avaliação da produtividade em pesquisa: a opinião dos pesquisadores que concorrem a bolsas do CNPq na área de Biociências. RBPG, Brasília, v. 11, n. 25, p. 657-678, 2014.
• PAN, W.; BAI, H. Propensity score analysis: concepts and issues in propensity score analysis: fundamentals and developments. New York: Ed. Guilford Publications, 2015.
• SANTOS, N. C. F.; CÂNDIDO, L. F. O.; KUPPENS, C. L. Produtividade em pesquisa do CNPq: análise do perfil dos pesquisadores da química. Química Nova, v. 33, n. 2, p. 489-495, 2010.
• SILVA, L. L. Estudo do perfil científico dos pesquisadores com bolsa de produtividade do CNPq que atuam no ensino de ciências e matemática. Revista Brasileira de Pesquisa em Educação em Ciências, v. 11, n. 3, 2011.
• SIMON, H. A behavioral model of rational choice. Quaterly Journal of Economics, v. LXIX, 1955.
• SIMON, H. Rationality as process and as product of thought. The American Economic Review, Papers and Proceedings of the Ninetieth Annual Meeting of the American Economic Association, v. 68, n. 2, p. 1-16, 1978.
• SAMSON, A. (Ed.). The Behavioral Economics Guide 2014 (with a foreword by George Loewenstein and Rory Sutherland). 1. ed. Behavioral Economics Group, 2014. Disponível em: <https://www.behavioraleconomics.com/the-be-guide/the-behavioral-economics-guide-2014/>. Acesso em: 05 jul.2015.
  » https://www.behavioraleconomics.com/the-be-guide/the-behavioral-economics-guide-2014
• SOMAN, D. The last mile: creating social and economic value from behavioral insights Toronto: Rotman-UTP Publishing, 2015.
• STUART et al. Using propensity scores in difference-in-differences models to estimate the effects of a policy change. Health Servicesand Outcomes Research Methodology, v. 14, n. 4, p. 166-182, Dec. 2014.
• THALER, R.; SUNSTEIN, C. Nudge, improving decisions about health, wealth, and happiness. New Haven, CT: Yale University Press, 2008.
• VITOR-COSTA, M.; MAIA DA SILVA, P.; SORIANO, J.B. A avaliação da produtividade em pesquisa na Educação Física: reflexões sobre algumas limitações dos indicadores bibliométricos. Rev. Bras. Educ. Fís. Esporte, São Paulo, v. 26, n. 4, p. 581-597, 2012.
• VOHS K.; MEAD, N.; GOODE, M. The psychological consequences of money. Science, n. 314, p. 1154-1156, 2006.
• WAINER, J.; VIEIRA, P. Avaliação de bolsas de produtividade em pesquisa do CNPq e medidas bibliométricas: correlações para todas as grandes áreas. Perspectivas em Ciência da Informação, v. 18, n. 2, p. 60-78, abr./jun. 2013.

• CLASSIFICAÇÃO JEL:

  D03.

• 1
  O Programa de Produtividade em Pesquisa da UFT foi idealizado e implementado pelo pró-reitor de Pesquisa e Pós-Graduação da época, professor Waldecy Rodrigues, que também é um dos autores deste artigo.

Datas de Publicação

• Publicação nesta coleção
  2019

Histórico

• Recebido
  28 Nov 2017
• Aceito
  17 Dez 2018