O uso de múltiplas fontes de informação nas políticas públicas: um olhar sobre a burocracia federal brasileira

El uso de múltiples fuentes de información en las políticas públicas: una mirada a la burocracia federal brasileña

Resumo

A produção de políticas públicas é um processo complexo que envolve um conjunto de estímulos e condicionantes. Compreender o que, de fato, tem informado os burocratas e as organizações públicas é um elemento essencial para caracterizar a produção de políticas públicas, assim como para a discussão das potencialidades e dos limites das Políticas Públicas Baseadas em Evidências (PPBE) no contexto brasileiro. Neste estudo, investigamos as diferentes fontes de informação disponíveis aos burocratas brasileiros; dentre as quais, não somente as científicas, mas também as experienciais, as internas e as externas ao Estado. Esta pesquisa traz resultados de um survey respondido por 2.180 servidores da Administração Federal Direta no final de 2019. Os resultados indicam que há variação na utilização de fontes de informação a serem mobilizadas pelos burocratas de acordo com o tipo de trabalho desempenhado e, também, com a área de política pública na qual atuam.

Palavras-chave:
políticas públicas baseadas em evidências; burocracia; produção de política pública; trabalho na política pública

Resumen

La elaboración de políticas públicas es un proceso complejo que implica un conjunto de estímulos y limitaciones. Comprender lo que de hecho ha informado a los burócratas y las organizaciones públicas es un elemento esencial para caracterizar la elaboración de políticas, así como para discutir las potencialidades y los límites de las políticas públicas basadas en la evidencia (PPBE) en el contexto brasileño. Se investigan las diferentes fuentes de información de que disponen los burócratas brasileños, incluyendo las científicas, pero también las experienciales, internas y externas al Estado. Esta investigación trae los resultados de una encuesta contestada por 2.180 funcionarios de la administración federal directa a finales de 2019. Los resultados indican que hay variaciones en la elección de los tipos de información que deben movilizar los burócratas en función del tipo de trabajo realizado, así como del ámbito de la política pública en el que operan.

Palabras clave:
políticas públicas basadas en la evidencia; burocracia; elaboración de política pública; trabajo en las políticas públicas

Abstract

Policy-making is a complex process involving stimuli and conditioning. Understanding the sources of information bureaucrats and public organizations use is essential to characterize policy-making and discuss the opportunities and limits of Evidence-Based Public Policies (EBPP) in the Brazilian context. The different sources of information available to bureaucrats in the country are investigated, such as the state’s internal and external sources and scientific and experiential sources. This paper presents the results of a survey with 2,180 officials of the direct federal administration conducted at the end of 2019. The findings indicate variation in the types of information bureaucrats mobilized depending on policy area and the type of policy work they perform.

Keywords:
evidence-based public policy; bureaucracy; policy-making; policy work

1. INTRODUÇÃO

A relevância de estudos e pesquisas que forneçam subsídios a políticas públicas é um tema discutido desde a origem do campo de análise de políticas públicas (Lasswell & Lerner, 1951; Weiss, 1979). A intensificação recente desse debate com o advento da crise global da COVID-19 sobre importância, usos e credibilidade da ciência para apoiar decisões de políticas públicas torna mais que oportuno aprofundar reflexões sobre a abordagem das Políticas Públicas Baseadas em Evidências (PPBEs). Por um lado, esta abordagem retoma preceitos da racionalidade instrumental na construção das decisões das políticas públicas com base em evidências científicas (Davies, Nutley & Smith, 2000); por outro, catalisa críticas oriundas de correntes analíticas mais recentes, tais como a argumentativa ou pós-estruturalista, que dão base ao argumento da necessidade de um maior entendimento de diferentes fontes de informação, para além das evidências científicas.

Como já apontam os críticos das PPBEs, o acesso e a utilização de evidências científicas, em muitas ocasiões, são escassos ou mesmo inexistentes, constituindo limites à racionalidade objetiva dos atores que podem gerar vieses de seleção e intepretação de evidências, ou até mesmo os próprios instrumentos analíticos podem ter baixa capacidade para gerar explicações em contextos de alta complexidade. Estudos e avaliações demandam um esforço analítico conjunto tanto para viabilizar a produção de conhecimento, como para torná-lo aplicado, acessível e relevante para subsidiar o processo decisório. Com isso, muitas vezes, outros tipos de “evidências” são mobilizados, tais como experiências pessoais ou organizacionais anteriores, instrumentos informacionais produzidos por comunidades de política, pela mídia ou por redes sociais, por impressões recolhidas de beneficiários, colaboradores internos e externos etc.

Reconhecendo estas críticas e a relevância em se aprofundar o conhecimento sobre os recursos informacionais utilizados na produção das políticas brasileiras, partimos da proposta de Pinheiro (2020b) de um modelo moderado para a conceituação de evidência, a qual reconhece contribuições das diferentes correntes epistemológicas de estudos de políticas públicas e sustenta que o significado de um termo é dado pelo contexto de uso. Neste artigo, buscamos explorar empiricamente tal modelo, recorrendo aos dados de um survey com burocratas federais por meio da pergunta “O que os burocratas federais usam como fonte de informação na tomada de decisões em seus diferentes contextos e trabalhos desenvolvidos na produção de políticas públicas?” Além da exploração descritiva desta pergunta de pesquisa, procuramos levantar hipóteses para análises futuras que possam explicar os diferentes usos de informações pelos burocratas.

Os resultados apontam para duas contribuições aos estudos da administração pública relacionados às PPBEs. A primeira delas remete à existência de múltiplas fontes de informação dos burocratas federais brasileiros. Os trabalhos das PPBEs em geral possuem um caráter prescritivo e não se preocupam em compreender como de fato decisões são tomadas e quais informações são mobilizadas, sejam científicas ou não. Aperfeiçoar o processo decisório com utilização mais frequente de fontes científicas pressupõe compreender, primeiramente, como os burocratas se informam. A segunda contribuição é apontar para a importância do contexto e do trabalho desenvolvido nas políticas públicas como elemento diferenciador do uso de diferentes tipos de informação. Essa perspectiva é inovadora do ponto de vista dos estudos da área e inédita para o caso brasileiro.

Este artigo conta com seis seções: a primeira, esta introdução; seguida por debate da literatura especializada; descrição do modelo analítico utilizado; e do método aplicado; discussão dos resultados; e considerações finais.

2. LITERATURA SOBRE EVIDÊNCIAS EM POLÍTICAS PÚBLICAS

O campo de análise de políticas públicas foi originalmente proposto, no contexto anglo-saxão, como uma ciência voltada ao aprimoramento do uso da racionalidade no fluxo decisório das políticas públicas (Lasswell & Lerner, 1951). Ao longo das décadas, essa literatura se expande tanto em relação a áreas temáticas, como às abordagens analíticas que passam a questionar a ideia da perfeita separação entre o técnico e o político e a racionalidade objetiva, plena e isenta de interferências subjetivas. Revelam, em contraste, diversas estratégias cognitivas utilizadas pelos indivíduos, como o satisficing e incrementalismo, que criam atalhos e demonstram o espaço da subjetividade na redução do escopo de soluções possíveis para os problemas públicos (Lindblom, 1959; Simon, 1956).

Trabalhos mais recentes de autores que se baseiam em perspectivas construtivistas, como o “movimento da virada argumentativa”, dão coro ao argumento de que o campo das políticas públicas, como uma ação humana, é orientado por ideias, valores, costumes e que a oposição ou separação entre conhecimento técnico e política são irreais (DeLeon, 2008; Fischer & Gottweis, 2012; Lejano, 2006; Spink, 2019; Yanow, 2000). A política pública na vida real não seria um processo instrumental de tomada de decisão guiada pelas pesquisas e conhecimento científico, mas uma arena interativa, discursiva e de negociação, em que evidências científicas seriam apenas um dos quadros de validação de significados possíveis (Williams, 2010).

Meio século após as primeiras formulações sobre o policy making, o movimento das PPBEs traz como argumento central a defesa do uso de evidências - entendidas como “[...] resultados de pesquisas sistemáticas voltadas ao acúmulo crescente de conhecimento” (Davies, Nutley & Smith, 2000, p. 3) - para a tomada de decisão em políticas públicas. Diante da complexificação dos problemas públicos, acompanhada da crescente multiplicidade de recursos informacionais disponíveis para capturar e lidar com eles, as PPBEs ganharam força nas últimas duas décadas entre acadêmicos, policy makers e practitioners, ao sustentar a lógica de racionalização e eficácia da produção das políticas públicas calcada em evidências científicas (Davies et al., 2000).

Estudos recentes retomam críticas da literatura de políticas públicas à exacerbação da capacidade de influência da técnica ignorando o poder da política e a relevância de aspectos como valores, princípios e julgamentos em seu processo decisório (Cairney, 2019; Parkhurst, 2017). Nesse caso, são questionados a viabilidade das PPBEs em contextos de ausência ou pouca disponibilidade de evidências científicas e os limites da racionalidade objetiva dos atores e dos próprios instrumentos analíticos em dar explicações em contextos de alta complexidade (Cairney, 2019; Parkhurst, 2017).

Pinheiro (2020a, 2020b) atenta para o fato de que a própria definição de evidências é disputável. De um lado, calcada no paradigma racionalista, encontra-se a ideia da evidência como resultado da produção científica rigorosa e sistemática, reveladora da ‘verdade’. De outro lado, fatores oriundos das formulações dos paradigmas construtivistas já acima mencionados passam a ser reconhecidos como relevantes para a tomada de decisão e produção de políticas públicas, tais como a contingência histórica própria dos fenômenos sociais, os interesses, valores e motivações dos atores, a reflexividade interativa entre atores e entre atores e objetos.

Dada a inexistência na literatura especializada de uma caracterização sistemática de evidências em políticas públicas e considerando o acúmulo no campo dos estudos de políticas públicas brevemente retratado acima, Pinheiro (2020b) propõe um modelo moderado, que se coloca entre os dois extremos. Isto é, entre uma perspectiva radical do modelo racionalista - que desconsideraria a complexidade inerente ao processo de tomada de decisão, caracterizada pela não linearidade, incertezas e multicausalidade - e uma perspectiva radical do modelo construtivista, que inviabilizaria a proposição de enunciados gerais e o uso pragmático de evidências para produzir análises e avaliação de políticas públicas.

Tendo por base o diálogo com o pragmatismo norte-americano e a filosofia da linguagem do segundo Wittgenstein, o modelo moderado de Pinheiro (2020a, 2020b)¹ procura extrair, de forma crítica, aprendizados dos modelos racionalista e construtivista, e propõe que o uso dentro de uma moldura contextual seja o elemento caracterizador de um instrumento informativo em evidência.

A moldura contextual que condiciona o uso dos instrumentos informativos e, portanto, sua conformação e reconhecimento pelos usuários como uma evidência, seria composta por fatores que dão especificidade ao processo decisório do burocrata. Pinheiro (2020a, 2020b) exemplifica três fatores recorrentes que se entrelaçam: “[...] i) políticos - a temporalidade da política, compromissos ideológicos, disputas por poder, democracia; ii) epistemológicos - avaliação da política, incerteza, reflexividade do conhecimento social etc. (Mulgan, 2005, p. 224); iii) normativos, institucionais e organizacionais.” (Pinheiro, 2020b, p. 23).

Diante do crescente debate em torno das PPBEs, estudos empíricos internacionais e nacionais recentes, em geral, baseados em dados de surveys com burocratas, têm se dedicado a explorar o que informa as políticas públicas, a partir da análise do campo prático de atuação dos burocratas nas organizações públicas (Cherney, Head, Povey, Ferguson & Boreham, 2015; Macedo, Viana & Nascimento, 2019; Oliver, Innvar, Lorenc, Woodman & Thomas, 2014; Veselý, Ochrana & Nekola, 2018). Ainda que não dialoguem explicitamente com a proposição do modelo moderado, alegamos que essas pesquisas têm produzido subsídios analíticos para explorar os argumentos do modelo e operacionalizar empiricamente o conceito de moldura contextual.

Veselý et al. Nekola (2018) retratam, por exemplo, ampla diversidade de instrumentos informativos no caso da República Tcheca, e apontam a proeminência da experiência e de recursos produzidos internamente às organizações públicas como as principais fontes que informam os burocratas checos, em detrimento de fontes científicas. Veselý et al. (2018) acrescentam a relevância de se captar o que os atores acreditam ser a evidência e qual papel designam para ela nas suas práticas diárias. Assim, permite-se assumir que o uso de evidência é um processo dinâmico, e que os atores têm seus próprios conceitos do que seja evidência, corroborando os argumentos de Pinheiro (2020a, 2020b).

Estudos que analisam o contexto de atuação dos burocratas por meio do conceito de policy work, isto é, do trabalho desempenhado pelos burocratas na política pública, demonstram que, na prática, o trabalho analítico ocorre, em geral, associado a outros trabalhos, como aqueles voltados a negociação, comunicação, tradução e até mesmo democratização das ações estatais (Colebatch, Hoppe & Noordegraaf, 2010; Meltsner, 1976; Olejniczak, Raimondo & Kupiec, 2016). Dessa perspectiva, os diferentes trabalhos exercidos para a produção da política pública demandam diferentes tipos de capacidades e recursos, inclusive, informacionais (Howlett & Wellstead, 2011; Koga & Viana, 2020; Wu, Ramesh & Howlett, 2015). Em consonância com a perspectiva relacional dos estudos da burocracia (Cavalcante e Lotta, 2015; Pires, Lotta & Oliveira, 2018) e as críticas recentes às PPBEs (Cairney, 2019), os estudos de policy work sustentam que os trabalhos na política pública, entre eles o trabalho analítico, são desempenhados em interação com os stakeholders da política e não de forma isolada e exclusiva pelos burocratas; portanto são influenciados e informados por outras formas de conhecimento trazidas por esses diferentes atores (Colebatch et al., 2010).

No caso brasileiro, em pesquisa desenvolvida pela Escola Nacional de Administração Pública (Enap, 2018), com a mesma amostra utilizada na presente pesquisa, identificou-se que, em 2017, os burocratas do serviço civil da Administração Federal Direta baseavam seu trabalho na política pública em diversas fontes de informação. Dentre elas, tanto fontes normativas - como normas jurídico-legais e recomendações de órgãos de controle -, quanto fontes midiáticas - mídia tradicional, mídia social ou redes sociais - eram utilizadas de forma mais recorrente; enquanto dados de monitoramento e avaliação de políticas públicas, bem como dados estatísticos ou surveys eram fontes usadas com menor frequência.

Avançando nas análises dos dados da Enap (2018), Macedo et al. (2019) buscaram explorar correlações entre as diferentes fontes informacionais usadas pelos burocratas da Administração Federal Direta e variáveis como (1) características demográficas da burocracia, (2) tipos de trabalho na política pública, (3) diferentes órgãos da Administração Federal, (4) tipos de cargos na Administração Federal e (5) áreas de política pública. Alguns dos principais achados da pesquisa foram no sentido de que, entre os trabalhos exercidos pelos burocratas (relacional, analítico, gerencial e administrativo), aquele de natureza relacional foi o único que não recorreu com muita ênfase às fontes de natureza normativa e que, independentemente da área de política pública, apresentava maior recorrência da burocracia às fontes de natureza normativa. Tais resultados sugerem, portanto, que há variação de tipos de fonte, mas uma predominância de uso das fontes normativas em diferentes contextos de trabalhos de políticas públicas.

Em que pesem as distintas formas de caracterização de uma moldura contextual, escolhemos para esta pesquisa dois enquadramentos que entendemos serem capazes de abarcar variações tanto na dimensão política, como epistemológica e normativa, isto é, os três tipos de fatores que constituiriam uma moldura contextual, como proposto por Pinheiro (2020b). Trata-se da caracterização de moldura contextual como área de política pública e como trabalho na política pública. Entendemos que tanto a área, como o trabalho em que atua o burocrata carregam de forma simultânea características próprias nas três dimensões. As áreas de política retratam disputas de poder no campo, fundamentos epistemológicos e características institucionais distintas entre si. Quanto à atuação do burocrata, embora entendamos ser relevante a caracterização por meio de variáveis individuais como sociodemográficas ou funcionais, argumentamos que, nesse caso, há maior dificuldade em refletir simultaneamente as três dimensões de modo a constituir um contexto integrado de atuação epistêmica, política e normativa. Assim, entendemos que as variáveis trabalho e área na política pública melhor representariam a diversidade de molduras contextuais.

No presente artigo, com o objetivo de simplificar o entendimento dos achados, utilizaremos o termo “fontes ou tipos de informação” para remeter aos diferentes recursos informacionais utilizados pelos burocratas federais. Desse modo, o termo “evidência” ficará reservado ao conceito de evidência científica, termo tipicamente utilizado pelos estudos das PPBEs citados. Em outras palavras, informação, aqui, remete ao gênero, cuja evidência é uma espécie. Essa categorização dialoga com outras pesquisas do campo, como o conceito de fake news na qualidade de um tipo ou espécie de informação em que não há autenticidade e cujo objetivo intencional é iludir (Recuero & Gruzd, 2019; Shu, Silva, Wang, Jang & Liu, 2017). Assim, o conceito abrangente de informação abriga tanto fontes provenientes da própria experiência, da produção normativa do Estado, da ciência, da sociedade civil e até de fontes inverídicas, embora estas últimas não sejam tratadas aqui.

3. MÉTODO

Para a pesquisa, aplicamos um survey desenhado com base nos instrumentos utilizados por pesquisas mencionadas na seção anterior; em especial, a produzida pela Enap (2018). A coleta de dados ocorreu por meio da aplicação de questionário autoadministrado online (Plataforma LimeSurvey), enviado por e-mail a uma amostra previamente selecionada do público-alvo da pesquisa, que consistia dos 96.543 servidores civis lotados em órgão da Administração Direta. A amostragem foi realizada por meio da técnica de estratificação simples. A primeira amostra selecionada continha 6.055 servidores. Foram então realizadas mais duas rodadas de seleção utilizando exatamente o mesmo método, chegando ao número final de 18.165 servidores selecionados². Foram obtidos 2.180 registros completos válidos, representando uma taxa de resposta de 12% da amostra triplicada (36% da amostra original).

O questionário aplicado foi desenhado fundamentalmente com base nas variáveis propostas no modelo analítico descrito na seção anterior³. Como já mencionado, o presente estudo focou na análise da relação entre variáveis selecionadas que caracterizaram três principais elementos do modelo: tipo de informação e moldura contextual (“tipo de trabalho na política pública” e “área de política pública”). A comparação entre dados obtidos pela Enap (2018) em 2017 e por este estudo em 2019 quanto à variável “tipo de trabalho” foi efetuada para analisar a estabilidade dos resultados na caracterização dos tipos de trabalho como molduras contextuais.

A divisão em áreas de políticas públicas não é unânime na literatura. Pesquisas no campo adotam diferentes divisões (Cavalcante & Lotta, 2021; Filgueiras, Koga & Viana, 2020; Paula, Palotti, Cavalcante & Alves, 2017). Nesta pesquisa, partimos da divisão proposta por Cavalcante, Camões e Knopp (2015), organizada com recurso a critérios externos à presente pesquisa e realizada com base nas orientações normativas da Secretaria de Orçamento Federal, tendo como parâmetro o Projeto de Lei Orçamentária Anual de 2013. Atualizações com o quadro de ministérios e duas subdivisões foram acrescidas, resultando em seis áreas de políticas públicas: Central, Econômica, Infraestrutura, Social, Meio Ambiente e Controle, como será detalhado na seção de resultados. A Tabela 1 detalha a amostragem da pesquisa, com as respectivas divisões por área de política pública analisada.

TABELA 1
MINISTÉRIO OU ÓRGÃO SUPERIOR EM QUE TRABALHA

Área de governo	Ministério/órgão superior	N	% Válido
Central	Ministério das Relações Exteriores	103	4,8%
	Ministério da Justiça e Segurança Pública	95	4,4%
	Ministério da Defesa	84	3,9%
	Secretaria-Geral da Presidência da República	20	0,9%
	Casa Civil da Presidência da República	19	0,9%
	Gabinete de Segurança Institucional da Presidência da República	13	0,6%
	Secretaria de Governo da Presidência da República	06	0,3%
	Gabinete Pessoal do Presidente da República	05	0,2%
Controle	Controladoria-Geral da União	129	6%
	Advocacia-Geral da União	19	0,9%
Econômica	Ministério da Economia	513	23,7%
	Ministério da Agricultura, Pecuária e Abastecimento	168	7,8%
	Ministério do Turismo	29	1,3%
Infraestrutura	Ministério da Ciência, Tecnologia, Inovações e Comunicações	197	9,1%
	Ministério do Desenvolvimento Regional	98	4,5%
	Ministério da Infraestrutura	75	3,5%
	Ministério de Minas e Energia	60	2,8%
Meio Ambiente	Ministério do Meio Ambiente	108	5%
Social	Ministério da Cidadania	203	9,4%
	Ministério da Saúde	105	4,8%
	Ministério da Educação	99	4,6%
	Ministério da Mulher, da Família e dos Direitos Humanos	19	0,9%

• Fonte: Elaborada pelos autores.

Conduzimos duas análises fatoriais exploratórias para os dados das variáveis que compuseram seções do survey sobre “Trabalho na Política Pública” e “Instrumentos informacionais”, uma vez que buscávamos identificar dimensões latentes de tipos de trabalho e tipos de informação. Tais análises sugeriram a retenção de quatro fatores em ambos os casos, com a aplicação da rotação varimax. Para analisar a relação entre os fatores, estimamos os scores fatoriais a partir do método de Thurstone (1935), o qual, resumidamente, recalcula as cargas fatoriais, considerando as correlações entre as variáveis originais.

4. RESULTADOS

Analisamos inicialmente dois conjuntos de dados nesta seção. O primeiro trata dos tipos de trabalho que desempenham os burocratas federais e, o segundo, dos tipos de instrumento informacional utilizado pelos burocratas. Em seguida, reportaremos as correlações entre as variáveis que compõem esses dois conjuntos e as áreas de políticas públicas apontadas na seção anterior.

As seis áreas de políticas descritas na Tabela 1 foram definidas com base nos ministérios em que os burocratas informaram estar lotados. Além das quatro áreas utilizadas por Cavalcante et al. (2015), foram separadas duas áreas: “Meio Ambiente”, apontada em trabalhos recentes com atuação e capacidades distintas da área de infraestrutura onde estava originalmente incluída (Abers, Oliveira & Pereira, 2016; Filgueiras et al., 2020), e área de controle, que, além de usuária, é também produtora de fontes de informação, como demonstram os estudos anteriores (Enap, 2018;Macedo et al., 2019) e os resultados da presente pesquisa, o que torna relevante analisá-la separadamente da área central onde estava incluída a divisão de Cavalcante et al. (2015).

4.1. Tipos de trabalho

Para mapear o trabalho desempenhado pelos servidores no âmbito da política pública, adaptamos a questão do survey da Enap (2018): “Nos últimos 12 meses, com que frequência você executou as atividades abaixo relacionadas à política pública na qual você trabalha?”, modificando-se alguns itens da questão visando à qualificação das respostas para o objeto desta pesquisa.

Como apresentado no Gráfico 1, trabalhos relacionados a assessoramento e análise são desempenhados com maior frequência (“elaborar relatórios, pareceres, notas técnicas e outras informações para subsidiar a tomada de decisões”, “realizar assessoramento de dirigentes” e “coletar e analisar dados relacionadas à política pública”). Em seguida, encontram-se ainda com frequência significativa a realização de “atividades administrativas” e atividades relacionados ao “controle (“fiscalizar o cumprimento das normas da política pública”, “atender demandas dos órgãos de controle”, “elaborar, gerir e fiscalizar contratos”). Com menos frequência, tem-se as atividades “captar e negociar recursos financeiros para viabilizar ações, projetos e programas da política pública” e “contratar e validar estudos de avaliação de processos, resultados e impactos da política pública”.

Gráfico 1
Funções desempenhadas no âmbito da política pública (percentual válido)

A Tabela 2 apresenta os resultados da análise fatorial que explica cumulativamente 55,5% dos dados e revela a existência de quatro perfis comuns de atividade. Um primeiro perfil, que nomeamos “analítico/controle”, reúne principalmente atividades de cunho analítico (elaborar relatórios e notas, coletar e analisar dados, elaborar textos normativos), combinadas com funções de assessoramento e controle. Um segundo perfil focado nas atividades de caráter “relacional” (representar o órgão, atender grupos da sociedade, organizar eventos, coordenar equipe⁴) associadas à contratação de estudos e à captação de recursos. Um terceiro tipo que envolve o “gerenciamento de contratos e a fiscalização” das normas da política pública. E, finalmente, um quarto perfil exclusivamente dedicado à realização de atividades administrativas.

TABELA 2
ANÁLISE FATORIAL DAS FUNÇÕES DESEMPENHADAS NA POLÍTICA PÚBLICA (2019)

Função/atividade	Analítico/ Controle	Relacional	Gerenciam.de contratos /Fiscalização	Administrativo
Elaborar relatórios e notas técnicas	0.733
Coletar e analisar dados relacionadas à política pública	0.679	0.360
Elaborar textos normativos (ex. projetos de lei)	0.535	0.370
Atender demandas dos órgãos de controle	0.435		0.378	0.407
Realizar assessoramento de dirigentes	0.536	0.363		0.426
Contratar e validar estudos de avaliação de políticas públicas	0.397	0.537	0.330
Captar e negociar recursos financeiros		0.726	0.331
Representar seu órgão ante outros entes do governo	0.458	0.600		0.323
Consultar e atender grupos da sociedade	0.467	0.490
Organizar eventos		0.653		0.441
Coordenar equipe	0.307	0.339		0.354
Elaborar, gerir e fiscalizar contratos		0.313	0.727
Fiscalizar o cumprimento das normas da política pública	0.415		0.467
Realizar atividades administrativas				0.528
KMO: 0,897; χ² = 10015,460; df = 91 ; p < 0,001
Variação Total Explicada - 55,5%
SS loadings	2.672	2.497	1.322	1.281

• Fonte: Elaborada pelos autores.

Os dados do presente estudo revelam permanência de padrões de tipos de trabalho observados no survey aplicado pela Enap (2018) em 2017 - o que sustenta o nosso argumento de utilizar os quatro tipos como representações de molduras contextuais nos termos do modelo moderado de Pinheiro (2020b). Temos novamente três perfis bem definidos reunindo respectivamente atividades analíticas e de controle; relacionais; e administrativas. Há diferenças pontuais quanto à função de captação de recursos, que deixou de ser um perfil bem delineado junto com o de contratos, aparecendo em 2019 nas atividades de cunho relacional e na função de fiscalização, que, em 2017, associava-se ao perfil “analítico” e agora se encontra em outro perfil, junto com o de gerenciamento de contratos. Ainda assim, a relação traçada em 2017 entre análise e controle/fiscalização parece se sustentar, dado que a função de fiscalização apresentou carga fatorial próxima também no perfil analítico.

Vale destacar, quanto ao trabalho do tipo analítico, a manutenção da associação desse tipo de trabalho com atividades relacionadas ao atendimento de entes do controle, o que sustentamos merece ser aprofundado por indicar uma possível caracterização de um modo de produção de informações nas políticas públicas na Administração Federal, voltada a dar conta das demandas do controle. Esta hipótese constrói-se em diálogo com a literatura nacional, indicando uma crescente influência do controle na gestão e no policy making no Brasil (Filgueiras, 2018; Grin, 2020; Nogueira & Gaetani, 2018). Cavalcante e Silva (2020), analisando o caso específico do Tribunal de Contas da União (TCU), identificam um tipo de processo de mudança institucional denominado conversão, em que a ampliação da atuação do TCU e dos burocratas do controle decorreria não em virtude de alterações normativas, mas do fortalecimento de suas capacidades e influência política.

O crescimento das demandas de accountability e o aumento da desconfiança nas instituições representativas no Brasil, associados a outros fatores exógenos, como a emergência de um movimento global de ênfase à mensuração de desempenho (Humphrey & Owen, 2000), fazem configurar uma função de correção da representação política que colocaria as instituições de controle brasileiras em uma “[...] posição de representantes de um interesse público difuso, contramajoritário, que as legitima a atuar na interpretação de normas, no controle estrito do processo decisório e de implementação de políticas públicas” (Filgueiras, 2018, p. 375).

Os resultados acima apresentados à luz deste debate levam a questionar qual seria o efeito no processo de produção e uso de evidências nas políticas públicas desta tendência de fortalecimento da função do controle e da acentuação da assimetria das capacidades, incluindo as analíticas, entre gestão e controle.

4.2. Tipos de informação

O Gráfico 2 aponta para os tipos de informação mais frequentemente mobilizados. Como demonstrado neste gráfico, os tipos de informação mais frequentemente utilizados pelos servidores respondentes são de caráter endógeno. Ou seja, usualmente são informações, opiniões e conhecimentos produzidos pela própria burocracia que endossam o seu trabalho com políticas públicas. Essa constatação corresponde, em alguma medida, ao esperado da operação de sistemas especializados, como a burocracia pública. “Leis e Normas” destacam-se como o tipo de informação mais utilizado pelos servidores: 82,11% dos respondentes declararam utilizá-las “sempre” ou “frequentemente”.

Em seguida, a “consulta a colegas de trabalho” e a “experiência pessoal” aparecem como formas de informação/conhecimento fortemente presentes, respectivamente 75,87% e 64,59% dos respondentes declaram aplicá-las “sempre” ou “frequentemente”. Trata-se de um dado relevante, pois demonstra a importância das relações interpessoais e das trajetórias individuais para a compreensão das práticas de utilização de fontes de informação pelos burocratas.

Contudo a presença subsequente das “notas técnicas produzidas por órgãos federais” e de “sistemas informacionais e bases de dados governamentais”, com respectivamente 62,66% e 49,82% dos servidores indicando que os empregam “sempre” ou “frequentemente”, permite afirmar que parte importante da burocracia federal tem incorporado informações e conhecimentos de caráter factual-analítico nas rotinas de trabalho (ainda que o caráter endógeno permaneça).

Outro aspecto que merece ser sublinhado é a frequência de “pareceres legais e decisões judiciais” e “recomendações de órgãos de controle”: respectivamente 50,18% e 49,45% dos servidores afirmaram que os utilizam “sempre” ou “frequentemente”. Seguindo a mesma tendência dos dados encontrados sobre as funções desempenhadas, a incidência desses dois itens mostra que parte considerável dos burocratas tem se embasado em produções e documentos ligados a controle e fiscalização, o que leva a questionar se essas fontes trariam indiretamente referências de fontes científicas.

A seguir, nota-se que parte importante dos burocratas está inclinada à utilização de fontes científicas, mas essa prática está majoritariamente amparada pela produção de conhecimentos por meio de dados e sistemas informatizados do próprio executivo federal.

Os dados obtidos sugerem um quadro de menor relevância no que diz respeito aos itens que convencionalmente constituem o cerne do debate sobre o uso de evidências, a saber: “artigos, capítulos ou livros produzidos por pesquisadores” e “relatórios de pesquisa científica (ex.: produtos de consultoria de pesquisa, textos de discussão do IPEA, etc.)”. No caso das publicações científicas, 30,46% dos respondentes afirmaram adotá-las “sempre” ou “frequentemente”. Os relatórios aparecem com menor frequência: 19,77% utilizam-nos “sempre” ou “frequentemente”. Quando considerados apenas os servidores que responderam “sempre”, o índice dos dois itens cai bastante: apenas 12,20% afirmaram recorrer às publicações científicas sempre e 6,47% aos relatórios de pesquisa.

Os números acima revelam uma incidência direta relativamente baixa da produção científica sobre o trabalho dos servidores com políticas públicas. O contraste entre essa baixa incidência direta e a forte presença de documentos analíticos e estatísticas produzidos pelo próprio Estado aponta para o sentido da teoria das “duas comunidades” (Caplan 1979; Dunn 1980). Ou seja, a hipótese de que burocratas e acadêmicos formam duas comunidades separadas, que operam com regras e linguagens diferentes e que possuem poucas linhas de conexão e/ou comunicação entre si.

Seria precipitado, no entanto, afirmar que os burocratas federais não utilizam evidências científicas no seu trabalho. Notas técnicas, bases de dados governamentais, pareceres legais são modalidades de informação com um alto grau de sistematicidade, capacidade analítica e mesmo verificação empírica (quando não estão direta ou indiretamente ancorados em produções científicas). O que ocorre é que essa utilização é majoritariamente amparada pela estrutura de produção de conhecimento da própria burocracia federal e não das universidades. Mais uma vez, existe um “ensimesmamento” da burocracia e um respectivo distanciamento e/ou falta de diálogo com o universo acadêmico-científico. Por outro lado, pode-se especular, seguindo as sugestões de Newman, Cherney e Head (2016), que as contribuições do campo científico cheguem aos burocratas de forma indireta, diluídas em meio a toda essa produção interna de conhecimento. Uma hipótese a ser explorada seria a de que a própria atuação dos entes do controle, como mencionado na seção anterior, possa intermediar o processo de absorção de evidências científicas, por eventualmente utilizá-las em suas avaliações e de auditorias.

GRÁFICO 2
TIPOS DE INFORMAÇÃO UTILIZADOS NO TRABALHO COM POLÍTICAS PÚBLICAS (PERCENTUAL SIMPLES)

Nas últimas colocações do Gráfico 2, encontramos os tipos de informação menos empregados pela burocracia federal. Há uma baixíssima absorção de informações geradas pela própria sociedade por parte dos burocratas federais. “Informações geradas por grupos de interesse (ex.: sindicatos, empresas, movimentos sociais, ONGs, etc.)”, “experiência e opiniões de beneficiário da política pública ou comentários e sugestões de Ouvidoria” e “recomendações de instâncias participativas (ex.: conselho de políticas públicas, conferências, etc.)” são os tipos de informação menos frequentes na rotina de trabalho dos servidores, com um percentual em torno de 10% de respondentes que declaram utilizá-los “sempre” ou “frequentemente”.

A variável “tipo de informação” também foi submetida à técnica de análise fatorial, mais uma vez com o intuito de detectar correlações e, logo, perfis comuns. A Tabela 3 traz o resultado da análise, que explica cumulativamente 63,2% dos dados e revela quatro perfis comuns para a variável.

TABELA 3
ANÁLISE FATORIAL DOS TIPOS DE INFORMAÇÃO UTILIZADOS NO TRABALHO COM POLÍTICAS PÚBLICAS

Tipo de informação	Interno	Externo	Científico	Experiencial
Leis e normas	0,793
Notas técnicas produzidas por órgãos federais	0,835
Pareceres legais e decisões judiciais	0,869
Recomendações de órgãos de controle	0,794
Sistemas informacionais e bases de dados governamentais	0,496
Boas práticas e iniciativas produzidas pelos estados e municípios	0,333	0,556
Recomendações de instâncias participativas		0,727	0,361
Experiência e opiniões de beneficiário		0,741
Informações geradas por grupos de interesse (ex.: ONGs)		0,784
Recomendações de organismos internacionais		0,592	0,413
Matéria jornalística		0,419		0,302
Artigos, capítulos ou livros produzidos por pesquisadores		0,303	0,8
Relatórios de pesquisa científica		0,461	0,822
Experiência pessoal				0,651
Consulta a colegas de trabalho	0,32			0,731
KMO: 0,869; χ² = 14009,490; df = 105; p < 0,001
Variação Total Explicada - 63,2%
SS loadings	3.331	2.988	1.816	1.339

• Fonte: Elaborada pelos autores.

A análise fatorial dos tipos de informação sugeriu a existência de quatro perfis específicos. Na Tabela 3, pode-se observar que esses perfis caracterizam-se principalmente pela origem específica do tipo de informação. Assim, o perfil “interno” reúne tipos de informação produzidos pela estrutura da própria burocracia federal (leis e normas, notas técnicas, pareceres legais, etc.). Por sua vez, o perfil “externo” envolve tipos de informação produzidos por outros atores governamentais e sociais, em um movimento de fora para dentro da burocracia federal (boas práticas de estados e municípios, recomendações de organismos internacionais, informações de grupos de interesse, de beneficiários, etc.). O terceiro perfil, “científico”, diz respeito aos tipos de informação produzidos pelo campo especializado de acadêmicos e pesquisadores (artigos, livros e relatórios de pesquisa). O quarto perfil, “experiencial”, reúne tipos de informação vinculados à “experiência pessoal” adquirida pelo próprio servidor e por seus colegas de trabalho ao longo da carreira.

Nos dados apresentados no Gráfico 2 e na Tabela 3, merece destaque a maior incidência de uso e conformação de um tipo específico de informação produzida pelo próprio Estado. Considerando-se que o tipo de organização burocrática trata de organização de natureza de dominação racional-legal, como já observado por Weber (1963), uma possível explicação para a configuração desse retrato de ensimesmamento poderia ser a necessidade, por parte da burocracia, de uma etapa de chancela ou validação do processo de absorção do conhecimento oriundo de fontes externas. Isto é, seria necessária a transformação, a tradução do conhecimento externo em instrumento informacional válido e palatável para o uso da administração pública. Talvez os instrumentos elencados como internos - pareceres, notas técnicas e recomendações - sirvam, em parte, intencionalmente ou não intencionalmente a esse propósito. Ou seja, é possível que fontes como trabalhos científicos ou produzidas por diferentes stakeholders das políticas, como já mencionado no caso dos entes do controle, influenciem indiretamente a produção dessas fontes internas. Esta é uma hipótese que merece ser explorada em estudos futuros.

4.3. Relações entre tipos de informação, tipo de funções e áreas de políticas públicas

Com o objetivo de identificar possíveis correlações existentes entre os perfis de função/atividade desempenhada e os perfis de fontes de informação encontrados nas análises fatoriais, optamos pela aplicação do coeficiente de correlação de Pearson⁵. A Tabela 4 descreve os coeficientes (que compreendem de -1 a 1) para os pares de fatores e suas respectivas significâncias. Para subsidiar a interpretação da força da relação entre os fatores, adotamos os seguintes parâmetros, positivo ou negativo: 0.9, correlação muito forte; 0.7 a 0.9, correlação forte; 0.5 a 0.7, correlação moderada; 0.3 a 0.5, correlação fraca; 0 a 0.3, correlação muito fraca.

TABELA 4
CORRELAÇÕES DE PEARSON ENTRE TIPOS DE INFORMAÇÃO E TIPOS DE TRABALHO

Tipos de informação	Tipos de trabalho
	Relacional	Analítico/Controle	Contratos/Fiscalização	Administrativo
Interno	-0,063*	0,484**	0,054*	0,268**
Externo	0,443**	0,093**	0,149**	0,038
Científico	0,286**	0,142**	0,046	-0,087**
Experiencial	0,107**	0,071**	-0,012	0,136**

• * p < 5%; ** p < 1% Nota: As correlações entre os fatores que compõem os tipos de informação e os tipos de trabalho são iguais a zero, uma vez que as análises fatoriais pressupuseram fatores independentes. Fonte: Elaborada pelos autores.

Dentre as correlações mais fortes, destaca-se a existente entre a função relacional e a utilização de informações externas às fontes estatais (r=0,443, p-valor <0,001) ou científicas (r = 0,286, p-valor <0,001). Já informações provenientes da máquina pública estão mais correlacionadas às funções analítico/controle (r = 0 ,484, p-valor <0,001) ou de natureza mais administrativa (r = 0,268, p-valor <0,001). Essas correlações corroboram a hipótese de que o tipo de trabalho exercido no âmbito da administração pública implica um uso mais recorrente de um tipo de informação; no caso, relacionado a estar mais ou menos insulado e buscar fontes mais ou menos internas ao próprio Estado.

Além disso, cabe destacar o papel desempenhado pelo perfil mais relacional. Estudos anteriores apontam que esse perfil é predominante entre os ocupantes de cargos comissionados mais altos na Administração Federal (Cavalcante & Lotta, 2015; Enap, 2018) e com maior nível de influência sobre o policy making (Kidjie & Palotti, 2020). Os achados da Tabela 4 apontam que esse perfil também se correlaciona à prospecção de fontes mais diversificadas de informação, como as externas à máquina pública (boas práticas de outros entes federados, instâncias de participação social, da sociedade civil e de organismos internacionais, entre outros) e as científicas.

No caso das relações entre tipos de informação e áreas de políticas públicas, optamos por uma abordagem descritiva mediante a comparação de medianas⁶. Os resultados podem ser observados no Gráfico 3 e demonstram as diferenças existentes entre os seis setores de políticas públicas com relação às fontes de informação mais utilizadas.

Observa-se um uso intenso de fontes internas em praticamente todos os setores de políticas públicas, em especial na área do controle e social. As fontes externas e científicas são menos comuns na maioria dos setores, com exceção do uso mais recorrente de fontes externas para o setor de meio ambiente e de científicas no caso de infraestrutura. Por fim, fontes relacionadas à experiência são recorrentes em todos os setores, com uma frequência mais elevada no caso da área central e relativamente menor para o setor social.

De fato, a literatura especializada já demonstra que as áreas de políticas públicas operam de forma distinta tanto em relação a seus modos e arranjos de governança, como na mobilização de suas capacidades (Cavalcante & Lotta, 2021; Filgueiras et al., 2020; Pires & Gomide, 2016). Por isso, esperava-se que elas também apresentassem diferenças quanto às fontes de informação utilizadas e à capacidade analítica e de absorção de evidências científicas.

GRÁFICO 3
COMPARAÇÃO DE TIPOS DE INFORMAÇÃO POR ÁREA DE POLÍTICA PÚBLICA

O maior uso de fontes externas e até mesmo científicas pela área de meio ambiente, a qual se caracteriza por ser mais sujeita a regulamentações internacionais, padrões de avaliações de financiamentos externos e interações com organizações não governamentais, corrobora achados de outros estudos (Abers, 2016; Koga, Filgueiras, Nascimento, Borali & Lima, 2020). A proeminência do uso de fontes científicas na área de infraestrutura também vai ao encontro de pesquisas empíricas que indicam um nível de escolaridade significativamente mais elevado dos burocratas da área quando comparados a outros burocratas federais, bem como apoio organizacional à capacitação e ao aprendizado interno identificado na área de infraestrutura (Farias, 2017; Paula et al., 2017). Esses dois fatores explicam o maior uso de fontes científicas em pesquisas com burocratas em outros países (Cherney et al., 2015; Landry, Lamari & Amara, 2003).

Buscando aprofundar o entendimento sobre a relação entre controle e gestão no uso de fontes informacionais, vale analisar, ainda, o uso destacado de fontes internas pelos burocratas do controle em detrimento das outras fontes, ainda que, no caso das fontes científicas, eles se posicionem ligeiramente acima das áreas central, social e econômica. Duas hipóteses que merecem ser exploradas em estudos futuros são os efeitos da tendência crescente da adoção de metodologias que envolvem exploração e cruzamento de bases de dados nas avaliações realizadas pelo controle, assim como uma eventual ocupação de posição de knowledge broker, isto é, mediador, intermediário e validador das diversas fontes informacionais, incluindo evidências científicas.

5. CONSIDERAÇÕES FINAIS

Compreender o espaço de atuação e as consequências de diferentes estratégias de obtenção de recursos informacionais é um elemento importante para conhecer o processo decisório e comportamental no âmbito da administração pública. A utilização de um survey online possibilita, por um custo relativamente baixo, ampliar o escopo dessa análise.

Nesta pesquisa buscamos analisar a percepção dos burocratas federais da Administração Direta levando em conta quais fontes de informação são utilizadas e, por sua vez, compreender sua utilização como decorrente dos diferentes contextos e trabalhos desenvolvidos na produção de políticas públicas. Considerando as críticas à abordagem das políticas públicas baseadas em evidências (PPBEs) e em diálogo com o modelo moderado de Pinheiro (2020b) e achados de outras pesquisas no campo (Macedo et al., 2019; Veselý et al., 2018), partimos do pressuposto de que outras fontes informacionais, além das científicas, podem ser utilizadas pelos burocratas federais para informar a produção de políticas públicas.

Um primeiro resultado a destacar diz respeito ao forte caráter analítico e de assessoramento observado entre as funções desempenhadas pelos burocratas federais. São muito relevantes atividades relacionadas a levantar ou mesmo produzir informações confiáveis para assessoramento. Contudo chama atenção o fato de esta atuação ocorrer em associação com a função de atendimento de demandas de entes do controle, uma vez que a literatura especializada esperaria que o uso de evidências fosse mobilizado com a finalidade preponderante de apoiar a produção das políticas e não para responder a entes do controle.

Quando se observam os tipos de informação utilizados pelos servidores federais, outro destaque a se fazer trata do extenso rol de informações provenientes do próprio Estado, o que remete ao caráter endógeno do conhecimento mobilizado para subsidiar o processo decisório, típico de burocracias públicas que mobilizam o conhecimento racional-legal. No entanto, este resultado leva a questionar a dinâmica das informações produzidas internamente ao Estado, uma vez que este tipo de instrumento informacional poderia estar servindo de intermediário de outras fontes de conhecimento. Mais uma vez os entes de controle são colocados em foco, uma vez que são mencionados como fontes relevantes entre as fontes internas. Tendo em vista o debate sobre a crescente influência do controle no policy making, questiona-se se seriam achados na direção da configuração de um modo particular de uso de evidências científicas intermediado pela validação pelos entes do controle. Este ponto merece ser investigado especialmente quanto a suas eventuais implicações na exacerbação de assimetrias de capacidades entre gestão e controle, especialmente na dimensão analítica.

Quanto às fontes científicas, em que pese seu aparente baixo uso, ainda não é possível trazer conclusões em razão dos argumentos acima levantados quanto à possibilidade de seu uso indireto por meio das fontes internas ou mesmo outras fontes informacionais. Ademais, os resultados da pesquisa indicaram que, em determinadas áreas, como a de infraestrutura, e trabalhos, como o relacional, há uso diferenciado desse tipo de fonte.

É importante ressaltar alguns limites dos achados identificados. O método empregado para observar possíveis efeitos do contexto sobre a mobilização das fontes de informação - análise de correlação e comparação de medianas - deve ser compreendido como um primeiro esforço analítico, sujeito a erros amostrais e à possibilidade de haver variáveis omitidas ou correlações espúrias. Futuras investigações que apliquem outros métodos ou abordagens, tais como modelagem de equações estruturais e entrevistas com burocratas, poderão analisar essas diferenças e buscar aprofundamentos sobre suas razões e efeitos.

De todo modo, a exploração da percepção do uso de diversas fontes informacionais em distintos contextos e trabalhos nas políticas públicas pôde demostrar que há, como esperado, heterogeneidade dentro da burocracia federal. Essas são as contribuições principais desta pesquisa para a literatura que discute o que informa as políticas públicas da perspectiva do funcionamento da administração pública. Trabalhos sobre o uso de evidências científicas, na esteira do movimento das PPBEs, devem, antes de fazer eventuais prescrições, compreender como de fato funciona a produção de políticas públicas. O nível de insulamento no trabalho burocrático, assim como o nível educacional dos indivíduos, incentivos organizacionais, e tipos de interações sociais são fatores relevantes a serem testados em futuras pesquisas que busquem explicar as escolhas dos burocratas no processo de produção e uso de evidências.

REFERÊNCIAS

• Abers, R. N. (2016). Conflitos, mobilizações, e participação insti- tucionalizada: A relação entre a sociedade civil e a construção de grandes obras de infraestrutura (Textos para Discussão n. 2231). Rio de Janeiro, RJ: Ipea.
• Abers, R. N., Oliveira, M. S., & Pereira, A. K. (2016). Inclusive Development and the Asymmetric State: Big Projects and Local Communities in the Brazilian Amazon. Journal of development studies, 53, 1-16.
• Cairney, P. (2019). The UK Government’s Imaginative Use of Evidence to Make Policy. British Politics, 14(1), 1-22.
• Caplan, N. (1979). The Two-Communities Theory and Knowledge Utilization. American behavioral scientist, 22(3), 459-470.
• Cavalcante, P., Camoes, M. R. S., & Knopp, M. (2015). Burocracia de médio escalão nos setores governamentais: semelhanças e diferenças. In P. Cavalcante, & G. Lotta (Orgs.), Burocracia de Médio Escalão: perfil, trajetória e atuação(pp. 57-90). Brasília, DF: Enap.
• Cavalcante, P., & Lotta, G. (2015). Burocracia de médio escalão: perfil, trajetória e atuação Brasília, DF: Enap.
• Cavalcante, P., & Lotta, G. (2021, fevereiro). Are Governance Modes Alike? An Analysis Based on Bureaucratic Relationships and Skills. International Journal of Public Administration Recuperado de https://doi.org/10.1080/01900692.2021.1874983
  » https://doi.org/10.1080/01900692.2021.1874983
• Cavalcante, P; & Silva, M. (2020). Reformas do Estado no Brasil: Trajetórias, inovações e desafios Brasília, DF: Ipea.
• Cherney, A., Head, B., Povey, J., Ferguson, M., & Boreham, P. (2015, maio). Use of Academic Social Research by Public Officials: Exploring Preferences and Constraints That Impact on Research Use. Evidence & Policy: A Journal of Research, Debate and Practice, 11(2), 169-88.
• Colebatch, H. K., Hoppe, R., & Noordegraaf, M. (2010). Working for policy Amsterdam, Netherlands: Amsterdam University Press.
• Davies, H. T. O., Nutley, S., & Smith, P. (2000). What Works? Evidence-Based Policy and Practice in Public Services Bristol, UK: The Policy Press.
• DeLeon, P. (2008, junho). The Historical Roots of the Field. In R. E. Goodin, M. Moran, & M. Rein (Eds.), The Oxford Handbook of Public Policy Recuperado dehttp://oxfordhandbooks.com/view/10.1093/oxfordhb/9780199548453.001.0001/oxfordhb-9780199548453-e-002
  » http://oxfordhandbooks.com/view/10.1093/oxfordhb/9780199548453.001.0001/oxfordhb-9780199548453-e-002
• Dunn, W. (1980). The two-communities metaphor and models of knowledge use: an exploratory case survey. Knowledge: Creation, Diffusion, Utilization, 1(4), 515-536.
• Escola Nacional de Administração Pública. (2018, junho). Capacidades estatais para produção de políticas públicas: resultados do survey sobre serviço civil no Brasil(Cadernos Enap, 56). Brasília, DF: Autor. Recuperado de http://repositorio.enap.gov.br/handle/1/3233
  » http://repositorio.enap.gov.br/handle/1/3233
• Farias, J. S. (2017). O apoio setorial à absorção e à aplicação do conhecimento na área de infraestrutura brasileira: um estudo sob a abordagem exploration e exploitation. In J.M. Paula, P. L. M. Palotti, P. L. C., Cavalcante , & P. A. Alves. (Orgs.), Burocracia federal de infraestrutura econômica: reflexões sobre capacidades estatais(pp. 353-390). Brasília, DF: Enap.
• Filgueiras, F. (2018). Burocracias do controle, controle da burocracia e accountability no Brasil. In R. Pires, G. Lotta, & V. Oliveira (Eds.), Burocracia e políticas públicas no Brasil: intersecções analíticas Brasília, DF: Ipea , Enap.
• Filgueiras, F., Koga, N., & Viana, R. (2020). State Capacities and Policy Work in Brazilian Civil Service. Revista de Sociologia e Política, 28(74), e004.
• Fischer, F., & Gottweis, H. (2012). The Argumentative Turn Revisited: Public Policy as Communicative Practice Durham, North Carolina: Duke University Press.
• Grin, E. J. (2020). Controle externo e policy making? A atuação do TCU junto à administração pública federal (Texto para Discussão). Rio de Janeiro, RJ: Ipea .
• Hair, J. F., Anderson, R. E., Tatham, R. L., & Grablowsky, B. J. (1979). Multivariate data analysis with readings Tulsa, Oklahoma: Petroleum Publishing Company.
• Howlett, M., & Wellstead, A. M. (2011). Policy Analysts in the Bureaucracy Revisited: The Nature of Professional Policy Work in Contemporary Government. Politics & Policy, 39(4), 613-633. Recuperado de https://doi.org/10.1111/j.1747-1346.2011.00306.x
  » https://doi.org/10.1111/j.1747-1346.2011.00306.x
• Humphrey, C., & Owen, D. (2000). Debating the ‘Power’ of Audit. International Journal of Auditing, 4(1), 29-50. Recuperado de https://doi.org/10.1111/1099-1123.00302
  » https://doi.org/10.1111/1099-1123.00302
• Kidjie, S., & Palotti, P. L. M. (2020). How Do Middle Managers Matter in Policymaking? Examining Managerial Work and Influence in Brazil. International Journal of Public Administration Recuperado de https://doi.org/10.1080/01900692.2020.1766498
  » https://doi.org/10.1080/01900692.2020.1766498
• Koga, N. M., Filgueiras, F., Nascimento, M. I. B., Borali, N., & Lima, V. (2020). Policy capacity and governance conditions for implementing sustainable development goals in Brazil. Revista do Serviço Público, 71(esp.), 38-77.
• Koga, N. M., & Viana, R. (2020). O trabalho na política pública da burocracia federal brasileira: entre a técnica e a política. In L. Lima, & L. Schabbach (Orgs.), Políticas públicas: questões teórico-metodológicas emergentes Porto Alegre, RS: Editora da UFRGS/CEGOV.
• Landry, R., Lamari, M., & Amara, N. (2003). The Extent and Determinants of the Utilization of University Research in Government Agencies. Public Administration Review, 63(2), 192-205. Recuperado de https://doi.org/10.1111/1540-6210.00279
  » https://doi.org/10.1111/1540-6210.00279
• Lasswell, H. D., & Lerner, D. (1951). The policy sciences: recent developments in scope and method Stanford, California: Stanford University Press.
• Lejano, R. P. (2006). Framework for Policy Analysis: Merging text and context New York, NY: Taylor & Francis Goup.
• Lindblom, C. E. (1959, Spring). The Science of “Muddling Through”. Public Administration Review, 19(2), 79-88. Recuperado de https://doi.org/10.2307/973677
  » https://doi.org/10.2307/973677
• Macedo, A. S., Viana, R., & Nascimento, M. (2019). Capacidades analíticas no processo de produção de políticas públicas: quais fontes de evidências utilizam o serviço civil da Administração Pública Federal?Administração Pública e Gestão Social, 4(11), 1-22.
• Meltsner, A. (1976). Policy analysts in the bureaucracy Berkeley, California: University of California Press.
• Newman, J., Cherney, A., & Head, B. W. (2016). Do Policy Makers Use Academic Research? Reexamining the “Two Communities” of Research Utilization. Public Administration Review, 76(1), 24-32. Recuperado dehttps://doi.org/10.1111/puar.12464
  » https://doi.org/10.1111/puar.12464
• Nogueira, R. A., & Gaetani, F. (2018, dezembro). A questão do controle no debate da governança pública (Boletim de Análise Político-Institucional, 19). Brasília, DF: IPEA.
• Olejniczak, K., Raimondo, E., & Kupiec, T. (2016). Evaluation units as knowledge brokers: testing and calibrating an innovative framework. Evaluation, 22(2), 168-189.
• Oliver, K., Innvar, S., Lorenc, T., Woodman, J. & Thomas, J. (2014). A Systematic Review of Barriers to and Facilitators of the Use of Evidence by Policymakers. BMC Health Services Research, 14(2), 1-12. Recuperado de https://doi.org/10.1186/1472-6963-14-2
  » https://doi.org/10.1186/1472-6963-14-2
• Parkhurst, J. (2017). The politics of evidence: from evidence-based policy to the good governance of evidence London, UK: Routledge.
• Paula, J. M., Palotti, P. L. M., Cavalcante, P. L. C., & Alves, P. A. (2017). Burocracia federal de infraestrutura econômica: Reflexões sobre capacidades estatais Brasília, DF: Enap , Ipea.
• Pinheiro, M. M. S. (2020a). Políticas públicas baseadas em evidências (PPBEs): delimitando o problema conceitual (Texto para Discussão, n. 2554). Rio de Janeiro, RJ: Ipea.
• Pinheiro, M. M. S. (2020b). Políticas públicas baseadas em evidências: uma avaliação crítica (Boletim de Análise Político-Institucional, 1). Brasília, DF: Ipea.
• Pires, R., Lotta, G., & Oliveira, V. E. (2018). Burocracia e Políticas Públicas no Brasil: intersecções analíticas Brasília, DF: Ipea , Enap.
• Pires, R. R. C., & Gomide, A. Á. (2016). Governança e capacidades estatais: uma análise comparativa de programas federais. Revista de Sociologia e Política, 24(58), 121-143. Recuperado de https://doi.org/10.1590/1678- 987316245806
  » https://doi.org/10.1590/1678- 987316245806
• Recuero, R., & Gruzd, A. (2019). Cascatas de Fake News Políticas: um estudo de caso no Twitter. Galáxia, 41, 31-47. Recuperado dehttps://doi.org/10.1590/1982-25542019239035
  » https://doi.org/10.1590/1982-25542019239035
• Shu, K., Silva, A., Wang, S., Jang, J., & Liu, H. (2017). Fake news detection on social media: a data mining perspective ACM SIGKDD Explorations, 19(1), 22-36. Recuperado de https://doi.org/10.1145/3137597.3137600
  » https://doi.org/10.1145/3137597.3137600
• Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129-138.
• Spink, P. (2019). Beyond public policy: A public action languages approach Northampton, UK: Edward Elgar Publishing.
• Thurstone, L.L (1935). The vectors of mind Chicago, Illinois: University of Chicago Press.
• Veselý, A., Ochrana, F., & Nekola, M. (2018). When Evidence is not Taken for Granted: The Use and Perception of “Evidence” in the Czech Republic Ministries. NISPAcee Journal of Public Administration and Policy, 11(2), 219-234. Recuperado de https://doi.org/10.2478/nispa-2018-0020
  » https://doi.org/10.2478/nispa-2018-0020
• Weber, M. (1963). Burocracia. In H. H. Gerth, & C. Wright Mills (Orgs.). Ensaios de Sociologia(pp. 230-281). Rio de Janeiro, RJ: Zahar.
• Weiss, C. (1979). The Many Meanings of Research Utilization. Public Administration Review, 39(5), 426-31.
• Williams, A. (2010). Is Evidence-Based Policy Making Really Possible? Reflections for Policymakers and Academics on Making Use of Research in the Work of Policy. In H. K. Colebatch, R. Hoppe, & M.Noordegraaf, M. (Eds.), Working for policy Amsterdam, Netherlands: Amsterdam University Press .
• Wu, X., Ramesh, M., & Howlett, M. (2015). Policy capacity: a conceptual framework for understanding policy competences and capabilities. Policy and Society, 34(3-4), 165-171. Recuperado dehttps://doi.org/10.1016/j.polsoc.2015.09.001
  » https://doi.org/10.1016/j.polsoc.2015.09.001
• Yanow, D. (2000). Conducting Interpretive Policy Analysis Newbury Park, California: Sage Publications.

• 1
  Para a proposição do modelo moderado, Pinheiro (2020a, 2020b) baseia-se em aprofundado resgate histórico sobre o movimento das PPBEs e na produção de uma análise filosófico-linguística por meio de tais referências do campo da Filosofia.
• 2
  O processo de amostragem para este survey teve de lidar com um impedimento técnico decisivo, que foi a indisponibilidade dos dados atualizados relativos à unidade de lotação e contato de e-mail dos servidores da Administração Pública Federal para o ano de 2019. Desse modo, optamos por utilizar exatamente a mesma amostra selecionada em survey anterior da Enap sobre o serviço civil no Brasil (Enap, 2018). A utilização da amostra anterior solucionou a questão da falta dos dados - sobretudo os de contato - dos servidores, indispensáveis para a realização da pesquisa. Também permitiu algum grau de comparabilidade entre resultados dos dois surveys, visto que algumas perguntas do survey de 2017 foram replicadas neste estudo.
• 3
  Ao longo de seis sessões temáticas, o questionário apresentado procurava identificar: i) perfil funcional dos respondentes, mapeando o tipo de vínculo com a administração, a carreira, o ministério de lotação, dentre outros; ii) a sua área de atuação no campo da política pública; iii) as principais atividades e funções desempenhadas no dia a dia do trabalho; iv) padrões de acesso e utilização de diferentes tipos de informação (com foco no que aqui designamos como “evidências científicas”), contextos individuais e organizacionais que condicionam os usos e os não usos dessas informações, dentre outros aspectos; v) conhecimentos, habilidades e valores dos respondentes; vi) perfil sociodemográfico (sexo, raça/etnia, escolaridade, etc.).
• 4
  A função “coordenar equipe” foi alocada no perfil “relacional” por uma decisão teórica. Por mais que ela tenha pontuado em três fatores diferentes e com carga fatorial ligeiramente mais elevada no fator “administrativo”, acredita-se que, no dia a dia da burocracia, ela tenha uma relação mais direta com as funções reunidas no perfil “relacional”.
• 5
  O coeficiente de correlação de Pearson foi escolhido porque o teste permite mensurar tanto o grau de relação entre as duas variáveis, referentes a tipos de trabalho e tipos de informação, como o caminho dessa relação (positivo ou negativo). A sua aplicação foi possível, nesse caso, porque as variáveis são normalmente distribuídas par a par.
• 6
  O coeficiente de correlação de Pearson não pôde ser aplicado nesse caso porque uma das variáveis, “área de política pública”, é categórica. Assim, em vez de utilizar outro teste de correlação, optamos por uma abordagem descritiva mediante a comparação de medianas, que se mostrou suficiente para apontar as distâncias existentes entre as seis áreas com relação a cada um dos tipos de fonte de informação.

• 7
  Esse método consiste em subdividir as populações em subpopulações (estratos). Em seguida, seleciona-se uma amostra aleatória simples de cada estrato. O tamanho da amostra a ser retirada de cada estrato depende de vários fatores, quais sejam: i) tamanho do estrato; ii) homogeneidade dos elementos dentro de cada estrato; iii) custo de selecionar cada unidade por estrato; iv) a importância das estimativas para os diferentes estratos.
• 8
  A íntegra do questionário pode ser acessada em https://www.ipea.gov.br/portal/index.php?option=com_content&view =article&id=37256&Itemid=448

APÊNDICE - DETALHAMENTO DOS MÉTODOS DE PESQUISA EMPREGADOS - Amostragem e coleta de dados

Conforme mencionado, a coleta de dados ocorreu por meio da aplicação de questionário autoadministrado online (Plataforma LimeSurvey), enviado por e-mail a uma amostra previamente selecionada do público-alvo da pesquisa.

O processo de amostragem teve de lidar com um impedimento técnico decisivo, que foi a indisponibilidade dos dados atualizados relativos à unidade de lotação e contato de e-mail dos servidores da Administração Pública Federal para o ano de 2019. Desse modo, optamos por utilizar exatamente a mesma amostra selecionada em survey anterior da Enap sobre o serviço civil no Brasil (Enap, 2018). Por um lado, a utilização da amostra anterior solucionou a questão da falta dos dados. Também permitiu algum grau de comparabilidade entre resultados dos dois surveys. Por outro lado, criou uma defasagem importante no acesso aos servidores. Além disso, os parâmetros da amostragem de 2017 (número total do universo, mudanças na sua composição, etc.) foram alterados ao longo desses dois anos.

Na pesquisa de 2017, a seleção da amostra a partir de um universo de 96.543 servidores civis da Administração Direta foi realizada por meio da técnica de estratificação simples⁷. Ou seja, uma quantidade previamente estabelecida de servidores foi selecionada - por sorteio - para cada um dos 24 órgãos da Administração Direta existentes na base do Siape em 2017 (para maiores detalhes da composição estratificada, ver Enap, 2018). A primeira amostra selecionada continha 6.055 servidores. Foram então realizadas mais duas rodadas de seleção utilizando exatamente o mesmo método, chegando ao número final de 18.165 servidores selecionados. Esses mesmos servidores foram convidados a participar do presente survey em 2019.

Após dois meses de coleta online, foram obtidos 2.180 registros completos válidos, representando uma taxa de resposta de 12% da amostra triplicada (36% da amostra original).

Como dito, o questionário aplicado⁸ foi desenhado fundamentalmente com base nas variáveis propostas na literatura. Ao longo de seis sessões temáticas, procuramos identificar por meio do questionário: i) perfil funcional dos respondentes; ii) sua área de atuação no campo da política pública; iii) principais atividades e funções desempenhadas no dia a dia do trabalho; iv) padrões de acesso e utilização de diferentes tipos de informação; v) conhecimentos, habilidades e valores; vi) perfil sociodemográfico.

ANÁLISES FATORIAIS E CORRELAÇÕES

Conforme relatado, duas análises fatoriais exploratórias foram conduzidas para os dados das variáveis que compõem os campos “Trabalho na Política Pública” e “Instrumentos informacionais”, uma vez que buscávamos identificar dimensões latentes de tipos de trabalho e tipos de informação. Em ambas as análises, três critérios de retenção de número de fatores foram comparados para se chegar à melhor decisão: o critério de Kaiser, que retém o número de fatores quando estes atingem o autovalor maior que 1; o critério da variância acumulada, que retém o número de fatores quando atingem a capacidade de explicar mais de 60% da variabilidade dos dados; e o critério da Análise Paralela, que simula projeção com objetivo de sugerir o máximo de fatores que podem ser retidos.

Para o campo “Trabalho na Política Pública”, o critério de Kaiser e o critério da variância acumulada sugeriram a retenção de três fatores; enquanto o critério da Análise Paralela sugeriu a retenção de até seis fatores. Comparando o resultado dos critérios, pôde-se concluir que a decisão entre três e seis fatores era plausível. A escolha pela retenção de quatro fatores deu-se por uma expectativa teórica, fundamentada em estudos anteriores, de que a realidade subjacente aos dados se definisse satisfatoriamente em quatro fatores. A retenção de mais do que quatro fatores (cinco ou seis) promoveu um ganho minimamente perceptível pelos autovalores simulados.

Para o campo “Instrumentos Informacionais”, ambos os critérios de Kaiser e da variância acumulada sugeriram a retenção de três fatores. Ao mesmo tempo, a análise paralela sugeria a retenção de no máximo quatro fatores. Observando a matriz de correlação, notamos um padrão sugestivo da existência de quatro fatores. Assim, decidimos pela extração desse número.

Como partimos do pressuposto de que os fatores gerados são independentes, a rotação varimax foi escolhida. Essa rotação é do tipo ortogonal e pressupõe tal independência. Apesar de não haver nenhuma perda de variável, escolhemos o critério de formar fatores a partir de variáveis com carga fatorial acima de 0,3. Hair et al. (1998, p. 112) apresenta uma tabela indicando que as cargas fatoriais acima de 0,3 são de significância prática para um tamanho amostral acima de 300. Nossas AFEs estão de acordo com esse critério.

Por fim, para analisar a relação entre os fatores, estimamos os scores fatoriais a partir do método de Thurstone (Thurstone, 1935), o qual, resumidamente, recalcula as cargas fatoriais, considerando as correlações entre as variáveis originais.

TABELA A
FREQUÊNCIA DAS VARIÁVEIS DO CAMPO “TRABALHO NA POLÍTICA PÚBLICA”

Função desempenhada	Sempre	Frequentemente	Eventualmente	Raramente	Nunca
Elaborar relatórios e notas técnicas	33.15%	30.54%	14.91%	9.75%	11.64%
Realizar assessoramento de dirigentes	25.15%	23.39%	17.97%	10.79%	22.70%
Coletar e analisar dados	19.01%	27.07%	19.11%	13.19%	21.62%
Realizar atividades administrativas	25.55%	20.39%	16.21%	15.33%	22.52%
Coordenar equipe	27.00%	17.74%	16.95%	10.26%	28.05%
Fiscalizar o cumprimento das normas.	19.29%	16.59%	13.52%	12.12%	38.47%
Atender demandas dos órgãos de controle	13.87%	18.63%	27.79%	18.58%	21.12%
Consultar e atender grupos da sociedade	9.86%	16.55%	20.77%	17.42%	35.40%
Elaborar, gerir e fiscalizar contratos	12.08%	13.80%	14.88%	12.46%	46.78%
Representar seu órgão junto a outros entes gov.	9.04%	15.15%	18.67%	15.75%	41.40%
Elaborar textos normativos (ex. projetos de lei)	5.28%	11.31%	17.77%	17.07%	48.57%
Organizar eventos	4.47%	10.12%	19.75%	20.94%	44.73%
Contratar e validar estudos de avaliação	3.69%	7.54%	13.05%	19.22%	56.50%
Captar e negociar recursos financeiros	3.13%	7.91%	8.85%	11.10%	69.01%

• Nota: “Nos últimos 12 meses, com que frequência você executou as atividades abaixo relacionadas à política pública na qual você trabalha?” Escala: Sempre (5), Frequentemente (4), Eventualmente (3), Raramente (2), Nunca (1). Fonte: Elaborada pelos autores.

TABELA B
FREQUÊNCIAS DAS VARIÁVEIS DO CAMPO “INSTRUMENTOS INFORMACIONAIS”

Tipo de informação	Sempre	Frequentemente	Eventualmente	Raramente	Nunca	Não sei
Leis e normas	60.46%	21.65%	10.46%	3.90%	2.29%	1.24%
Consulta a colegas de trabalho	41.28%	34.59%	16.51%	3.58%	2.34%	1.70%
Experiência pessoal	34.72%	29.86%	19.59%	7.80%	5.32%	2.71%
Notas técnicas produzidas por órgãos federais	32.75%	29.91%	20.60%	10%	5.14%	1.61%
Sistemas e bases de dados governamentais	25.92%	23.90%	20.28%	14.36%	13.35%	2.20%
Pareceres legais e decisões judiciais	24.68%	25.50%	20.73%	15.83%	10.96%	2.29%
Recomendações de órgãos de controle	23.94%	25.50%	21.83%	14.86%	11.28%	2.57%
Artigos ou livros produzidos por pesquisadores	12.20%	18.26%	27.71%	22.94%	16.56%	2.34%
Matéria jornalística	10.05%	14.36%	22.25%	23.76%	26.88%	2.71%
Relatórios de pesquisa científica	6.47%	13.30%	22.80%	25.73%	28.07%	3.62%
Recomendações de organismos internacionais	5.83%	12.39%	18.81%	23.17%	35.87%	3.94%
Boas práticas de estados e municípios	4.72%	6.79%	17.43%	26.33%	40.23%	4.50%
Experiência e opiniões de beneficiário	4.72%	7.25%	19.50%	27.16%	37.16%	4.22%
Recomendações de instâncias participativas	3.81%	7.61%	17.57%	27.11%	39.45%	4.45%
Informações geradas por grupos de interesse	3.17%	7.80%	17.29%	26.38%	41.61%	3.76%

• Nota: “Nos últimos 12 meses, com que frequência você utilizou os tipos de informação listados abaixo para o seu trabalho?”
• Escala: Sempre (5), Frequentemente (4), Eventualmente (3), Raramente (2), Nunca (1).
• Fonte: Elaborada pelos autores.

Datas de Publicação

• Publicação nesta coleção
  21 Jan 2022
• Data do Fascículo
  Sep-Oct 2021

Histórico

• Recebido
  23 Dez 2020
• Aceito
  30 Ago 2021