Análise das redes de cooperação científica através do estudo das coautorias dos artigos publicados em eventos da Anpad sobre avaliação de políticas públicas

Scientific cooperation network analysis through the coauthors studies of the published articles in Anpad events about the assessment of the public policies

ARTIGOS

Análise das redes de cooperação científica através do estudo das coautorias dos artigos publicados em eventos da Anpad sobre avaliação de políticas públicas

Scientific cooperation network analysis through the coauthors studies of the published articles in Anpad events about the assessment of the public policies

Ronan Pereira Capobiango^I; Suely de Fátima Ramos Silveira^II; Cristiano Zerbato^III; Alcindo Cipriano Argolo Mendes^IV

^IMestrando em administração no Programa de Pós-Graduação em Administração da Universidade Federal de Viçosa (PPGADM/UFV). Graduado em ciências contábeis pela Universidade Federal de Viçosa (UFV). Endereço: av. P. H. Rolfs, s/n, Campus Universitário – CEP 36570-000, Viçosa, MG, Brasil. E-mail: [e-mail]

^IIDoutora em economia aplicada pela Escola Superior de Agricultura da Universidade de São Paulo (Esalq/USP). Professora associada do Departamento de Administração e Contabilidade (DAD/UFV) e coordenadora do Programa de Pós-Graduação em Administração da UFV. Endereço: av. P. H. Rolfs, s/n, Campus Universitário – CEP 36570-000, Viçosa, MG, Brasil. E-mail: [e-mail]

^IIIMestrando em agronomia pelo Programa de Pós-Graduação em Agronomia da Universidade Estadual Paulista Julio de Mesquista Filho (Unesp). Bacharel em agronomia pela Universidade Federal de Viçosa (UFV). Laboratório de máquinas e mecanização agrícola. Endereço: Via de acesso Prof. Paulo Donato Castellane, s/n – CEP 14884-900, Jaboticabal, SP, Brasil. E-mail: [e-mail]

^IVMestre em ciências contábeis pela Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia e Finanças (Fucape). Professor assistente do Departamento de Administração e Contabilidade (DAD) da UFV. Endereço: av. P. H. Rolfs, s/n, Campus Universitário – CEP 36570-000, Viçosa, MG, Brasil. E-mail: [e-mail]

RESUMO

O tema avaliação de políticas públicas foi intensificado com o desenvolvimento da administração pública, no entanto ainda é pouco explorado. Propõe-se neste trabalho identificar as redes de pesquisa entre as instituições e os autores que estudam a temática avaliação de políticas públicas e tiveram seus artigos publicados nos anais dos EnAnpads e/ou dos EnAPGs, nos últimos 10 anos. A identificação das relações entre os autores e instituições deu-se por meio do desenvolvimento de um estudo sociométrico e bibliométrico. Para tanto, selecionaram-se 45 artigos científicos que foram publicados nos anais dos EnAnpads, e 26 artigos, nos anais do EnAPGs. A fim de construir as redes de coautoria e as relações interinstitucionais, utilizou-se o software Pajek. Os resultados demonstraram o baixo grau de densidade nas possíveis redes de pesquisadores dedicados ao tema avaliação de políticas públicas no Brasil, na área de administração pública, na Anpad. Os autores não mantêm vínculo de publicação e se relacionam, em geral, uma única vez ou, ainda, publicam sozinhos. Conclui-se que a relação de forças na rede é baixa, ou seja, existem poucos contatos entre os autores para que haja poder na rede. Pretende-se neste estudo apontar o baixo grau de relacionamento entre autores e instituições.

Palavras-chave: redes; avaliação; políticas públicas; sociometria.

ABSTRACT

The theme of public policy evaluation was intensified with the development of Public Administration; however, it still hasn't been explored much. This work proposes to identify the research network between institutions and the authors that study public policy evaluation themes and had their articles published in the EnAnpad circles and, or, the EnAPD circles in the last 10 years. The identification of the relationship between the authors and institutions were given through the development of a sociometric and bibliometric study. As such, 45 scientific articles were selected which were published in the EnAnpad circle and 26 articles in the EnAPG circle. With the ends of constructing the coauthor networks and the interinstitutional relationship, the software Pajek was used. The results demostrated the low grade of density in the possible networks of researchers dedicated to the public policy evaluation theme in Brazil in the area of public administration in Anpad. The authors do not maintain any link to publications and are related, in general with a single publication or self-publish. It can be concluded that the relationship among forces in the network is low, in other words, few with little contact among the authors so there can be power within the network. This study intends to point the low grade relationship between authors and various institutions.

Key words: networks; evaluation; public policies; sociometrics.

1. Introdução

A pesquisa acadêmica na área de políticas públicas pode ser visualizada como um mecanismo que permite conhecer melhor a realidade e propor métodos e critérios para uma alocação mais efetiva dos recursos públicos. O objetivo dessas pesquisas é contribuir para que as políticas públicas atinjam seu objetivo maior, ou seja, oferecer serviços públicos de qualidade e elevar o bem-estar social.

Além da ciência política, diversas áreas do conhecimento vêm realizando estudos sobre o que o governo faz ou deixa de fazer. A academia, em parceria com órgãos governamentais e centros de pesquisa, tem marcado presença ao desenvolver várias pesquisas sobre políticas públicas (Souza, 2003).

Costa e Castanhar (2003) argumentam que o agravamento da crise fiscal, a escassez de recursos do setor público e a imprescindível intervenção governamental para atender à população de baixa renda e/ou carente levam à necessidade de se conseguirem maior eficiência e maior impacto nos investimentos governamentais em programas sociais. Este cenário, aliado às questões de efetividade, eficiência, accountability e desempenho da gestão pública, fomenta, ou pelo menos deveria motivar, o interesse pela avaliação das políticas públicas.

Por sua vez, a sociedade tem-se tornado mais exigente quanto à qualidade da gestão pública e se mostra cada vez mais participativa nas intervenções governamentais, na expectativa de obter maior eficiência e transparência no uso dos recursos públicos. É neste contexto que as pesquisas e os estudos sobre avaliação das políticas públicas adquirem maior relevância, pois fornecem à sociedade e aos gestores públicos informações importantes, para que seja possível julgar o sucesso ou o fracasso de uma ação governamental.

A avaliação de programas e projetos sociais, no contexto das entidades públicas, pode ser entendida como uma atividade de comparação entre o planejado e o realizado com o intuito de contribuir para a tomada de decisão e aperfeiçoar os planejamentos futuros (Varela e Martins, 2005).

Não se pode negar a importância em se avaliar um plano, um programa ou um projeto público, fato que vem sendo reconhecido nos estudos e nas pesquisas recentes. Deve-se admitir, porém, que, apesar de todos os avanços, ainda há muito que se progredir para aperfeiçoar e criar novas metodologias e abordagens que superem os vários desafios na área de avaliação. Como alerta Contador (2000), a avaliação de projetos no setor público é ainda uma atividade pouco praticada no Brasil e mesmo em outros países.

Propõe-se, nesta pesquisa, investigar a seguinte questão: quais são as redes de pesquisa entre as instituições e os autores que desenvolveram estudos sobre a avaliação de políticas públicas e tiveram seus artigos publicados nos anais dos EnAnpads e/ou dos EnAPGs, na última década? Assim, o objetivo desta pesquisa é identificar as redes de pesquisa entre as instituições e os autores que estudam a temática "avaliação de políticas públicas" e que tiveram seus artigos publicados em eventos de âmbito nacional como os da Anpad, nos últimos 10 anos. Tais eventos destacam-se por sua relevância na comunidade científica e acadêmica de administração no país e por oferecerem oportunidades para a divulgação de trabalhos na área de administração pública e gestão social (APS), que incluem os estudos sobre avaliação de políticas públicas.

Para alcançar o objetivo proposto, tentou-se: identificar as instituições e os autores que publicaram artigos referentes à avaliação de planos, programas e projetos públicos nos Encontros da Associação Nacional dos Programas de Pós-Graduação em Administração (EnAnpads), na última década (2000 a 2009), e nos Encontros de Administração Pública e Governança (EnAPGs), nos três anos de sua edição (2004, 2006 e 2008); fazer, através de um sociograma, uma representação gráfica das relações sociais entre autores e instituições envolvidos no estudo; verificar quais autores e instituições mais se destacaram e o número de laços que estes apresentam, considerando a abordagem deste estudo; e, por fim, descrever as redes de cooperação entre os autores e as instituições em questão.

Este trabalho se justifica uma vez que nele serão identificadas as redes de pesquisa nesta área, adotando-se como hipótese do estudo o baixo grau de relacionamento entre os autores e instituições que vêm publicando trabalhos sobre avaliação de políticas públicas, na última década, no EnAnpad e no EnAPG. Souza (2003), ao mapear os principais problemas referentes às perspectivas de pesquisas em políticas públicas no Brasil, verificou que o diálogo entre pesquisadores da área é escasso. Segundo ele, é necessário conhecer melhor o que eles estão produzindo e debater mais o assunto.

Os estudos de rede de relacionamento entre pesquisadores da área de avaliação de políticas públicas muito contribuem com seus resultados para um maior entendimento da difusão ou concentração do conhecimento nessa área, o que pode ser um indicativo de evolução ou estagnação no avanço das pesquisas.

2. Referencial teórico

2.1. Avaliação de políticas públicas

Segundo Souza (2006), não existe uma única, nem melhor, definição sobre o que seja política. Para ela, é o campo do conhecimento que busca, ao mesmo tempo, "colocar o governo em ação" e/ou analisar essa ação e, quando necessário, propor mudanças no rumo dessas ações. Assinala ainda que a formula-ção de políticas públicas constitui-se no estágio em que os governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações que irão produzir resultados ou modificações no mundo real.

A elaboração de uma política pública compreende a elaboração de planos, programas e projetos. De acordo com Silva e Costa (2002), esta fase representa o estágio em que as propostas ganham forma e estatuto, sendo definidas metas, objetivos e recursos que fornecem os mínimos tratamentos formais.

Os termos planos, programas e projetos designam modalidades de intervenção social que diferem em escopo e duração. O projeto é uma iniciativa planejada que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados. O conjunto de projetos com os mesmos objetivos é denominado programa, o qual estabelece as prioridades da intervenção, define o âmbito institucional e aloca os recursos disponíveis. Os planos, por sua vez, constituem a adição dos programas que perseguem objetivos comuns, ordenam os objetivos gerais e os desagregam em objetivos específicos, os quais formarão os objetivos gerais dos programas. O plano inclui ainda os meios estruturais e administrativos, as formas de negociação, coordenação e direção (Cohen e Franco, 2007).

A aferição dos resultados esperados e não esperados alcançados pela implementação dos programas, ou seja, a preocupação com a efetividade se-ria, na visão de Silva (1999), o motivo mais imediato do interesse pela avaliação de atividades de governo.

Ala-Harja e Helgason (2000:8) definem avaliação assegurando que "o termo compreende a avaliação dos resultados de um programa em relação aos objetivos propostos". No entanto, os autores advertem que não existe um consenso quanto ao que seja avaliação de políticas públicas, já que o conceito admite múltiplas definições. Uma definição comumente empregada seria a de Weiss (1998:5), que define avaliação como "a estimativa sistemática da operação e/ou dos resultados de um programa ou de uma política (policy), em comparação com um conjunto de parâmetros implícitos ou explícitos, como forma de contribuir para o aprimoramento do programa ou política".

Garcia (2001), na tentativa de combinar contribuições de diversos autores, define avaliação como uma operação na qual se julga o valor de uma iniciativa organizacional, tendo em vista um quadro referencial ou padrão comparativo previamente definido. Ou, ainda, a operação de constatar a presença ou a quantidade de um valor desejado nos resultados de uma ação empreendida para obtê-lo, a qual se baseia em um quadro referencial ou em critérios de aceitabilidade pretendidos.

De acordo com Cohen e Franco (2007), a avaliação não deve ser entendida como uma atividade isolada e autossuficiente, pois faz parte do processo de planejamento da política social, possibilitando retroalimentação, que per-mite a seleção entre diversos projetos de acordo com sua eficácia e eficiência. Permite também analisar os resultados obtidos por meio desses projetos, fornecendo condições de retificar as ações e reorientá-las em direção ao fim demandado.

A fase da avaliação é, na expectativa de Frey (2000:229), "imprescindível para o desenvolvimento e a adaptação contínua das formas e instrumentos de ação pública". Cunha (2006) contribui com esta visão, afirmando que os formuladores e implementadores podem tomar suas decisões com maior conhecimento a partir das avaliações de políticas e programas, possibilitando maximizar o resultado do gasto público, identificar êxitos e superar pontos de estrangulamento.

Numa visão mais ampla, Derlien (2001) identifica três funções que podem ser atribuídas à avaliação de políticas, sendo elas: de informação, de alocação e de legitimação. Segundo Garcia (2001), o princípio elementar que sustenta a realização da avaliação reside no fato de que não se pode conduzir com efetividade programas e projetos sociais se os dirigentes não conhecem os sinais vitais do processo que conduzem e da situação em que intervêm.

2.2. Estudos sobre avaliação de políticas públicas

A partir dos anos 1960 houve crescente interesse pelo estudo das políticas públicas, graças ao desenvolvimento do estado de bem-estar social nos países industrializados e aos esforços de desenvolvimento na periferia. Esses processos políticos, sociais e econômicos que acompanharam a transformação do Estado, a partir da segunda metade do século XX, fizeram com que um novo campo de investigação social surgisse, o de análise das políticas públicas (Flexor e Leite, 2007).

Neste mesmo contexto, o desenvolvimento da administração pública intensificou o interesse pela avaliação das políticas públicas e programas governamentais. Cunha (2006) relaciona este interesse com questões de efetividade, eficiência, accountability e desempenho da gestão pública, por considerar estes estudos ferramenta para gestores, formuladores e implementadores de programas e políticas públicas. Ceneviva (2005) contribui afirmando que a literatura referente às tendências recentes na avaliação de programas e políticas públicas também elenca o problema do desempenho e da accountability, entre as razões para que sejam realizados estudos de avaliação.

Os estudos tradicionais sobre políticas públicas baseiam-se em métodos quantitativos e são frequentemente forçados a se limitar a um número reduzido de variáveis explicativas, em razão das dificuldades técnicas e organizacionais. No entanto, para melhor entender a origem e o percurso de certos programas políticos, a pesquisa comparativa não pode deixar de se concentrar de forma mais intensa na investigação da existência interna dos processos político-administrativos. Com esse direcionamento processual, os arranjos institucionais, as atitudes e os objetivos dos atores políticos, os instrumentos de ação e as estratégias políticas tornam-se mais importantes (Frey, 2000).

De acordo com Schofield e Sausman (2004), a avaliação de políticas públicas representa uma área em ascensão na literatura e tenta, além de analisar as variáveis relacionadas a seu desempenho, compreender os processos políticos envolvidos. É neste contexto que Heller e Castro (2007) afirmam estarem abertas importantes vias para o debate, seja no plano teórico, seja no metodológico, destacando o fato de que os pesquisadores da área possuem consciência da fragilidade conceitual e metodológica para o estudo e desenvolvimento das políticas públicas.

A avaliação supõe a utilização do conjunto de modelos, instrumentos e técnicas que compõem a chamada metodologia da pesquisa em ciências sociais, existindo, portanto, relações estreitas entre avaliação e pesquisa. A metodologia de pesquisa é utilizada como instrumento para determinar em que medida os projetos sociais alcançam seus objetivos. A avaliação, porém, não se restringe ao instrumento, a qual visa racionalizar a alocação de recursos e, para isso, trata de maximizar a eficiência e a eficácia de ações que são conduzidas a modificar segmentos da realidade (Cohen e Franco, 2007).

Segundo Cotta (1998), as metodologias de avaliação de programas sociais têm sido alvo de críticas severas, pois, na prática, as avaliações não subsidiam o processo decisório, devido a seus resultados inconclusivos (em função das próprias limitações deste tipo de estudo), inoportunos (decorrentes da lentidão do processo avaliativo) e irrelevantes (porque não respondem às demandas informacionais de todos os agentes sociais afetos à intervenção). Para a autora, muito se tem a discutir sobre as metodologias de avaliação de programas e projetos sociais.

Considerando a avaliação um conjunto de técnicas que adota conceitos diferenciados para se referir muitas vezes aos mesmos procedimentos, Costa e Castanhar (2003) alertam para a necessidade de se avançar na teorização da prática e buscar os consensos necessários para a construção de paradigmas conceituais, pois, caso contrário, cada esforço de avaliação vai exigir o estabelecimento prévio de uma estrutura de referência para análise e treinamento supervisionado do pessoal envolvido. Na visão desses autores, tanto para avaliação de programas públicos quanto para outros campos na administração, o aprendizado com as experiências práticas contribui para a superação das dificuldades conceituais e operacionais (Costa e Castanhar, 2003:970).

Segundo Assumpção e Campos (2009), a preocupação com os procedimentos metodológicos e bases ideológicas do processo avaliativo é um fa-tor que contribui para o oferecimento de uma direção às pesquisas futuras e, assim, facilitar a intervenção empírica, através da ativação de um processo político de avaliar, ou seja, que enfatize a fidedignidade, transparência, credibilidade e o impacto das informações geradas.

A relevância dos estudos sobre a avaliação de políticas públicas é visível e exige dos estudiosos comprometimentos e seriedade para que os desafios se-jam superados, permitindo alcançar resultados que impactam com benefícios toda a sociedade.

2.3. Redes

Para Castells (2009), na era da informação, as funções e processos dominantes estão cada vez mais organizados em torno de redes. O termo redes é entendido pelo mesmo autor como estruturas abertas capazes de se expandir de forma ilimitada, integrando novos nós desde que consigam compartilhar objetivos dentro da rede. Uma estrutura social com base em redes é um sistema aberto altamente dinâmico suscetível de inovação sem ameaças ao seu equilíbrio (Castells, 2009).

De acordo com Cruz e colaboradores (2008), o conceito de redes surge como chave cognitiva privilegiada no entendimento das mudanças de grande magnitude que ocorrem nas esferas políticas, econômicas e sociais. Em termos intuitivos, Nelson (1984) assegura que as redes sociais são conjuntos de contatos que unem diversos atores, e que estes contatos podem ser de diferentes tipos, com conteúdos distintos e diversas propriedades estruturais.

A forma das relações entre os atores sociais consiste, conforme exposto por Lemieux e Ouimet (2008), no caráter orientado ou não orientado dessas relações. A relação orientada entre dois autores existe quando há transmissão de um para o outro, enquanto a relação não orientada ocorre quando não há transmissões unilaterais de um ator para o outro, mas uma relação que não comporta qualquer orientação (Lemieux e Ouimet, 2008).

O estudo de redes sociais apresenta três origens principais: a sociometria, os estudos de antropólogos da Universidade de Manchester e os estudos de estruturalistas da Universidade de Harvard. Na década de 1930, Jacob Levy Moreno (1889-1974) elaborou os sociogramas, que tinham como finalidade identificar as redes de relacionamento entre pessoas e seus modelos de interação, o que fez se desenvolver a sociometria. As pesquisas de antropólogos nos anos 1950 destacam-se como marco nos estudos de redes sociais, por terem sido desenvolvidos modelos matemáticos de redes com o intuito de conceber relações e atividades sociais (Martes et al., 2006).

No campo das ciências sociais é natural, segundo Martinho (2003), a apropriação do termo rede, como sistemas, estruturas ou desenhos organizacionais que possuem grande quantidade de elementos dispersos no espaço e que mantêm relações entre si, para a compreensão dos mecanismos de relacionamento e para o estudo da dinâmica da rede, a partir dos laços ou ligações entre seus componentes.

Segundo Berry (1997), o processo de inovação em uma rede não surge da tentativa de cópia de "melhores práticas" percebidas em outros contextos, mas do compartilhamento de conhecimentos diversificados, da reflexão sobre experiências e do aprendizado pela interação e experimentação.

Para Rossoni e Machado-da-Silva (2007), as relações sociais possuem relevância na construção de significados. Segundo Scott (2000), as relações entre organizações ganharam relevância e se tornaram foco de análise dos pesquisadores organizacionais somente depois que os sociólogos entenderam que a comunidade urbana constitui uma rede de organizações.

Castells (2009) argumenta que as ligações entre indivíduos, seus agrupamentos e comunicação devem ser objetos de análise, no intuito de compreender a inserção social e a distribuição do poder, ao passo que cada indivíduo estabelece vínculos com outros, e o encontro de interesses constitui combinação suficiente para identificá-los não somente como grupos, mas como uma rede social. Junqueira (2006) afirma que a sustentação das redes sociais só ocorre quando há objetivo em comum e se este for suficiente o bastante para que os atores possam continuar a investir na organização da rede.

Um mecanismo de flexibilização das relações entre pessoas que vem sendo considerado é a governança de redes que, conforme Souza (2004), é capaz de potencializar o compartilhamento de informações entre organizações e indivíduos e ainda contribuir para a formação de conhecimento e inovações tecnológicas.

As redes sociais originam novo conhecimento, com o propósito de solucionar oposições na área das ciências sociais, trabalhando com ações estruturadas e explorando, essencialmente, a geração quantitativa da informação.

Para o fortalecimento deste aspecto quantitativo das redes é importante a agregação de estudos métricos para tornar possível outros aspectos das relações, como gráficos, densidades, centralidades, intermediações, proximidades e vetores. As redes sociais constituem-se em uma representação de frequência científica desenhada em um mapa por meio da semelhança de autores, tópicos ou instituições científicas (Pinto et al., 2007).

3. Metodologia

Esta pesquisa é um estudo de caráter descritivo, uma vez que descreve o comportamento do fenômeno, ou seja, como os pesquisadores se relacionam. De acordo com Gil (2002), a pesquisa descritiva é entendida como aquela que apresenta como um de seus objetivos a descrição das características de determinada população ou fenômeno. Vergara (2008) destaca que a pesquisa descritiva não tem compromisso de explicar os fenômenos que descreve, no entanto, serve de base para tal explicação.

Ao identificar as relações entre os autores e instituições que discutiram em seus estudos, nos EnAnpads e nos EnAPGs, observou-se que a avaliação de políticas públicas se deu por meio do desenvolvimento de um estudo sociométrico, também denominado Análise de Redes Sociais (ARS) de relacionamento e, ainda, bibliométrico, por apresentar aspectos quantitativos da produção.

Assim definida por Silva e colaboradores (2006), a ARS é uma abordagem oriunda das ciências sociais, que tem como objeto de estudo as ligações relacionais entre atores sociais e que utiliza a linguagem matemática dos grafos como base para suas análises. Um grafo, por sua vez, pode ser entendido pela explicação de Nooy e colaboradores (2005) como um conjunto de vértices e um grupo de linhas entre pares de vértices. Assim, é possível visualizar como os sistemas de relações têm conduzido o campo de pesquisa em avaliação de políticas públicas.

Para a condução do estudo foram selecionados 45 artigos científicos publicados nos anais dos EnAnpads, nos últimos 10 anos (2000-2009), e 26 nos anais dos EnAPGs, referentes ao período de 2004 a 2008. Para a seleção dos artigos, publicados nos referidos anais, foram considerados aqueles que tiveram a avaliação de planos, programas ou projetos como objeto de discussão nos referenciais teóricos e/ou que propuseram uma abordagem metodológica de avaliação ou mesmo a sua aplicação prática.

Para fins de análise dos dados, foram observados os autores e coautores dos artigos e as instituições às quais estes se encontravam vinculados na ocasião. A informação quanto ao vínculo institucional dos envolvidos deu-se mediante dados constantes nos próprios artigos analisados, considerando-se, para os participantes vinculados a mais de uma instituição, aquela informada primeiramente nos trabalhos.

Entende-se por redes de coautoria as relações entre os atores (pesquisadores/nós) da rede que se unem e compartilham suas experiências e saberes na produção de um conhecimento comum. Dois pesquisadores são considerados conectados por serem coautores em um ou mais artigos juntos. A ligação entre eles são as colaborações científicas através de coautoria.

A razão entre as relações existentes e as possíveis é chamada de densidade. O número de relações não orientadas (empregada neste trabalho) possíveis entre os atores pode ser determinado, conforme exposto por Lemieux e Ouimet (2008), multiplicando-se N (número de atores) por N-1 e dividindose, em seguida, este produto por dois. Dessa forma, é possível a análise da densidade das redes.

Não foram estabelecidos critérios para diferenciar as posições entre autores e coautores, portanto, objetivou-se aqui analisar a cooperação entre eles enquanto pesquisadores que se interessam pela temática "avaliação de políticas públicas" e que podem estabelecer diversas formas de interação, fortificando ainda mais suas relações.

A fim de construir as redes de coautoria e as relações interinstitucionais, utilizou-se o software Pajek. O termo Pajek, em esloveno, significa aranha, dada a semelhança entre o desenho da rede gerada e uma teia de aranha. Trata-se de um programa de análise e visualização de redes em que as informações são representadas por vértices (são os elementos da rede e são mostrados por um círculo), edges (linhas que representam uma ligação entre dois vértices, e a espessura da linha pode representar um valor diferente para cada edge) e arcs (linhas que representam uma ligação entre dois vértices; porém, com sinalização de direção, através de setas).

Carrington, Scott e Wasserman (2005) explicam que neste programa são utilizadas seis diferentes estruturas de dados: redes (nós e arcs/edges), divisórias (classificações de nós, onde cada nó é atribuído exclusivamente a uma classe), permutações (reordenação de nós), os clusters (subconjunto de nós), as hierarquias (cluster e nós hierarquicamente ordenados) e vetores (propriedades de nós). A estrutura do programa baseia-se inteiramente nas seis estruturas de dados e nas transições entre elas. Os resultados gerados pelos processos são normalmente apresentados utilizando-se as estruturas de dados, que podem ser utilizadas como entrada em outros procedimentos, como métodos de visualização (Carrington et al., 2005).

Conforme exposto por Oliveira, Santarem e Santarem Segundo (2009), a utilização de técnicas de visualização de redes sociais empregando-se o software Pajek é, do ponto de vista metodológico, bastante recomendável para representar graficamente a configuração das redes de coautoria.

4. Resultados e discussão

A demonstração gráfica das ligações entre os autores, através do software Pajek, pode ser visualizada na figura 1, que evidencia as relações entre os autores na publicação de artigos referentes à avaliação de políticas públicas. Os pontos nas figuras indicam os autores e coautores e a espessura dos segmentos relaciona-se à frequência de coautorias. Percebe-se a ocorrência de apenas três ligações que tiveram mais de uma única relação entre as publicações analisadas durante o período em questão: Assumpção, J.J. e Campos, L.M. de S.; Coelho, M.Q. e Gonçalves, C.A.; e Neto, J.M. da S. e Melo, R.P. de. A maioria das ligações deu-se uma única vez e de forma isolada, apresentando também autores que não publicaram em coautoria, identificados por Ribeiro, B.B.; Ribeiro, E.B.; Castro, R.; Azevedo, J.A.M.; Jannuzzi, P. de M.; e Pires, R.R.C.

Outra análise que pode ser feita e que reforça o entendimento anterior é com relação à densidade da rede, que é conhecida como proporção do número de relações em função do número total de relações possíveis. A rede, apresentada na figura 1, tem relações muito pouco densas, atingindo 1,9% do total de ligações possíveis, o que indica o não estabelecimento de vínculos entre os autores. A relação de forças da rede é baixa, ou seja, há poucos contatos entre os autores para que se exerça o poder na rede.

Na tabela 1 estão apresentados os autores que publicaram mais de um artigo nos EnAnpads durante o período de 2000 a 2009, considerando-se os critérios utilizados na seleção destes, bem como o número de laços destes autores, ou seja, número de autores com quem determinado autor realizou publicações.

Do total de 86 pesquisadores, aproximadamente 88% tiveram apenas um artigo publicado nos EnAnpads, no período considerado, abordando a avaliação de planos, programas ou projetos como objeto de discussão nos referenciais teóricos e/ou que propuseram uma abordagem metodológica de avaliação ou, ainda, sua aplicação prática. Cerca de 10% dos pesquisadores publicaram dois trabalhos e somente um autor (Neto, J.M. da S.) publicou um total de três artigos. Pela figura 1 é também possível notar a posição estratégica de alguns autores como Neto, J.M. da S.; Calmon, P.C. Du Pin; Reis, P.R. da C.; e Neto, A.M.C.; em razão de esses atuarem como intermediadores com os demais autores com eles envolvidos.

O número maior de laços observados totalizou cinco laços, identificados pelos seguintes autores: Carvalho, T.B.; Blenke, A.M.; Campos, L.M. de S.; Freitas, S.; Assumpção, J.J.; e Maciel, J.C.

Verifica-se, pelos resultados, que a avaliação das políticas públicas, de modo geral, englobando os planos, os programas e os projetos governamentais, ainda não é uma temática predominante nos estudos dos pesquisadores. Há necessidade de aumentar o número de autores e de relações entre eles, de modo a intensificar e ampliar a rede de cooperação.

Em virtude das fracas relações entre os autores e por essas relações se-rem, em geral, entre pesquisadores vinculados à mesma instituição, a figura 2 mostra boa parte das instituições isoladas, sem cooperarem umas com as outras, entre elas: FGV, FJP, Seplag (MG), UFC, UFMG, UFBA, PUC Campinas, UFSC, UFV, Unifacs, Unitau e Univali. As instituições que mantiveram relações, por meio dos autores a elas vinculados, relacionaram-se uma única vez, com exceção da FDC e PUC Minas, que tiveram duas ligações.

Dos laços visualizados pela rede, observa-se que a Unir e a FEA/USP se colocam como elos entre outras duas instituições. É interessante esse tipo de relacionamento, pois cabe ao elo compartilhar as experiências e os saberes entre as instituições que não se relacionam diretamente.

De forma semelhante à rede de cooperação entre os autores, apresentada anteriormente, a rede da figura 2 mostra relações pouco densas, a qual apresenta uma densidade de aproximadamente 3,3% do total de ligações possíveis. Fafica, FBV, Farec e Fape foram as instituições que apresentaram maior número de laços, totalizando três laços.

Uma questão curiosa a ser destacada é a presença dos órgãos públicos e sua relação com as instituições de ensino, como o Ministério da Saúde, a Controladoria Geral da União (CGU), o Tribunal Regional Eleitoral (TER), o Tribunal de Contas do Estado da Bahia e a Secretaria de Estado de Planejamento e Gestão de Minas Gerais (Seplag-MG). A participação desses órgãos evidencia seu interesse em avaliar as políticas públicas; no entanto, isso significa uma pequena parcela diante do que poderia existir, dada a importância dessa temática para o desenvolvimento das ações governamentais.

Na tabela 2 foram apresentadas as instituições mais presentes nos EnAnpads durante o período analisado e seus números de laços. Observa-se que a maioria das instituições com maior participação, com exceção da UnB (1 laço), Unir (2 laços), CGU (1 laço), PUC Minas (2 laços) e FEA/USP (2 laços), não se encontram vinculadas a nenhuma outra instituição.

Do total de 34 instituições, cerca de 65% delas foram representadas uma única vez, enquanto o restante (aproximadamente 35%) teve a participação conforme se verifica na tabela 2. Tais resultados permitem evidenciar que apesar de certas instituições possuírem departamentos que se dedicam à área da gestão pública, inclusive os próprios órgãos públicos, por exemplo, a CGU, o foco nas avaliações das políticas públicas ainda é pequeno.

Quanto à rede de cooperação entre os autores dos artigos publicados nos EnAPGs nos anos de 2004, 2006 e 2008, a figura 3 ilustra os laços entre os pesquisadores. De modo semelhante às análises realizadas anteriormente, a rede apresenta-se pouco densa, ou seja, 3,4% do total de ligações possíveis, porém superior à rede de cooperação entre os autores nos EnAnpads. Há predominância de uma única ligação entre autores, exceção feita entre Pereira, D.R. de M. e Pinto, M. de R., que mantiveram duas ligações. Apenas Silveira, S. de F.R. apresentou cinco laços, a qual se encontra em local de intermediação entre dois grupos de pesquisadores, seguida de Carvalho, F.F. de; Fernandes, D.C.; NEVES, J.A.B.; Xavier, F.P.; e Rocha, D.F., que tiveram quatro laços; os demais tiveram números inferiores ou não apresentaram nenhum laço.

Alguns autores não se vincularam a nenhum outro autor, entre eles: Calmon, P.C. du Pin; Cavalcante, P.L.C.; Escobar, C.M. de S.; Fontenele, R.E.S.; Pinheiro, I.A.; Ribeiro, B.B.; Vieira, J.B.; e Zapelini, M.B. Pode-se aqui fazer uma inferência em relação à consistência das ligações entre os autores, em que se percebe que não há um laço predominante, quando se compara a rede da figura 3 com a rede da figura 1. Enquanto nesta última rede, por exemplo, Calmon, P.C. du Pin relacionava-se com outros dois autores, na figura 3 o au-tor publica sozinho. Outros autores, por sua vez, como Ceneviva, R.; Silveira, S. de F.R.; e Ckagnazaroff, I.B. estabeleceram laços com autores diferentes, quando se comparam suas publicações nos EnAnpads e com as dos EnAPGs. Além disso, a maioria das relações se dá uma única vez, visualizadas nas redes de ambos os anais (EnAnpads e EnAPGs).

A tabela 3 ilustra que apenas três autores publicaram mais de uma vez nos EnAPGs, nos anos de 2006 a 2008, o que representa pouco mais de 5% do total de 55 autores selecionados neste estudo. Além disso, é mostrado o número de laços desses autores mais prolíficos.

A figura 4 apresenta 25 vértices, e a proporção do número de relações, em função do número total de relações possíveis, é de 3,8%, o que indica que poderiam existir vários outros vínculos entre as instituições para fortalecer as relações e criar poder na rede.

Várias instituições encontram-se novamente isoladas, por exemplo EA/ UFRGS, Esag/Udesc, FGV/Eaesp, PUC/SP, Ufla, UFRGS, UFV, Unesp, Unifor e Unir.

Entre as instituições mostradas pela rede da figura 4, apenas a PUC Minas, a UFMG e a Secretaria de Planejamento da Prefeitura Municipal de Belo Horizonte mantiveram os laços em duas publicações divulgadas nos EnAPGs de 2004 a 2008.

A tabela 4 apresenta as participações das instituições mais presentes nos EnAPGs nos anos de 2004 a 2008, ou seja, aquelas que demonstraram interesse na área de avaliação de políticas públicas, por intermédio dos autores a elas vinculados, bem como seu número de laços.

Observa-se que as instituições mantêm poucas relações com outras instituições ou, ainda, nenhuma relação, como é o caso da UFV. Como consequência, as redes não se fortalecem, pois laços que poderiam ocorrer não estão acontecendo. Cabe aos pesquisadores a iniciativa de buscarem esse contato, tendo em vista o estabelecimento e fortalecimento de relações para maior desenvolvimento da área de avaliação no país.

5. Considerações finais

A partir deste estudo foi possível perceber o baixo grau de densidade nas possíveis redes de pesquisadores dedicados ao tema "avaliação de políticas públicas no Brasil", na área de administração pública, na Anpad. Considerando-se a relevância atribuída à temática, os resultados conduzem ao questionamento quanto à ideia de importância e crescimento do interesse pelo tema.

Pela análise das redes de cooperação entre os autores e instituições selecionados e considerando os objetivos deste trabalho, verifica-se que as relações ainda são fracas. Os atores não mantêm um vínculo de publicação e se relacionam, em geral, uma única vez, ou, ainda, publicam sozinhos.

É importante destacar as relações verificadas entre as instituições de ensino com os órgãos governamentais, que demonstram o interesse de ambas as partes sobre a área de avaliação de políticas públicas, o que fortalece as redes de cooperação.

O número de publicações referentes aos estudos que tratam da temática aqui em questão, nos anais dos EnAnpads (2000-09) e dos EnAPGs (2004, 2006 e 2008), também não foi significativo, em virtude da relevância do assunto e do período de tempo compreendido. Pode-se dizer que a avaliação das políticas públicas, de modo geral, englobando os planos, os programas e os projetos governamentais, ainda não é uma temática predominante nos estudos dos pesquisadores, e que a relação de forças na rede, constituída por autores e instituições que tratam do assunto, é baixa, ou seja, há poucos contatos entre os autores para que se exerça o poder na rede.

Em razão do baixo grau de relacionamento entre autores e instituições que vêm publicando trabalhos sobre avaliação de políticas públicas, na última década, no EnAnpad e no EnAPG, percebe-se a necessidade de intensificar as relações entre autores e instituições, de modo que a rede ganhe força, resultando em trabalhos que poderão ser de grande valia para a sociedade de modo geral, aperfeiçoando processos, desenvolvendo metodologias de avaliação e contribuindo para melhor alocação dos recursos públicos.

Artigo recebido em dez. 2010 e aceito em ago. 2011.

• ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, 2000.
• ASSUMPÇÃO, Jairo J.; CAMPOS, Lucila M. de S. Avaliação de projetos sociais: a rede, os nós e a teia. In: ENCONTRO DA ANPAD, XXXIII, São Paulo 2009. Anais.. São Paulo: Anpad, 2009.
• BERRY, A. SME competitiveness: the power of networking and subcontracting. Washington, DC: Inter-American Development Bank, 1997.
• CARRINGTON, Peter J.; SCOTT, John; WASSERMAN Stanley (Ed.). Models and methods in social network analysis. New York: Cambridge University Press, 2005.
• CASTELLS, M. A sociedade em rede. São Paulo: Paz e Terra, 2009.
• CENEVIVA, Ricardo. Avaliação e accountability: a avaliação de políticas públicas e a introdução de mecanismos de controle social na gestão da política educacional e do programa de DST/Aids no estado de São Paulo. In: ENCONTRO DA ANPAD, XXIX, Brasília, 2005. Anais... Brasília: Anpad, 2005. CD-ROM.
• COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. 7. ed. Petrópolis: Vozes, 2007.
• CONTADOR, Cláudio Roberto. Projetos sociais: avaliação e prática. 4. ed. São Paulo: Atlas, 2000.
• COSTA, Frederico L.; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, 2003.
• COTTA, Tereza C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, Brasília, v. 49, n. 2, p. 105-26, 1998.
• CRUZ, J.A.W.; MARTINS, T.S.; AUGUSTO, P.O.M. (Org.). Redes sociais e organizacionais em administração. Curitiba: Juruá, 2008.
• CUNHA, Carla G.S. da. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Secretaria de Coordenação e Planejamento/RS, 2006. Disponível em: <www.ufpa.br/epdir/images/docs/paper06.pdf>. Acesso em: 11 dez. 2009.
• DERLIEN, Hans-Ulrich. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, Brasília, v. 52, n. 1, 2001.
• FLEXOR, G.; LEITE, S.P. Análise das políticas públicas: breves considerações teórico-metodológicas. In: ENCONTRO NACIONAL DE ECONOMIA POLÍTICA, 12., 2007, São Paulo, 2007. Anais... São Paulo: SEP, 2007.
• FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, 2000.
• GARCIA, Ronaldo C. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, 2001.
• GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2002.
• HELLER, Léo; CASTRO, José E. Política pública de saneamento: apontamentos teórico-conceituais. Engenharia Sanitária e Ambiental, Rio de Janeiro, v. 12, n. 3, 2007. Disponível em: <www.scielo.br/scielo.php?script=sci_arttext&pid=S141341522007000300008&lng=en&nrm=iso>. Acesso em: 11 dez. 2009.
• JUNQUEIRA, L.A.P. Organizações sem fins lucrativos e redes sociais na gestão das políticas sociais. In: NOGUEIRA, Arnaldo Mazzei et al. Gestão social, estratégias e parcerias: redescobrindo a essência da administração para o terceiro setor. São Paulo: Saraiva, 2006. v. 1, p. 195-218.
• LEMIEUX, Vincent; OUIMET, Mathieu. Análise estrutural das redes sociais. Lisboa: Instituto Piaget, 2008.
• MARCONI, M.A.; LAKATOS, E.M. Técnicas de pesquisa: planejamento e execução de pesquisa, amostragem e técnica de pesquisa, elaboração, análise e interpretação de dados. 5. ed. São Paulo: Atlas, 2002.
• MARTES, A. C.B. et al. Fórum Redes sociais e interorganizacionais. Revista de Administração de Empresas, v. 46, n. 3, p. 10-15, 2006.
• MARTINHO, C. Redes: uma introdução às dinâmicas da conectividade e da autoorganização. 1. ed. São Paulo: WWF-Brasil, 2003.
• NELSON, R. Uso da análise de redes sociais no estudo das estruturas organizacionais. Revista de Administração de Empresas, v. 24, n. 4, p. 150-157, 1984.
• NOOY, W.; MRVAR, A.; BATAGELJ, V. Exploratory network analysis with pajek. Cambridge: Cambridge University Press, 2005.
• OLIVEIRA, Ely F.T. de; SANTAREM, Luciana G. da S.; SANTAREM SEGUNDO, J.E. Análise das redes de colaboração científica através do estudo das coautorias, nos cursos de pós-graduação do Brasil no tema tratamento temático da informação. Disponível em: <dialnet.unirioja.es/servlet/fichero_articulo?codigo=2925198...0>. Acesso em: 13 dez. 2009.
• PINTO, Adilson Luiz et al. Indicadores científicos na literatura em bibliometria e cientometria através das redes sociais. Brazilian Journal of Information Science (BJIS). São Paulo, v. 1, n. 1, p. 58-76, 2007. Disponível em: <www.bjis.unesp.br>. Acesso em: 1ş dez. 2009.
• ROSSONI, L.; MACHADO-DA-SILVA, C.L. A construção social do conhecimento em campos científicos: análise institucional e a configuração de mundos pequenos. In: ENCONTRO DA ANPAD, XXXI, Rio de Janeiro, 2007. Anais... Rio de Janeiro: Anpad, 2007. CD-ROM.
• SCHOFIELD, Jill; SAUSMAN, Charlotte. Symposium on implementing public policy: learning from theory and practice introduction. 2004. Disponível em: <www3.interscience.wiley.com/cgi-bin/fulltext/118761618/PDFSTART>. Acesso em: 27 nov. 2009.
• SCOTT, J. Social network analysis: a handbook. 2. ed. London: Sage Publications, 2000.
• SILVA, A.B.O. et al. Análise de redes sociais como metodologia de apoio para a discussão da interdisciplinaridade na ciência da informação. Ciência da Informação, v. 35, n. 1, p. 72-93, 2006.
• SILVA, Pedro L.B. (Coord.). Modelo de avaliação de programas sociais prioritários: relatório final. Programa de Apoio à Gestão Social no Brasil. Campinas: NEPP-Unicamp, 1999.
• SILVA, Pedro L.B.; COSTA, Nilson R. A avaliação de programas públicos: reflexões sobre a experiência brasileira. Cooperação Técnica BID-Ipea. Brasília: Ipea, 2002. (Relatório Técnico)
• SOUZA, C. "Estado do campo" da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, v. 18, p. 15-20, 2003.
• SOUZA, C. Políticas públicas: uma revisão da literatura. Revista Sociologias, Porto Alegre, v. 8, n. 16, p. 20-45, 2006.
• SOUZA, Q.R. Governo de redes interorganizacionais no terceiro setor: níveis de controle formal em atividades operacionais de gestão do conhecimento O caso do Coep (Paraná 2000-2003). Dissertação (mestrado) Pontifícia Universidade Católica do Paraná, Curitiba, 2004.
• VARELA, Patrícia S.; MARTINS, Gilberto de A. Indicadores sociais no processo orçamentário do setor público: possibilidades e limites. In: ENCONTRO DA ANPAD, XXIX, Brasília, 2005. Anais... Brasília: Anpad, 2005. CD-ROM.
• VERGARA, S.C. Projetos e relatórios de pesquisa em administração. 9. ed. São Paulo: Atlas, 2008.
• WEISS, Carol. Evaluation: methods for studying programs and policies. Upper Saddle River: Prentice-Hall, 1998.

Datas de Publicação

• Publicação nesta coleção
  14 Dez 2011
• Data do Fascículo
  Dez 2011

Histórico

• Recebido
  Dez 2010
• Aceito
  Ago 2011