Avaliar o quê? Os vários sentidos de efetividade no campo de estudos da participação

Evaluate what? The various meanings of effectiveness in the field of participation studies

¿Evaluar qué? Los distintos significados de la eficacia en el campo de los estudios de participación

Évaluer quoi? Les différentes significations de l’efficacité dans le domaine des études de participation

Resumo

O principal objetivo deste artigo é avançar na compreensão do termo efetividade utilizado pelo campo da participação para avaliar os resultados produzidos pelas instituições participativas. A revisão bibliográfica e a pesquisa com um corpus de 71 papers sobre a temática da efetividade da participação, apresentadas em quatro edições do “Encontro Internacional Participação, Democracia e Políticas Públicas”, mostraram a multiplicidade de sentidos que o termo pode assumir. Defendemos a ideia de que os trabalhos que se propõem a falar de efetividade devem definir com precisão o que pretendem avaliar, já que da clareza do objeto de avaliação dependem as conclusões sobre a validade dos espaços participativos e os estímulos necessários para sua continuidade.

efetividade; participação; instituições participativas; avaliação; política pública

Abstract

The main purpose of this article is to advance in the understanding of the term effectiveness that has been used to evaluate the results produced by participatory institutions. The literature review and the research into a corpus of 71 papers on the effectiveness of participation, presented in four editions of the “International Meeting Participation, Democracy and Public Policies”, show the multiplicity of meanings which the term effectiveness carries. We argue that the papers addressing this issue should define with accuracy what they intend to assess, as the conclusions of the participatory spaces validity and the necessary incentive to their continuity depend on the clarity of the evaluation object.

effectiveness; participation; participatory institutions; evaluation; public policy

Resumen

El principal objetivo de este artículo es avanzar en la comprensión del término efectividad utilizado por el campo de la participación para evaluar los resultados producidos por las instituciones participativas. La revisión bibliográfica y la investigación con un corpus de 71 papers sobre la temática de la efectividad de la participación, presentados en cuatro ediciones del “Encuentro Internacional Participación, Democracia y Políticas Públicas”, revelaron la multiplicidad de sentidos que el término puede alcanzar. Defendemos la idea de que los trabajos que se proponen a discutir sobre la efectividad deben definir con precisión lo que pretenden evaluar, ya que de la claridad del objeto de evaluación dependen las conclusiones sobre la validad de los espacios participativos y los estímulos necesarios para su continuidad.

efectividad; participación; instituciones participativas; evaluación; política pública

Résumé

L’objectif principal de cet article est d’élargir la compréhension du terme “efficacité” utilisé dans le champ de participation pour évaluer les résultats produits par les institutions participatives. La bibliographie et la recherche – réalisée avec un corpus de 71 articles sur le thème de l’efficacité de la participation, présentées dans quatre éditions de la “Réunion internationale sur la participation, la démocratie et les politiques publiques” – ont démontré la multiplicité des significations que ce terme peut assumer. Nous défendons l’idée que les travaux qui proposent d’en parler doivent définir précisément ce qu’ils veulent évaluer comme efficacité, car les conclusions sur la validité des espaces participatifs et des stimulations nécessaires à leur continuité dépendent de la clarté de l’objet d’évaluation.

efficacité; participation; institutions participatives; évaluation; politique publique

Introdução

Passados 30 anos da consagração da participação cidadã na formulação, gestão e controle de políticas públicas como princípio constitucional no Brasil e com base na vasta produção de pesquisas sobre as chamadas instituições participativas (IPs), a década de 2010 dedicou-se a avaliar seus resultados. Mas resultados com relação a quê?

O acúmulo de pesquisas no campo da participação permite apontar a multidimensionalidade tanto de propósitos quanto de resultados potencialmente advindos dessas IPs, o que desafia as estratégias analíticas de medição. Não há consenso nos debates políticos, nem na literatura acadêmica, sobre que objetivos se espera atingir com o funcionamento dos diversos espaços participativos, os quais seriam relevantes para um conjunto de diferentes tipos de efeitos e resultados. Por exemplo, as pesquisas questionam se e sob que condições a institucionalização e a ampla disseminação de processos participativos provocam melhorias no processo de formulação, implementação e controle de políticas públicas e nos resultados destas para a qualidade de vida e o acesso a bens públicos por parte dos cidadãos brasileiros. Também questionam em que medida provocam melhorias nos processos deliberativos e na qualidade da vida democrática. Nesse sentido, uma ampla gama de trabalhos foi produzida para tratar da “efetividade”, especialmente a partir da publicação da coletânea produzida pelo Instituto de Pesquisas Econômicas Aplicadas (Ipea), coordenada por Pires (2011) . Passa-se a falar no “problema da efetividade” ( Avritzer, 2011 , p. 13) ou em “agenda da efetividade” (Gurza Lavalle, Voigt e Serafim, 2016, p. 617) no campo da participação.

Entrando em nova década, ainda não se tem clareza sobre o significado de efetividade na avaliação das IPs. Neste artigo, defendemos a ideia de que os trabalhos que se propõem a abordar a efetividade devem explicar com precisão o que pretendem avaliar, já que são múltiplos os sentidos que podem ser atribuídos ao termo. Da clareza do objeto de avaliação dependem as conclusões sobre a validade dos espaços participativos e os estímulos necessários para sua continuidade.

Para mostrar a multiplicidade dos sentidos de efetividade empregados no campo da participação, este artigo sistematizou um corpus de 71 papers sobre a temática, apresentados em quatro edições do “Encontro Internacional Participação, Democracia e Políticas Públicas” (doravante EPDPP), nos anos de 2013, 2015, 2017 e 2019³ .

Orientados pelas diretrizes propostas pela “meta-análise” e adaptando-as para um estudo qualitativo ( Bicudo, 2014 ; Sampaio e Figueiredo Filho, 2019), construímos um banco de dados com mais de 40 variáveis, selecionadas a partir de ampla revisão de estudos sobre o tema, publicados em revistas especializadas pós-2010.

Para empreender tal análise, além desta introdução, o artigo está organizado em mais quatro seções. A seguinte, “O debate sobre efetividade”, traz a abordagem teórica e apresenta trabalhos que buscaram sistematizar o debate sobre efetividade. Na terceira, “Notas metodológicas”, detalhamos os procedimentos metodológicos utilizados na pesquisa. Na quarta, “Os sentidos de efetividade nos trabalhos dos EPDPPs”, apresentamos os resultados da análise e a nossa contribuição. A última parte traz breves “Considerações finais”.

O debate sobre efetividade

Um dos pontos relevantes do questionamento sobre a efetividade das IPs é que este tem aproximado o debate da participação do campo prático-teórico de avaliação de políticas públicas ( Pires, 2011 ). Essa aproximação, entretanto, não se dá sem dificuldades, a começar pelos elementos de avaliação usados no campo das políticas públicas: eficácia, eficiência e efetividade. Para compreendê-los, é necessário fazer uma distinção entre avaliação de processos e avaliação de impactos ( Figueiredo e Figueiredo, 1986 ).

Na avaliação de processos, um dos objetivos é aferir a eficácia, avaliar se um dado programa está sendo (ou foi) implementado de acordo com as diretrizes concebidas para a sua execução e se o seu produto atingirá (ou atingiu) as metas desejadas. A avaliação de eficácia é a mais usualmente aplicada nas avaliações correntes de políticas públicas, pois é mais factível e menos custosa de ser realizada. O avaliador estabelece uma equação entre as metas anunciadas por um programa e as metas alcançadas, ou ainda, avalia a relação entre os instrumentos previstos para implementação de uma política e aqueles efetivamente empregados. Em suma, a eficácia diz respeito à avaliação de metas: o que definirá o sucesso ou o fracasso do programa é saber se as metas atingidas são iguais, superiores ou inferiores às metas propostas ( Figueiredo e Figueiredo, 1986 ; Arretche, 2013 ).

A eficiência também diz respeito à avaliação de processos quando se afere a relação entre o esforço empregado na implementação de uma dada política e os resultados alcançados. Nesse caso, o que importa é a otimização dos recursos disponíveis, um custo mínimo para o máximo de benefício possível. Olhando especificamente para o setor público, conforme Arretche (2013) , a avaliação da eficiência seria a mais necessária e a mais urgente de ser desenvolvida, uma vez que a escassez de recursos públicos exige maior racionalização do gasto. Em regimes democráticos, probidade, competência e eficiência no uso de recursos publicamente apropriados constituem algumas das condições para a confiança pública no Estado e nas instituições democráticas.

Diferentemente de eficácia e eficiência, quando se fala em efetividade fala-se em avaliação de impactos com uma ambição ainda mais ampla e complexa do que a avaliação de processos, pois se quer avaliar os efeitos de uma política sobre uma dada população-alvo com a intenção de estabelecer uma relação de causalidade entre a política e as alterações nas condições sociais, ou seja, entram em análise as mudanças pretendidas nas condições sociais. Pode-se falar em efetividade objetiva, subjetiva e substantiva: uma mesma política pode causar impactos objetivos, gerando mudanças quantitativas nas condições da população-alvo; pode ainda gerar impactos subjetivos, alterando o “estado de espírito” da população; e, finalmente, pode causar um impacto substantivo, mudando qualitativamente as condições de vida da população ( Figueiredo e Figueiredo, 1986 ).

Se a pretensão é mudar qualitativamente as condições de vida de uma dada comunidade, vê-se que a avaliação de efetividade pode indicar os princípios que a orientam. Alguns princípios de justiça social minimamente aceitos devem guiar as políticas públicas. Assim, não basta aferir o impacto, mas importa saber em que medida as mudanças contribuem com condições mais justas de vida. É por essa razão que se diz que o exame da efetividade substantiva exige uma avaliação política da mudança ( Figueiredo e Figueiredo, 1986 ).

Há outro fator que ajuda a mostrar a complexidade da avaliação de impacto. Como dissemos, aferir impacto refere-se a medir as alterações ou mudanças concretas provocadas em uma dada realidade na qual esse programa intervém. Mas, além dos efeitos no meio social, pode haver outros impactos, esperados ou não, que afetam as instituições ou organizações participantes, e/ou os agentes que implementam o programa. Assim, há a possibilidade de distinguir entre os efeitos sociais sobre os agentes implementadores, a comunidade local e os grupos particulares de interessados na sua execução, e os efeitos institucionais, que dizem respeito aos efeitos sobre as instituições governamentais e não governamentais associadas à sua implementação ( Draibe, 2001 , p. 25).

Resumidamente, um programa pode gerar efeitos sociais e/ou institucionais, pode gerar mudanças quantitativas numa dada realidade (efetividade objetiva); pode alterar o “estado de espírito” da população (efetividade subjetiva) e pode mudar qualitativamente as condições de vida da população (efetividade substantiva). Como ele tem a dizer sobre mudanças nas condições de vida de uma dada população, falar em efetividade exige uma avaliação política da mudança, ou seja, entram no debate critérios éticos e morais no desenho da política.

Não bastasse considerar todos esses aspectos, o desafio de medir efetividade implica, ainda, isolar a interferência de variáveis intervenientes para saber ao certo a causa da mudança, o que é um grande problema metodológico na avaliação de políticas públicas em geral, e em particular quando se trata da avaliação no campo das ciências sociais ( Arretche, 2013 ; Gurza Lavalle, 2011 ; Gurza Lavalle, Voigt e Serafim, 2016).

Assim, se as dificuldades já são grandes no campo das políticas públicas, trazendo o termo para o campo da participação, outras dificuldades são acrescidas. A começar pela palavra participação , que pode significar "categoria nativa da prática de atores sociais, categoria teórica da teoria democrática (...) e procedimento institucionalizado", como no caso das IPs ( Gurza Lavalle, 2011 , p. 33). E essa “multidimensionalidade ou polissemia dos sentidos práticos, teóricos e institucionais torna a participação um conceito fugidio, e as tentativas de definir seus efeitos, escorregadias” ( Gurza Lavalle, 2011, p , p. 33). Além disso, metodologicamente, há que se considerar que a relação causa e efeito é atravessada por espaços longos de tempo e/ou mediada por uma sucessão ou encadeamento extenso de efeitos. Quanto mais distante for a causa do efeito, mais difícil é mostrar que existe uma conexão ( Gurza Lavalle, 2011) . Decisões e deliberações podem levar anos para ser implementadas, em particular aquelas tomadas no interior das IPs. Então, como saber, de fato, as causas que contribuíram para um dado efeito? Como considerar o fator tempo, muitas vezes necessário para mostrar algum resultado? Por exemplo, se quisermos medir os efeitos das IPs naquilo que diz respeito à mudança “no estado de espírito” da população-alvo, ou ainda, na educação política, como fazê-lo sem desprezar o critério do tempo necessário para o aprendizado da experiência participativa e para a mudança de hábito? Ou como aferir os resultados de uma IP sem considerar que o tempo é um elemento crucial para o aprendizado dos processos, maturação e geração de resultados?

Além dessas dificuldades, a literatura mostra que não há consenso com relação aos efeitos esperados da participação. Efeitos com relação a quê? Efeitos sociais, efeitos institucionais? Espera-se observar mudanças quantitativas, subjetivas ou qualitativas nas condições de vida? O campo da participação emprestou das políticas públicas um único termo, “efetividade”, mas muitas vezes não deixa claro o que busca avaliar. E isso pode ter implicações importantes, pois se pode concluir que uma dada IP não é efetiva avaliando apenas uma das dimensões possíveis para medir efetividade, deixando de considerar outras tantas que poderiam trazer resultados positivos na avaliação. De outro lado, pode-se querer aferir vários aspectos, exigindo de uma IP algo que ela não se propõe realizar. Tanto num caso como no outro, as conclusões sobre a efetividade de uma IP podem ser negativas e, consequentemente, podem afetar os esforços e energias para sua continuidade.

Não deixar claro o que se pretende avaliar tem outras implicações. Muitas vezes se fala em avaliar a efetividade de uma IP, mas o que se está medindo é a eficácia dela, ou seja, em vez de avaliar impacto, estão sendo avaliados processos: quanto cumpre com as metas anunciadas ou, ainda, quanto respeita as diretrizes e os procedimentos. Por exemplo, boa parte da literatura sobre efetividade examina a “efetividade do momento deliberativo”, procurando mostrar como se dá o processo de deliberação nas IPs (quem delibera, como delibera). Nesse caso, não seria melhor falar em eficácia das IPs? Mas se pode contra-argumentar que a qualidade do processo deliberativo tem impacto nas decisões que orientarão políticas, que, por sua vez, impactarão as condições de vida de uma dada população. Ou seja, não é um debate fácil.

Em uma tentativa de organizar o debate sobre efetividade, inserindo estudiosos do campo em linhas de pesquisa, Ferro (2015) sistematiza três linhas principais. A primeira concentraria seus estudos na compreensão da dinâmica interna das IPs, em como se dá o processo de tomada de decisões e na capacidade de incidirem sobre a política pública, considerando variáveis como associativismo, projeto de governo e tipo de política pública. A segunda linha buscaria avaliar os efeitos da participação na produção de resultados, por exemplo, o papel da IP na redistribuição do acesso a programas e serviços públicos. Na terceira linha, o enfoque seria a efetividade da participação da sociedade civil, principalmente dos movimentos sociais e da ação coletiva, na construção democrática.

Olhando para o esforço de organização do campo, Santos (2017) acredita ser improvável que o conceito de efetividade siga uma única abordagem, pois as pesquisas mais influenciadas pela teoria da democracia deliberativa tenderiam a focar a qualidade da deliberação nas IPs, ao passo que as relacionadas com a avaliação de políticas públicas tenderiam a pensar a efetividade enquanto resultado direto no oferecimento de bens e serviços à população, restando dúvida sobre a possibilidade de associar as duas perspectivas, como sugeriu Avritzer (2011) . Para ele, no Brasil pós-redemocratização, as formas de participação foram se disseminando em várias áreas de políticas públicas e as formas de deliberação foram sendo crescentemente relacionadas às decisões em relação às políticas, passando a ser central investigar a capacidade de essas deliberações se tornarem efetivas no que diz respeito à produção de resultados. Ou seja, o autor propõe que o debate sobre efetividade das IPs leve em consideração estas duas dimensões: efetividade deliberativa (os momentos deliberativos) e efetividade das instituições, reunidas no que ele chama de efetividade da participação, a qual abrangeria tanto a dimensão deliberativa quanto a implementação e os resultados das políticas públicas ( Avritzer, 2011 , p. 17).

Avançando no debate, Almeida (2017 , p. 652) define quatro categorias para o termo efetividade: 1- efetividade das dinâmicas internas participativa e deliberativa; 2- efetividade da representação; 3- efetividade decisória e de implementação das políticas; 4- efetividade da articulação sistêmica dos atores e mecanismos com o Estado e a sociedade. A autora chama atenção para o fato de que estas não são categorias estanques, mas sim com mútua interpenetração. No primeiro caso, a preocupação é com o funcionamento interno dos espaços de participação e deliberação. Mostra que, apesar das diferenças nos enfoques teóricos, tanto a agenda da participação quanto a da deliberação apontam dificuldades de se estabelecer um processo discursivo e decisório no interior das instituições participativas, que envolva atores ativos, considerados iguais, independentemente do segmento ao qual pertencem – governamental ou não governamental –, e com capacidade contestatória e propositiva. Além disso, espera-se que os espaços expressem e decidam sobre a diversidade de temas relevantes para a política pública. Para a segunda categoria, destaca a efetividade representativa dos espaços, estando a investigação centrada na forma como os atores acessam esses canais, na pluralidade da sociedade civil e no relacionamento que os representantes estabelecem com os representados, o que, em última instância, também dependerá da efetividade de articulação com a sociedade, com outras instituições participativas e com o Estado. No terceiro caso, o destaque é para o problema da implementação, que, num primeiro momento, foi percebido nas pesquisas que se preocuparam com o poder decisório interno dos atores (o que decidem e como decidem), para o qual contribuiu a agenda deliberativa. Mas também perpassa o impacto da participação na agenda governamental e nas decisões dos órgãos responsáveis pela política pública. A quarta categoria diz respeito aos problemas da baixa capacidade de influência das instituições participativas no governo por conta da fragilidade na articulação das instituições participativas com um conjunto de atores, governamentais e da sociedade civil, bem como com outras áreas de políticas e instituições de participação ( Almeida, 2017 , p. 669-670).

Como esses trabalhos mostram, o exercício de captar os sentidos de efetividade é desafiador. Assim também apontou a amostra utilizada para este artigo. A partir dela, chegamos a um total de dez categorias de efetividade: 1- participação; 2- deliberação; 3- efetividade sobre a agenda governamental ( outcomes ); 4- articulação; 5- produção de outputs ; 6-representação; 7- institucionalização; 8- controle e transparência; 9- capacidade redistributiva; 10- inclusão.

Antes de analisarmos e discutirmos essas categorias, apresentamos os passos metodológicos da pesquisa.

Notas metodológicas

Como mencionado, adotamos como referenciais empíricos os artigos relacionados ao tema da efetividade apresentados nas quatro edições dos EPDPPs. Ao todo, foram analisados 71 trabalhos. Sob o desafio de analisar essa grande quantidade de informação, recorreu-se à metodologia conhecida como “revisão sistemática” ou “meta-análise” (Sampaio e Figueiredo Filho, 2019; Dacombe, 2017 ; Figueiredo Filho et al., 2014; Bicudo, 2014 ; Pinto, 2013 ). Embora não muito utilizada no campo da ciência política brasileira, ainda mais em se tratando de estudos qualitativos, a revisão sistemática tem o propósito de auxiliar na construção de balanços bibliográficos de modo mais criterioso, esquivando-se, tanto quanto possível, das armadilhas da forma “narrativa-literária”, frequentemente utilizada, conforme argumentam Figueiredo Filho et al. (2014, p. 207-208). Essas armadilhas estão associadas a vieses de vários tipos, como a seleção inapropriada de trabalhos, a falta de transparência nessa seleção e a não representatividade dos trabalhos selecionados, bem como sua impossibilidade de replicação⁴ . A revisão sistemática, além de colaborar com a sistematização de informações, também propicia maior acurácia em caso de “replicabilidade” ( King, 1995 , p. 444).

Para estudiosos do tema, segundo Figueiredo Filho et al. (2014, p. 209), a revisão sistemática tem os objetivos, primeiro, “de elevar a objetividade das revisões de literatura, minimizando possíveis vieses”, e, segundo, de “aumenta[r] a quantidade de estudos analisados”. Buscar uma revisão com procedimentos determinados “consiste em colocar diferentes estudos juntos em um mesmo banco de dados e utilizar metodologias analíticas e estatísticas para explicar a variância dos resultados utilizando fatores comuns aos estudos” ( Roscoe e Jenkins, 2005 , p. 54, apud Figueiredo Filho et al., 2014, p. 209). Em síntese, consoante à proposta pioneira de G. V. Glass, a “meta-analysis refers to the analysis of analyses” (Glass, 1976, p. 3, apud Figueiredo Filho et al., 2014, p. 209.

No âmbito da ciência política nacional, os trabalhos de Santos (2008) , Figueiredo Filho (2009) e Paranhos (2014) , citados por Figueiredo Filho et al. (2014), e, mais recentemente, de Sampaio e Figueiredo Filho (2019) são exemplos de estudos que se pautaram por critérios sistemáticos para elaboração da revisão de literatura. Embora haja sutil variação nos procedimentos descritos pelos autores adeptos dessa metodologia nos diferentes campos de estudo, os mais utilizados são os da “abordagem clássica”, conforme apontam Pinto (2013 , p. 1.040), Bicudo (2014 , p. 11) e Sampaio e Figueiredo Filho (2019, p. 2). Esses procedimentos consistem basicamente em sete passos, relativamente autoexplicativos: 1) formulação da pergunta; 2) localização e seleção dos estudos; 3) avaliação crítica dos estudos; 4) coleta dos dados; 5) análise e apresentação dos dados; 6) interpretação dos dados; e 7) aprimoramento e atualização da meta-análise.

Apropriando-se dessa abordagem, a aplicação desses procedimentos para o presente artigo resultou no que segue:

1. A formulação do problema de pesquisa pode ser sintetizada com a seguinte questão: quais os sentidos que o termo efetividade assume nos trabalhos apresentados nos EPDPPs?

2. Foram selecionados os papers relacionados ao tema apresentados nas quatro edições dos encontros, disponíveis em seus Anais⁵ (doravante Anais EPDPPs). Em 2015, 2017 e 2019, o evento contou com Seminário Temático (ST) específico sobre a “Efetividade das Instituições Participativas”, sendo apresentados em cada edição, respectivamente, 23, 11 e 25 trabalhos. Por estarem abrigados em um ST sobre efetividade, todos os trabalhos apresentados foram automaticamente selecionados. Apenas para o EPDPP de 2013, por não ter tido um seminário específico, houve uma avaliação prévia, na qual foram selecionados 12 trabalhos. O número de trabalhos analisados, portanto, foi 71.

3. Para a coleta de informações de cada paper , construímos um banco de dados com 13 “tópicos de interesse”, que agruparam 47 variáveis, as quais continham os possíveis “fatores comuns” ( Roscoe e Jenkins, 2005 ), que poderiam estar presentes (ou não) nas análises. A grande quantidade de informação coletada se justifica pela tentativa de conhecer um pouco mais a fundo a produção recente sobre efetividade e os elementos e variáveis mobilizados para explicar e lidar com esse conceito. Essas variáveis (ou categorias) foram definidas a partir de um levantamento bibliográfico dos estudos sobre efetividade, publicados após 2010, tomando por base três principais fontes que refletem a produção consolidada no campo da ciência política. A primeira foi a coletânea organizada pelo Ipea, que se tornou referência sobre o tema da efetividade nas instituições participativas no Brasil ( Pires, 2011 ). A segunda foram artigos buscados na base Scielo, na qual se pesquisaram palavras-chave associadas às IPs e à efetividade. Foram selecionados artigos das principais revistas da área da ciência política. A terceira foram os congressos e encontros da Associação Nacional de Pós-Graduação e Pesquisa em Ciências Sociais (Anpocs) e da Associação Brasileira de Ciência Política (ABCP) (ambos após 2010), nos quais buscou-se por trabalhos nas áreas temáticas de interesse. Reforça-se que esse conjunto de referências foi utilizado para a construção das variáveis que compõem a Tabela 1 , não sendo objeto da “revisão sistemática” (só os trabalhos do IV Encontro o são). A sistematização se deu como segue na Tabela 1:

   TABELA 1
   : VARIÁVEIS SELECIONADAS PARA A REALIZAÇÃO DA META-ANÁLISE
   

   Tópicos de interesse	variáveis selecionadas
   i) identificação do artigo	1 - ano; 2 - autor(es); 3 - título do trabalho; 4 - palavras-chave;
   ii) literatura mobilizada	5 - efetividade das IPs ( Pires, 2011 ; entre outros); 6 - democracia deliberativa; 7 - literatura internacional;
   iii) tipo de IP analisada	8 - orçamento participativo; 9 - conselhos; 10 - conferências; 11 - outros;
   iv) nível administrativo	12 - municipal; 13 - estadual; 14 - nacional;
   v) esfera de governo	15 - executivo; 16 - legislativo;
   vi) modo como aborda o problema da efetividade	17 - diretamente; 18 - indiretamente;
   vii) trabalha relação de causalidade?	19 - relação de causalidade;
   viii) tipo de efetividade trabalhada	20 - como participação; 21 - como deliberação [capacidade de tomada de decisão interna; qualidade do debate; vinculação da decisão às políticas]; 22 - como representação; 23 - como efeito sobre agenda governamental; 24 - como produção de outputs ; 25 - como controle da informação e acesso a ela; 26 - como capacidade redistributiva; 27 - como institucionalização; 28 - como articulação [com atores societais, com atores estatais]; 29 - como inclusão de atores ou causas;
   ix) método utilizado	30 - quantitativo [estatística descritiva; testes estatísticos avançados; outros]; 31 - qualitativo [estudo de caso; estudo comparativo; outros];
   x) fontes e materiais	32 - documentos internos; 33 - legislação; 34 - entrevistas; 35 - dados de pesquisas censitárias; 36 - observação in loco ; 37 - survey (questionários); 38 - outros;
   xi) variáveis analisadas	39 - desenho institucional; 40 - vontade política ou projeto político; 41 - organização da sociedade civil; 42 - inserção na rede de políticas públicas; 43 - outras;
   xii) contexto abordado	44 - endógeno; 45 - exógeno [relações com atores societais; relações com atores estatais];
   xiii) abordagem longitudinal	46 - período analisado; 47 - análise comparativa temporal.

   Fonte: Elaboração dos autores. Observação: No banco de dados, cada uma dessas variáveis corresponde a uma coluna. As informações entre colchetes foram consideradas como subcategorias. Com exceção das variáveis relacionadas à “Identificação do artigo”, a maior parte dessas colunas foram preenchidas com as seguintes alternativas: “Sim”/”Não”/”NA” (Não aplicável)/”NI” (Não identificável). A intenção foi identificar a presença dessas variáveis em cada artigo para posterior análise, apresentação e interpretação dos dados.

4. A coleta de dados foi realizada por meio da leitura dos trabalhos e do preenchimento da planilha. A apresentação e a análise deles (passo 5), bem como sua interpretação (passo 6), serão tratadas de forma conjunta na próxima seção. O aprimoramento e a atualização da meta-análise (passo 7) fogem do escopo deste artigo.

Os sentidos de efetividade nos trabalhos dos EPDPPs

Para realizar a análise e a discussão dos sentidos de efetividade, lançamos mão tanto da revisão bibliográfica, que embasou a construção das variáveis, como do corpus de 71 papers dos EPDPPs.

Partindo de uma visão mais panorâmica, e com o intuito de uma aproximação preliminar da análise, recorremos à apresentação das nuvens de palavras dos seus títulos, palavras-chave e resumos.

QUADRO 1
: NUVENS DE PALAVRAS

Palavras dos títulos	Palavras das palavras-chave
Palavras dos resumos

Fonte: Elaboração dos autores.

Como ressaltado por Figueiredo Filho et al. (2014, p. 221), essas nuvens têm sido “uma estratégia eficiente de lidar com uma variável (em geral qualitativa nominal) que apresenta muita variação de ocorrências”. É eficiente na medida em que possibilita uma rápida identificação das palavras importantes de um corpus de texto ao organizar visualmente a distribuição lexical pela quantidade de vezes que estas ocorrem, destacando as mais influentes pelo tamanho e centralidade na nuvem.

Como seria de esperar, a palavra “participação” tem o maior destaque em todas as configurações. Ela compõe os núcleos das nuvens e é seguida de termos como “políticas”, “públicas” e, entre outros, “efetividade”, especialmente nos títulos e nos resumos. Esses elementos lexicais reforçam a presunção de que os trabalhos dos EPDPPs são bons preditores para lidar com o problema de pesquisa considerado, ou seja, para realizar uma revisão sistemática sobre os sentidos de efetividade recentemente adotados pela literatura de participação e políticas públicas.

Também, como se pode entrever nas nuvens, os conselhos são as IPs com maior destaque no bloco de trabalhos analisados: dos 71 artigos, 41 (57%) deles trataram de conselhos. Isso provavelmente está relacionado ao fato de que essas são as IPs de maior nível de institucionalização e disseminação ( Cortes, 2011 ), e não surpreende que apareçam em primeiro lugar, com pouco mais da metade dos trabalhos tratando delas. Em segundo, vem a categoria “Outros” (20 – 28%), que engloba espaços participativos como os planos diretores, comitês de bacia, coletivos de pais, coletivos setoriais, entre outros. As conferências foram abordadas por 8 (11%) artigos, e tanto o orçamento participativo quanto as audiências públicas por apenas 4 (5%) cada um. Vale aqui uma “nota técnica” para indicar que a soma dos números (77) no gráfico “Instituições participativas” ( Figura 1 ) ultrapassa o número de artigos, pois alguns papers trataram de mais de um mecanismo ao mesmo tempo – observação também válida para vários dos “tópicos de interesse” ( Tabela 1 )⁶ . Por exemplo, o artigo de Bezerra (2017) aborda tanto o OP quanto os conselhos e as conferências na tentativa de “revisar os principais esforços metodológicos e empíricos de análise de eventuais efeitos redistributivos das denominadas ‘instituições participativas’” (p. 1). Também é o caso do artigo de Soares Filho (2019), que, tratando da Política Nacional de Participação Social (PNPS), acaba por abordar de forma interseccional várias das IPs.

FIGURA 1
: IPS, NÍVEL ADMINISTRATIVO, ESFERA DE GOVERNO E CONTEXTO

Esse primeiro conjunto de gráficos ( Figura 1 ) permite conhecer melhor o que se pode chamar de cenário empírico abordado. Além das IPs, ele demonstra quais níveis administrativos e esferas de governo foram mais trabalhados pelo conjunto de artigos analisados, bem como quais planos (endógeno: processos internos – ou exógeno: processos ou contextos externos) dos mecanismos participativos foram mais abordados. Quanto ao nível administrativo, o municipal foi o que recebeu maior atenção (44 – 62%), seguido pelo nacional (19 – 26%). No tocante à esfera de governo, em disparado, o executivo foi o mais citado (54 – 76%). Em relação aos processos internos ou externos às IPs, o contexto endógeno foi o mais investigado (31 – 43%), ou seja, foram mais estudados aspectos relacionados ao funcionamento interno das IPs, seguidos daqueles trabalhos que olharam para ambos os contextos ao mesmo tempo, internos e externos (23 – 30%). Pode-se depreender, portanto, que a maior parte dos artigos dos EPDPPs trabalhou com os conselhos, no nível municipal, analisando a esfera do executivo e o contexto endógeno delas.

Como se sabe, a Constituição de 1988, com sua proposta de descentralização administrativa e de fortalecimento da participação social em relação a algumas políticas específicas, foi a propulsora da criação de muitos conselhos, como os de saúde, assistência social e direitos da criança e do adolescente ( Cortes, 2011 ). Esses colegiados de gestão de políticas públicas são vinculados a órgãos do Poder Executivo e têm como característica diferenciadora de outros espaços participativos a perduração no tempo. Por mais que essa permanência possa não se verificar na prática, e que existam conselhos que a partir de determinado momento tenham interrompido as suas reuniões, há no ato da criação destes a intencionalidade de que sejam um espaço contínuo, perene, que mantenha certa constância em suas reuniões – com algum encadeamento entre elas –, e estejam inseridos em um contexto mais amplo de construção de políticas públicas setoriais. Existem hoje mais de 30 mil conselhos nos 5.570 municípios brasileiros, conforme os dados das pesquisas Munic do IBGE (IBGE, 2015). Assim, pode-se mesmo falar na existência de um “exército de conselheiros espalhados pelos quatro cantos do Brasil” ( Almeida e Tatagiba, 2012 , p. 70) nos níveis locais. Esses dados ajudam a esclarecer o interesse de pesquisa de mais da metade dos papers por essa modalidade participativa e também a preponderância do município entre os níveis administrativos, e do executivo entre as esferas de governo pesquisadas.

Dada essa base empírica, um segundo conjunto de gráficos ( Figura 2 ) permite uma análise estatística descritiva sobre como o problema teórico da efetividade foi mais propriamente abordado, ou seja, como foram abordados alguns dos elementos teóricos e metodológicos que guiaram as análises.

Figura 2
: Referências, abordagem, método e outros

Praticamente metade dos artigos (34 – 48%) tratou diretamente a questão da efetividade ou, para usar outro termo, da efetividade stricto sensu ( Avritzer, 2011 ), e a outra metade o fez apenas indiretamente. Não obstante, a grande maioria (61 – 86%) não mencionou a questão da “causalidade”, lembrada com frequência na literatura especializada como um grande desafio ao se tratar da efetividade. Como apontam alguns autores, dentre eles Gurza Lavalle (2011 , p. 40), imputar causalidade é um dos maiores desafios das ciências sociais, e isso se agrava nos campos de estudos em que há carga normativa nos conceitos, como é o caso da participação. Muitos dos que procuram apontar causalidade acabam por investigar efeitos remotos e gerais, cujas cadeias causais são não apenas desconhecidas como improváveis e, por vezes, indemonstráveis. Disso decorreria a tentação à “causalidade remota”, em que a relação entre causa e efeito é atravessada por espaço longo de tempo e/ou mediada por uma sucessão ou encadeamento extenso de efeitos intermediários. A superação dessa barreira⁷ , de difícil transposição, ajuda a explicar a baixa empregabilidade da causalidade, de forma direta, nas análises.

Em termos de embasamento teórico dos papers analisados, os capítulos reunidos na publicação do Ipea ( Pires, 2011 ) foram os mais citados, por 28 trabalhos (41%). Já os chamados “teóricos da democracia deliberativa” foram citados em 20 (29%). Por fim, outra parte (19 – 28%) recorreu à literatura internacional para empreender suas análises.

Em termos metodológicos, como mostra o gráfico “Métodos” ( Figura 2 ), a grande maioria dos trabalhos (62 – 87%) utilizou técnicas qualitativas para tratar o problema da efetividade. As fontes e os materiais mais acessados foram os documentos internos (atas, regimentos, resoluções etc.) (49 – 69%), seguidos de entrevistas (37 – 52%), legislação (leis, decretos, portarias etc.) (35 – 49%) e observação in locu (34 – 47%). Nesse aspecto, como se deduz a partir dos números apresentados (o total aponta para uma sobreposição), é bastante comum nos trabalhos encontrar mais de um tipo de fonte e de materiais para subsidiar as análises. Não obstante, surveys , dados censitários e outras fontes foram bem menos utilizados. Ou seja, há um desbalanceamento entre os métodos aplicados e os tipos de fontes. Se são os conselhos as IPs mais pesquisadas, é compreensível que seus documentos internos sejam as fontes mais acessadas para avaliar seu funcionamento interno (contexto endógeno), em diálogo com a literatura que mostra a importância da variável “desenho institucional” para medir efetividade. Aliás, não sem razão, entre as variáveis explicativas da efetividade identificadas nos trabalhos, “desenho institucional” foi a mais mencionada (26 – 36%), fazendo coro também com a análise endógena das IPs, como demonstrado acima. A predominância dessa variável era mais ou menos esperada, uma vez que trata de um elemento que a literatura havia identificado, desde longa data, como importante na avaliação dos processos participativos ( Faria e Ribeiro, 2011 ). Organização da sociedade civil (25 – 34%) e “Outras” variáveis (23 – 32%) também têm destaque nesse quesito. Mas, em suma, o que mais chama a atenção são a predominância do método qualitativo e o não tratamento do problema da causalidade.

Uma vez conhecida essa visão mais panorâmica, passamos aos sentidos de efetividade encontrados nos 71 textos dos EPDPPs. Eles foram categorizados e quantificados como segue no Gráfico 1 . A partir do levantamento bibliográfico realizado para esta pesquisa, construímos as variáveis, registrando dez sentidos de efetividade: 1- participação; 2- deliberação; 3- efetividade sobre a agenda governamental (outcomes); 4- articulação; 5- produção de outputs; 6-representação; 7- institucionalização; 8- controle e transparência; 9- capacidade redistributiva; 10- inclusão. A tentativa foi separar os sentidos em categorias, de modo a tornar mais claro o entendimento do que se quer dizer quando se fala em efetividade.

Gráfico 1
: Sentidos da efetividade (n)

A “efetividade da participação” foi referenciada por mais da metade dos trabalhos, 40 (56%). Como entendida por Avritzer (2011 , p. 17), a efetividade da participação tem um sentido mais geral, podendo abranger tanto a efetividade deliberativa quanto o processo de implementação das políticas públicas e seus resultados. Não sem razão, dos 40 trabalhos que mencionaram “efetividade da participação”, 21 (52%) também mencionaram a efetividade deliberativa; 16 (40%), a efetividade como representação; e 10 (25%), a produção de outputs .

Por um lado, isso pode mostrar que as categorias não são estanques, tal como indicado por Almeida (2017) . Por outro, essa definição tão geral pede imediatamente uma outra pergunta: efetividade da participação com relação a quê? As respostas podem mostrar maior ou menor grau de efetividade com relação a quem, de fato, participa com voz e voto, levando a conclusões sobre a capacidade de inclusão de dada IP; mas elas também podem buscar aferir a efetividade sob o ponto de vista dos resultados produzidos pela IP, tanto em termos de suas decisões ( outputs ) como em relação aos efeitos sobre as políticas públicas ( outcomes ). As respostas podem, além disso, buscar medir a capacidade de influência da IP com relação a uma distribuição mais ou menos equitativa dos benefícios da política. Ou seja, uma mesma pesquisa pode ter conclusões muito distintas a depender do aspecto que está buscando medir. Mas, se a pesquisa usa o termo “efetividade da participação”, sem esclarecer todos esses aspectos, pode concluir pela não efetividade da participação porque olhou, por exemplo, apenas a dimensão da capacidade redistributiva, mas poderia ser bastante efetiva se fossem os outputs a variável escolhida. Daí a necessidade de melhor definir quais resultados se busca aferir com a participação.

No que tange à segunda categoria mais encontrada, uma parte significativa dos trabalhos, 28 (40%), tratou a efetividade do ponto de vista da teoria da deliberação. Isso também não surpreende, pois, no levantamento bibliográfico realizado, ficou evidente que muitos autores trabalham com esse sentido ( Avritzer, 2011 ; Vaz, 2011 ; Almeida e Cunha, 2011 ; Cunha e Zanetti, 2016 ; Souza, 2011 ). Dos trabalhos dos EPDPPs, Prazeres (2017) , por exemplo, entende a efetividade deliberativa da mesma forma que Cunha (2010) , como:

a capacidade efetiva de essas instituições influenciarem, controlarem e decidirem sobre determinada política pública, expressa na institucionalização dos procedimentos, na pluralidade da composição, na deliberação pública e inclusiva, na proposição de novos temas, na decisão sobre as ações públicas e no controle sobre essas ações ( Cunha, 2010 , apud Prazeres, 2017 , p. 2).

Na verdade, essa definição mais ampliada de “efetividade deliberativa” proposta por Cunha dá o tom de boa parte dos trabalhos nessa categorização. Mas alguns autores optam por tomar apenas um elemento específico, dentre os vários elencados na definição acima, para empreender suas análises. Por exemplo, no paper de Costa e Barbosa (2017) , o objetivo é verificar o processo deliberativo nas plenárias dos conselhos gestores de políticas públicas. Já Melo e Barros (2017 , p. 12), analisando o Conselho Municipal de Política Cultural de Fortaleza, buscam verificar em que as decisões dos conselhos afetam as políticas públicas a eles relacionadas, pois afirmam que “a análise dos impactos que reverberam nas políticas públicas a partir do exercício das funções e atribuições concedidas aos conselhos é de extrema importância para entender a efetividade desses espaços de participação social”.

Tal como no caso da efetividade da participação, quando se fala em efetividade da deliberação também se pode incorrer em conclusões enviesadas, se não ficar claro qual aspecto se quer avaliar: por exemplo, se é a qualidade do processo deliberativo – quem participa do processo, o modo de inserção dos diferentes sujeitos, os temas sobre os quais debatem e decidem e a forma como o fazem – ou se é a forma como o processo deliberativo impacta as políticas públicas.

O terceiro tipo de efetividade mais recorrente diz respeito à produção de outcomes . Foram 26 trabalhos (36%) classificados nessa tipologia. A literatura mostra a importância de avaliar o potencial de influência das IPs nos resultados das políticas públicas. Cunha e Zanetti (2016) , por exemplo, referem-se à influência das deliberações de dez conferências nacionais de assistência social (realizadas entre 1995 e 2015) na constituição de aspectos fundantes da política, como financiamento, planejamento, princípios, estrutura, que impactam a agenda governamental. Petinelli (2011 , 2015 ) também analisa a capacidade de influência de conferências nacionais sobre a agenda governamental. Pesquisando as primeiras conferências nacionais de aquicultura e pesca, de cidades, de meio ambiente, de esporte, de políticas para mulheres e de políticas de promoção da igualdade racial, Petinelli buscou medir o efeito das recomendações aprovadas nesses encontros sobre os programas de políticas formulados pelo governo federal. O trabalho de Aguiar, Ferreira e Silva (2015) buscou avaliar a relação entre a presença de conselhos gestores de políticas e o acesso da população a bens e serviços públicos – olhando 853 municípios de Minas Gerais –, ou seja, os resultados externos propiciados pelos conselhos. Também Rodrigues (2019) traz um resumo da produção decisória (de 2005 a 2011) de conselhos municipais de habitação de cinco municípios brasileiros de grande porte – Belo Horizonte, Fortaleza, Guarulhos, Porto Alegre e São Paulo –, buscando mostrar como as decisões afetaram a política habitacional dos municípios.

Encontramos 23 (32%) trabalhos que mostram a efetividade sob o viés da articulação. Lembramos o trabalho de Almeida (2017) , que destaca a importância da articulação de uma dada instituição participativa com a sociedade, com outras instituições participativas e com o Estado, ou seja, com um conjunto de atores, governamentais e da sociedade civil, bem como com outras áreas de políticas e instituições de participação, “sinalizando a importância de uma compreensão macro da política, que dê conta de perceber a participação institucionalizada como um dos distintos repertórios de interação dos movimentos sociais ou como parte de um ciclo mais amplo de políticas públicas” (p. 670). Azevedo, Campos e Lira (2016) também apontam essa dimensão, buscando aferir a articulação dos conselhos com atores societais e estatais de toda a federação brasileira. Santos e Gugliano (2015) propõem uma análise sobre a efetividade do Conselho de Desenvolvimento Econômico e Social, buscando avaliar sua interlocução com a sociedade civil e a incidência que tem no processo decisório das políticas governamentais. O trabalho de Alencar e Silva (2013) , por exemplo, estudando o Conselho Nacional de Economia Solidária (CNES), propôs-se avaliar os principais mecanismos utilizados pelo conselho para articular as relações entre Estado e sociedade nessa área de política pública. Menezes (2019) , estudando o Conselho da Cidade da Bahia, mostra sua importância como espaço de articulação e criação de novos canais de diálogo institucional. Também Pismel (2019) , referindo-se aos Conselhos de Segurança Alimentar e Nutricional dos municípios de Americana e Sumaré (SP), aponta sua importância como atores do campo multiorganizacional de implementação de uma política pública.

Com relação à noção de efetividade no que se refere à produção de outputs , encontramos 20 trabalhos (28%). A pesquisa de Gurza Lavalle, Voigt e Serafim (2016) deixa clara essa noção de efetividade. Dizem os autores, “trata-se de uma estratégia que foca a produção decisória dos conselhos ( outputs ), e não seus efeitos sobre as políticas ( outcomes ), permitindo diagnosticar o que os conselhos estão de fato fazendo e quando o fazem; isto é, que decisões tomam e em que momento de seu ciclo de vida” (p. 611). O trabalho de Nascimento (2013) quer avaliar a importância do Conselho Nacional dos Direitos da Criança e do Adolescente na produção de decisões que impactaram o processo de formulação do Sistema Nacional Socioeducativo (Sinase). Nesse caso, destaca tanto a produção decisória do conselho ( output ) quanto seus efeitos sobre a política ( outcomes ).

A efetividade como representação foi encontrada também em 18 (25%) trabalhos. No levantamento bibliográfico, verificamos que várias pesquisas se desenvolveram nessa chave, por exemplo, Pogrebinschi e Ventura (2017) , ao buscarem saber em que medida as IPs – as Conferências Nacionais – despertaram ou não uma maior responsividade do Poder Legislativo brasileiro. Em outro trabalho, Pogrebinschi e Santos (2011) mostram que, apesar de se constituírem em espaços de representação extraparlamentar, as conferências nacionais fortalecem a representação parlamentar ao multiplicarem as formas de vocalização e agregação dos interesses presentes na sociedade. Concluem que:

as conferências nacionais são instituições representativas, não simplesmente por engendrarem internamente a lógica representativa (por meio da eleição de delegados e votação por maioria, entre outros) e sustentarem alguma modalidade “informal” de representação, mas por comporem uma estrutura mais complexa de representação política no âmbito dos Poderes do Estado, que conta com a participação e a deliberação da sociedade civil de forma mais direta e menos mediada pelos tradicionais mecanismos de controle, como o voto, e de vocalização das preferências por ele expressas, como os partidos (p. 264).

O trabalho de Almeida (2017) fala literalmente em “efetividade da representação”, buscando avaliar a forma como os atores das IPs acessam os canais de representação, a pluralidade da sociedade civil e o relacionamento que os representantes estabelecem com os representados. O trabalho de Neves, Oliveira e Barros (2017) tem como objetivo apontar os principais limites das práticas políticas e do processo de representação do Conselho Nacional dos Direitos do Idoso (gestão 2014-2016).

Sobre efetividade como institucionalização, 17 papers (24%) abarcam essa dimensão. Um bom exemplo aparece no trabalho de Martelli et al. (2017) , que, pesquisando as conferências nacionais de três setores de política – assistência social, meio ambiente e política para as mulheres –, chama atenção para a importância das conferências como espaço de encontro entre diferentes atores que se articulam e reforçam demandas por maior institucionalidade do setor. O trabalho mostra que quanto maior o envolvimento de uma comunidade de política, como é o caso da assistência social, maior é a pressão para que os marcos, garantias legais e procedimentos sejam cada vez mais consolidados, com consequente incremento da institucionalidade do setor. Assim, pode-se falar em efetividade avaliando o papel da IP na estruturação de um setor de política.

No que se refere à efetividade, considerando aumento de controle e acesso à informação, encontramos 10 (14%) trabalhos que abordam esse aspecto. Para a construção dessa variável, destaca-se a pesquisa de Santos (2016) com o Conselho de Desenvolvimento Econômico e Social do Rio Grande do Sul, que verifica a importância do conselho para introduzir mudanças na administração pública estadual, tendo contribuído para o aumento da transparência e do acesso à informação. O artigo de Ikeda Junior, Santos e Vilela (2017, p. 7) mostra a importância dos conselhos como “instrumentos jurídicos colocados à disposição da população para fiscalizar, vigiar, velar, examinar, inquirir e colher informações” de interesse público. Mostra o trabalho do Conselho das Cidades para o aumento da transparência e do controle social com relação aos megaempreendimentos no Rio de Janeiro.

Quanto à efetividade como capacidade redistributiva, encontramos oito trabalhos (11%) que tocam nesse ponto. Esse é um aspecto muito sensível na literatura, muitas vezes acompanhado pela questão da deliberação. O trabalho de Vaz (2011) , por exemplo, busca compreender a dinâmica de funcionamento das instâncias deliberativas e sua capacidade não apenas de incluir os cidadãos nas discussões sobre políticas públicas, mas também de produzir resultados efetivos quanto à redistribuição dos bens e ações concernentes a essas políticas. Almeida e Cunha (2011) também falam em efetividade deliberativa e efetividade em termos de capacidade distributiva. Querem ver o potencial deliberativo para propor e/ou alterar o formato e o conteúdo de políticas e, com isso, incidir diretamente sobre a (re)distribuição de recursos públicos. Importante pesquisa de Pires (2011) propõe uma estratégia para a avaliação dos efeitos distributivos das IPs, a qual envolve a análise da alocação de recursos públicos a partir de instâncias participativas em comparação com a distribuição territorial da pobreza/riqueza e com os padrões de exclusão vivenciados nas cidades brasileiras. Também Wampler (2011) e Cortes (2011) preocupam-se com os possíveis efeitos das instituições participativas sobre o nível de acesso a bens e serviços públicos nos municípios brasileiros. Entre os trabalhos apresentados nos EPDPPs, o de Bezerra (2017) sobre o impacto das IPs na variável “capacidade redistributiva” é exemplar. Tomando como referência analítica as três principais IPs – orçamento participativo, conselhos gestores e conferências de políticas públicas –, a autora faz um extenso balanço de como a literatura sobre efetividade abordou o tema da capacidade redistributiva.

Por fim, 5 (7%) trabalhos trataram a efetividade considerando a inclusão de atores e causas. Um deles mostrou que a criação dos Conselhos Municipais de Patrimônio Cultural significou a possibilidade de inclusão de segmentos até então excluídos da discussão das políticas de patrimônio cultural nos municípios. E mais, a dinâmica participativa e deliberativa dos conselhos permitiu a inserção de valores e interesses culturais diversificados, o que representou estímulo à democratização estatal ( Starling, 2015 ). O tema da inclusão é fundamental para o debate democrático, na medida em que um dos objetivos das inovações democráticas seria propiciar a inclusão de segmentos da população que tradicionalmente estão excluídos do processo participativo. Essa é a razão que leva pesquisadores ( Cunha, 2013 ; Martelli, 2014 ) a investigar o perfil socioeconômico e associativo-político dos participantes de IPs. A pergunta que orienta esses trabalhos é: qual o potencial de inclusão social e política desses espaços? A esse sentido de inclusão enquanto presença de indivíduos com perfis socioeconômicos que estão ausentes das tradicionais instituições de representação, soma-se um outro: o sentido de inclusão enquanto inserção de temas, interesses e causas nos processos de discussão e decisão, ou ainda, o sentido de inclusão enquanto alargamento ou expansão da comunidade de debate, em especial a garantida pela presença de setores-chave, tanto do governo quanto da sociedade, por possuírem autoridade e/ou algum vínculo ou trajetória na área de política (Martelli, Almeida e Lüchmann, 2019). Parece-nos extremamente relevante pautar o debate da efetividade também por essa categoria – inclusão –, considerando-a em sentido alargado – inclusão de atores, temas e causas –, pois, ao fazê-lo, muitas conclusões negativas sobre a efetividade das IPs poderiam ser revistas, considerando, com atenção à dimensão do tempo, os impactos nos setores de políticas provocados pela entrada de novos atores, temas e causas por meio das IPs.

As dez categorias de efetividade aqui sistematizadas permitem compreender por que o termo efetividade foi escolhido e não eficácia ou eficiência, também utilizados para a avaliação de políticas.

Voltemos às categorias: 1- participação; 2- deliberação; 3- efetividade sobre a agenda governamental ( outcomes ); 4- articulação; 5- produção de outputs ; 6-representação; 7- institucionalização; 8- controle e transparência; 9- capacidade redistributiva; 10- inclusão. Apenas as categorias “participação” e “produção de outputs ” poderiam ensejar o uso do termo eficácia, pois tratam de avaliação de processos. Por exemplo, pode-se falar em efetividade da participação considerando quem participa, como participa, enfim, avalia-se o processo deliberativo, os procedimentos que envolvem a deliberação. Também na avaliação de outputs , o que está em jogo é a avaliação de processo, ou seja, do processo de produção decisória de uma dada IP, em que medida a IP cumpre seu papel, produzindo decisões. Entretanto, mesmo nesses dois casos, pode-se combinar a avaliação de processos com a de impacto, pois, ao avaliar o processo deliberativo, pode-se, por exemplo, indagar em que medida a deliberação que sai de uma IP interfere na implementação da política pública e em seus resultados, o que corresponde à avaliação de impacto. Ou ainda, poder-se-ia considerar o impacto da participação para o aprendizado político (efetividade subjetiva). Na avaliação de outputs , além de se aferir o que de fato uma IP faz, pode-se perguntar em que medida o que faz ( output ) impacta o setor da política.

Para todas as outras oito categorias, fica claro tratar-se de avaliação de impacto, pela capacidade de influenciar a agenda governamental, a formulação de política pública ou seus resultados (“deliberação”; “ outcomes ”); por avaliar a capacidade de articulação de uma IP junto a outras instituições que incidem sobre o ciclo mais amplo de política pública (“articulação”); por avaliar o impacto na composição de mais uma complexa estrutura de representação política no âmbito dos poderes do Estado (“representação”); por avaliar o papel de uma IP no fortalecimento institucional de um setor de política (“institucionalização”); por avaliar em que medida o funcionamento de uma IP impacta em mudanças na administração pública pela imposição de maior controle sobre a informação e acesso a ela (“controle da informação e acesso a ela”); por avaliar o impacto das decisões de uma IP na maior redistribuição de bens e serviços públicos (“capacidade redistributiva”); ou ainda por avaliar os impactos de uma IP na inclusão de atores, temas e causas num dado setor de política pública (“inclusão”).

Em todos esses casos, procede-se à avaliação de impacto da IP no que diz respeito a mudanças na realidade de um dado setor, nos mais variados aspectos aqui mencionados. Poder-se-ia mesmo falar em efeitos sociais e institucionais das IPs, ou ainda em efetividade objetiva, subjetiva e substantiva, a depender do aspecto destacado para avaliação, o que mostra a multiplicidade de sentidos que efetividade pode assumir.

Considerações finais

O principal objetivo deste artigo foi sistematizar os sentidos possíveis atribuídos ao termo efetividade , a partir da revisão bibliográfica e da pesquisa com um corpus de 71 papers sobre a temática da efetividade da participação, apresentados em quatro edições do “Encontro Internacional Participação, Democracia e Políticas Públicas”. Com base na multiplicidade de sentidos, sistematizados em dez categorias, destacamos a recorrente preocupação em avaliar o impacto. Mostramos ser possível pensar o impacto da atuação das IPs de várias formas, o que implica direcionar o olhar do pesquisador para lugares diferentes: a) é possível pensar o impacto das IPs nos vários processos que envolvem a política pública, desde a interferência na agenda até a implementação e avaliação de resultados. Podem ser medidos os impactos objetivos, focando dados quantitativos, ou os impactos substantivos, observando o impacto da política na vida de uma dada comunidade. Nesse último caso, avalia-se a IP direcionando o olhar para o setor da política e/ou para a população-alvo; b) é possível pensar os efeitos da participação no que se refere ao aprendizado dos envolvidos no processo, ou seja, avalia-se a mudança no “estado de espírito” dos participantes, a “efetividade subjetiva”; aqui, o olhar do pesquisador se volta para os participantes, suas mudanças de percepção e comportamento; c) é possível medir efeitos da atuação da IP na articulação com outras instituições e com atores sociais e estatais; nesse caso, o olhar deve se voltar para os canais de diálogo construídos pelas IPs em prol de algum objetivo; d) é possível avaliar os efeitos das IPs para aumentar e pluralizar a vocalização de demandas junto aos representantes; aqui o olhar do pesquisador se volta para o Poder Legislativo, ou para atores políticos com poder de influenciar a agenda e as decisões dos Poderes de Estado; e) é possível avaliar impactos na administração pública, cobrando informações e transparência de procedimentos e dados, ou seja, o olhar do avaliador se volta para a interferência das IPs nas mudanças de regras e procedimentos em prol de maior transparência e publicização de dados; f) é possível medir efeitos das IPs na inclusão de vozes e demandas; nesse caso, o olhar se volta para dentro das IPs, avaliando sua capacidade inclusiva, não só de atores tradicionalmente ausentes dos espaços habituais de participação e representação, mas também de causas e temas; g) além dos “efeitos sociais” engendrados pelas IPs, é possível avaliar os “efeitos institucionais”, olhando o impacto das IPs na institucionalização das políticas ou observando seus efeitos sobre as instituições governamentais e não governamentais associadas à sua atuação.

Essa variedade de aspectos e significados nos leva a algumas considerações importantes. Ela revela, por exemplo, que o campo da participação está atento à amplitude que o termo efetividade pode assumir, como mostraram a bibliografia consultada para compor as variáveis deste artigo e os trabalhos sobre efetividade das quatro edições do EPDPP. E isso é fruto do tempo: o tempo de funcionamento das IPs e o amadurecimento de seus processos permitiram alargar a visão e os procedimentos analíticos com relação ao potencial das IPs e o alcance de seus resultados.

Se o campo está sendo capaz de perceber os múltiplos impactos que as IPs podem gerar, esperamos seguir divulgando os resultados de pesquisas sobre a efetividade (alargada) das IPs, com o compromisso de fazer jus ao seu legado, tão ameaçado pelo atual governo de Jair Bolsonaro, avesso às políticas de participação social. Os estudos sobre avaliação têm grande importância para decisões políticas. No nosso caso, os estudos sobre a efetividade das IPs têm implicações não só para a decisão de gestores sobre a continuidade ou não de política de participação social, mas também no sentido de animar aqueles que participam desses espaços, sejam eles representantes do governo ou cidadãos e demais representantes da sociedade civil. Como bem apontou Wampler (2011 , p. 43), “se as IPs não produzem mudanças significativas ou se elas não são percebidas como propiciadoras de processos de mudanças, então se torna menos provável que os participantes continuem a investir nelas”.

E aqui fazemos uma última consideração: avaliar é atribuir valor, é determinar se as coisas são boas ou más, ou seja, a avaliação de uma dada política tem a dizer sobre os princípios que a orientam, envolve critérios éticos e morais. Se o objetivo é avaliar o impacto produzido por uma política na realidade, há que se ter clareza dos princípios que norteiam os objetivos de mudança. No que diz respeito à política de participação social, as mudanças pretendidas incidem sobre maior igualdade e justiça na distribuição de recursos públicos visando ao bem-estar de todos. Ou seja, a avaliação de políticas públicas implica uma avaliação política que consiste em atribuir valor às políticas, às suas consequências, ao aparato institucional em que elas se dão e aos próprios atos que pretendem modificar o conteúdo dessas políticas. Daí a importância de estabelecer critérios de avaliação que permitam dizer se e por que uma política é preferível à outra ( Figueiredo e Figueiredo, 1986 ).

Se consideramos as IPs com potencial para impactar vários aspectos da realidade social e/ou institucional, e se acreditamos nos princípios norteadores das mudanças pretendidas, cabe ressaltar a necessidade de ampliar nossas lentes analíticas para falar de efetividade, mostrando, de forma clara e objetiva, as dimensões possíveis e passíveis de mensuração. Isso pode resultar em conclusões mais cuidadosas, menos enviesadas e, quiçá, mais otimistas do papel que as instituições participativas têm desempenhado no Brasil.

Referências bibliográficas

• Aguiar, C. C.; Ferreira, M. A. M.; Silva, E. A. “Efeitos das instituições participativas sobre a gestão pública municipal”. Anais do II Encontro Internacional Participação, Democracia e Políticas Públicas, Unicamp, Campinas, SP, 2015.
• Alencar, J. L. O.; Silva, S. P. “Mecanismos de construção participativa em políticas públicas: uma análise da composição do Conselho Nacional de Economia Solidária e da percepção de seus conselheiros”. In: Encontro Internacional Participação, Democracia e Políticas Públicas: Aproximando agendas e agentes, de 23 a 25 de abril de 2013. Unesp, Araraquara (SP).
• Almeida, C.; Tatagiba, L. “Os conselhos gestores sob o crivo da política: balanços e perspectivas”. Serviço Social & Sociedade, nº 109, p. 68-92, 2012.
• Almeida, D. C. R. “Os desafios da efetividade e o estatuto jurídico da participação: a política nacional de participação social”. Revista Sociedade e Estado, vol. 32, nº 3, 2017.
• Almeida, D. C. R.; Cunha, E. S. M. A análise da deliberação democrática: princípios, conceitos e variáveis relevantes. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Arretche, M. “Tendências no estudo sobre avaliação de políticas públicas”. Revista Crítica de Sociologia e Política, ano i, nº 1, jul.-dez. 2013.
• Avritzer, L. A qualidade da democracia e a questão da efetividade da participação: mapeando o debate. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Azevedo, N. L.; Campos, M. M.; Lira, R. A. “Por que os conselhos não funcionam? O diagnóstico O’Donnell”. Anais da 40º Encontro Anual da Anpocs, Caxambu, 2016.
• Bezerra, C. P. “Instituições participativas geram efeitos redistributivos? Desafios metodológicos para a análise”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Bicudo, M. A. V. “Meta-análise: seu significado para a pesquisa qualitativa”. Revemat: Revista Eletrônica de Educação Matemática, vol. 9, nº 0, p. 7, 2014.
• Cortes, S. V. Instituições participativas e acesso a serviços públicos nos municípios brasileiros. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Costa, L. F. A.; Barbosa, A. S. “Conselhos gestores de políticas públicas e participação: consensos, dissensos e tensões no palco deliberativo”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Cunha, E. S. M. Inclusão social e política: o desafio deliberativo dos Conselhos Municipais de Assistência Social. In: Avritzer, L. (org.). A dinâmica da participação local no Brasil. São Paulo: Cortez, 2010.
• Cunha, E. S. M. Conferências de políticas públicas e inclusão participativa. In: Avritzer, L.; Souza, C. H. L. (orgs.). Conferências nacionais: atores, dinâmicas participativas e efetividade. Brasília: Ipea, 2013.
• Cunha, E. S.; Zanetti, D. G. “Participação e influência na agenda governamental: o caso da assistência social”. Anais do 10º Encontro da Associação Brasileira de Ciência Política, Belo Horizonte, 2016.
• Dacombe, R. “Systematic reviews in political science: what can the approach contribute to political research?”. Political Studies Review, vol. 16, nº 2, p. 148-157, 2017.
• Draibe, S. M. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira, M. C. R. N.; Carvalho, M. C. B. (orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.
• Faria, C. F.; Ribeiro, U. C. Desenho institucional: variáveis relevantes e seus efeitos sobre o processo participativo. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Ferro, M. C. T. “Participação, políticas públicas e efetividade: linhas de pesquisas, limites e descobertas”. Anais do II Encontro Internacional Participação, Democracia e Políticas Públicas, Unicamp, Campinas (SP), 2015.
• Figueiredo Filho, D. B. “O elo corporativo? Grupos de interesse, financiamento de campanha e regulação eleitoral”. Dissertação de Mestrado em Ciência Política, Universidade Federal de Pernambuco. Recife, 2009.
• Figueiredo Filho, D. B., et al. “O que é, para que serve e como se faz uma meta-análise?”. Teoria e Pesquisa, vol. 23, nº 2, p. 205-228, 2014.
• Figueiredo, M. F.; Figueiredo, A. M. C. “Avaliação política e avaliação de políticas: um quadro de referência teórica”. Análise e Conjuntura, Belo Horizonte, vol. 1, nº 3, p. 107-127, set.-dez. 1986.
• Gurza Lavalle, A. Participação: valor, utilidade, efeitos e causas. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Gurza Lavalle, A.; Voigt, J.; Serafim, L. “O que fazem os conselhos e quando o fazem? Padrões decisórios e o debate dos efeitos das instituições participativas”. Dados – Revista de Ciências Sociais, Rio de Janeiro, vol. 59, nº 3, 2016.
• IBGE. Pesquisa de Informações Básicas Municipais (Munic). Rio de Janeiro, 2015.
• Ikeda Junior, R.; Santos, E. S.; Vilela, L. E. “Controle social e desenvolvimento no território dos megaempreendimentos”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Imbeau, L. M.; Pétry, F.; Lamari, M. “Left-right party ideology and government policies: a meta-analysis”. European Journal of Political Research, vol. 40, nº 1, 2001.
• King, G. “Replication, replication”. PS: Political Science & Politics, vol. 28, nº 3, p. 444-452, 1995.
• Martelli, C. G. “Conferências municipais para quê? Setores de políticas públicas e a diversidade político-institucional de seus participantes”. Anais do IX Encontro da ABCP, Brasília, DF, 2014.
• Martelli, C. G.; Almeida, C.; Lüchmann, L. “The meanings of representation and political inclusion in the Conferences of Public Policies in Brazil”. Brazilian Political Science Review, vol. 13, nº 1, 2019.
• Martelli, C. G., et al. “Conferências Nacionais e Políticas Públicas: uma análise longitudinal nas áreas de assistência social, meio ambiente e políticas para as mulheres”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Melo, R. N. P.; Barros, J. M. “Efetividade e Conselhos de Política Cultural: uma agenda a ser construída”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Menezes, D. M. O. “Instituições participativas e a disputa pela efetividade: o caso do Conselho Estadual das Cidades da Bahia”. Anais do IV Encontro Internacional Participação, Democracia e Políticas Públicas, UFRGS, Porto Alegre (RS), 2019.
• Nascimento, A. R. “Formulação da política pública a partir de um Conselho Nacional dos Direitos: o caso do Sistema Nacional Socioeducativo – Sinase”. In: Encontro Internacional Participação, Democracia e Políticas Públicas: aproximando agendas e agentes, de 23 a 25 de abril de 2013, Unesp, Araraquara (SP).
• Neves, A. V.; Oliveira, P. N.; Barros, M. S. R. “Representação e práticas políticas: análise da participação no Conselho Nacional dos Direitos do Idoso”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Paranhos, R. “Conexões inglórias: responsividade e produção legislativa subnacional no Brasil”. Tese de Doutorado em Ciência Política. Universidade Federal de Pernambuco (UFPE), Recife, PE, 2014.
• Petinelli, V. “As Conferências Públicas Nacionais e a formação da agenda de políticas públicas do governo federal (2003-2010)”. Opinião Pública, Campinas, vol. 17, nº 1, 2011.
• Petinelli, V. “Aferindo a capacidade de influência das conferências de políticas públicas”. Opinião Pública, Campinas, vol. 21, n° 3, 2015.
• Pinto, C. M. “Metanálise qualitativa como abordagem metodológica para pesquisas em letras”. Atos de Pesquisa em Educação, vol. 8, nº 3, p. 1.033, 2013.
• Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Pismel, A. C. “Conselhos gestores importam: uma análise sobre a atuação do Conselho Municipal de Segurança Alimentar e Nutricional na implementação do Programa de Aquisição de Alimentos”. Anais do IV Encontro Internacional Participação, Democracia e Políticas Públicas, UFRGS, Porto Alegre (RS), 2019.
• Pogrebinschi, T.; Santos, F. “Participação como representação: o impacto das conferências nacionais de políticas públicas no Congresso Nacional”. Dados – Revista de Ciências Sociais, Rio de Janeiro, vol. 54, nº 3, 2011.
• Pogrebinschi, T.; Ventura, T. “Mais participação, maior responsividade? As conferências nacionais de políticas públicas e a qualidade da democracia no Brasil”. Dados, vol. 60, nº 1, p. 7-43, mar 2017.
• Prazeres, L. P. “É um assunto natimorto: notas sobre as competências dos participantes do Conselho Municipal de Meio Ambiente de Cachoeiras de Macacu, RJ”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Rodrigues, F. P. “Mecanismos entre decisão e implementação: a efetividade nos conselhos municipais de habitação”. Anais do IV Encontro Internacional Participação, Democracia e Políticas Públicas, UFRGS, Porto Alegre (RS), 2019.
• Roscoe, D. D.; Jenkins, S. “A meta-analysis of campaign contributions’ impact on roll call voting”. Social Science Quarterly, vol. 86, nº 1, 2005.
• Sampaio, D.; Figueiredo Filho, D. B. “Como o dinheiro influencia as eleições municipais no Brasil: uma revisão sistemática”. BIB, São Paulo, nº 88, 1/2019.
• Santos, M. L. “Teoria e método nos estudos sobre o legislativo brasileiro: uma revisão da literatura no período 1994-2005”. BIB. Rio de Janeiro, nº 66, 2008.
• Santos, P. R. “Inovações participativas, diálogo social e construção de consensos”. Revista de Administração Pública, Rio de Janeiro, vol. 50, nº 3, p. 501-511, maio-jun. 2016.
• Santos, P. R.; Gugliano, A. A. “Efetividade das políticas participativas no governo brasileiro: o Conselho de Desenvolvimento Econômico e Social”. Revista de Sociologia e Política, vol. 23, nº 56, p. 3-19, dez. 2015.
• Santos, R. A. S. “A efetividade das instituições participativas: dos desafios teóricos aos problemas metodológicos”. Anais do III Encontro Internacional Participação, Democracia e Políticas Públicas, Ufes, Vitória (ES), 2017.
• Soares Filho, M. L. V. “Tensões e incentivos do Legislativo nacional à formulação e implementação das instituições de participação: o caso do Conselho Nacional dos Direitos do Idoso e da Política e Sistema Nacional de Participação Social”. In: IV Encontro Internacional Participação, Democracia e Políticas Públicas, de 10 a 13/9/2019, UFRGS, Porto Alegre (RS).
• Souza, C. H. L. Conferências e os desafios metodológicos de seu estudo. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Starling, M. B. L. “Os conselhos de políticas públicas e a democratização da ação estatal: a política municipal de patrimônio cultural de Minas Gerais”. Anais do II Encontro Internacional Participação, Democracia e Políticas Públicas, Unicamp, Campinas (SP), 2015.
• Vaz, A. C. N. Da participação à qualidade da deliberação em Fóruns públicos: o itinerário da literatura sobre conselhos no Brasil. In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.
• Wampler, B. Que tipos de resultados devemos esperar das instituições participativas? In: Pires, R. R. C. (org.). Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, 2011.

• 3
  O EPDPP tem se constituído num espaço de encontro dos principais pesquisadores do campo da participação. Nas edições de 2015, 2017 e 2019, contou com um seminário temático (ST) específico sobre o tema da efetividade. Na primeira edição (2013), a efetividade apareceu distribuída nos vários Seminários Temáticos.
• 4
  Para Wolf (1986, apud Figueiredo Filho et al., 2014, p. 208), “um problema típico dos modelos tradicionais de revisão da literatura é a inclusão seletiva de estudos, em geral baseada nas impressões do revisor sobre a qualidade dos trabalhos. Isso porque as revisões tradicionais geralmente utilizam um critério a posteriori para julgar se um determinado estudo deve ou não ser incluído”. Isso acaba por gerar uma amostra por conveniência, sendo sua principal consequência a baixa confiabilidade das sínteses produzidas, como sugerem Figueiredo Filho et al. (2014), artigo que indicamos para aprofundar o assunto no campo da ciência política.
• 5
  Anais do I Encontro: ISBN 978-85-87361-97-4; Anais dos II, III e IV Encontros: ISSN: 2527-0133. Disponíveis em: < https://pdpp2019.sinteseeventos.com.br/conteudo/view?ID_CONTEUDO=407 . Acesso em: 1 jan. 2020.
• 6
  Vale notar que pode ocorrer o inverso também. Alguns somatórios podem não chegar a 71, pois algumas variáveis de certos artigos foram marcadas como NA (Não aplicável) ou NI (Não identificável) pela impossibilidade de identificação. Cf. também “Observação” na Tabela 1 .
• 7
  Ainda segundo Gurza Lavalle (2011) , existem ao menos duas formas de lidar com o problema da causalidade remota: “a primeira é assumir o risco devido à importância de se estabelecerem efeitos gerais, mas optando por desenhos de pesquisa capazes de minimizá-lo (...). A segunda alternativa, aqui sugerida, é renunciar à tentação das causalidades remotas e aproximar a causa do efeito; isto é, fixar o olhar nos efeitos imediatos ou diretamente imputáveis às IPs naquilo que efetivamente produzem” (p. 41).

Datas de Publicação

• Publicação nesta coleção
  06 Out 2021
• Data do Fascículo
  May-Aug 2021

Histórico

• Recebido
  19 Maio 2020
• Aceito
  5 Fev 2021