Qual a qualidade da análise de impacto regulatório elaborada por agências reguladoras do Brasil?

¿Cuál es la calidad del análisis de impacto regulatorio elaborado por las agencias reguladoras brasileñas?

Resumo

A análise de impacto regulatório (AIR) é uma ferramenta que busca identificar os impactos relevantes que uma política regulatória pode ter, com vistas a subsidiar a tomada de decisão. O seu uso tornou-se obrigatório no Brasil, mas não há estudos que tenham investigado se a qualidade da análise tem alcançado o nível desejado no país. Assim, o objetivo da presente pesquisa foi avaliar a qualidade das AIRs realizadas por agências reguladoras federais brasileiras. Para a condução deste trabalho, foi desenvolvido e aplicado um instrumento com 50 critérios para a verificação da qualidade de um conjunto de 21 AIRs. Os resultados indicaram boa qualidade das AIRs em alguns aspectos, como na definição de problemas e objetivos, mas apontaram fragilidades em outros, como na análise de impactos e na comparação de alternativas. Como agenda para pesquisas futuras, foi proposta investigação de hipóteses e fatores que podem explicar a ausência de um padrão de qualidade da AIR no país.

Palavras-chave:
análise de impacto regulatório; AIR; regulação; qualidade

Resumen

El análisis de impacto regulatorio (AIR) es una herramienta que busca identificar los impactos relevantes que puede tener una política regulatoria, con miras a apoyar la toma de decisiones. Su uso se ha vuelto obligatorio en Brasil, pero no hay estudios que hayan investigado si la calidad del análisis ha alcanzado el nivel deseado en el país. Así, el objetivo de la presente investigación fue evaluar la calidad de los AIR realizados por las agencias reguladoras federales brasileñas. Para realizar la investigación se elaboró y aplicó un instrumento con 50 criterios de evaluación de la calidad en un conjunto de 21 AIR. Los resultados indicaron buena calidad de los AIR en algunos aspectos, como en la definición de problemas y objetivos, pero señalaron debilidades en otros, como en el análisis de impactos y en la comparación de alternativas. Como agenda de estudios futuros, se propusieron investigaciones de hipótesis y factores que puedan explicar la ausencia de un estándar de calidad del AIR en el país.

Palabras clave:
análisis de impacto regulatorio; AIR; regulación; calidad

Abstract

The regulatory impact analysis - RIA is a tool that seeks to identify the regulatory policy’s relevant impacts to support decision-making. Its use has become mandatory in Brazil, but no studies have investigated whether the quality of the analysis has reached the desired level in the country. Thus, the objective of this research was to evaluate the quality of RIAs carried out by Brazilian federal regulatory agencies. An instrument was developed and applied with 50 criteria for quality assessment in a set of 21 RIAs. The results indicated the good quality of the RIAs in some aspects, such as the definition of problems and objectives, but they pointed out weaknesses in others, such as the analysis of impacts and the comparison of alternatives. As an agenda for future studies, investigations of hypotheses and factors that may explain the absence of a quality standard for RIA in the country were proposed.

Keywords:
regulatory impact analysis; regulatory impact assessment; RIA; regulation; quality

1. INTRODUÇÃO

A Análise de Impacto Regulatório (AIR) não tem conceito único e seu uso tem variado conforme o país ou o contexto de aplicação (Peci, 2011; Radaelli, 2010). De modo geral, é uma análise que busca identificar os impactos relevantes que uma política regulatória pode ter, com vistas a subsidiar a tomada de decisão e favorecer o alcance de políticas equilibradas e efetivas (Ellig, Mclaughlin, & Morrall, 2013; Jacobs, 2004).

A AIR tem sido amplamente difundida por todo o mundo, e sua adesão tem sido crescente (Adelle et al., 2016). A adoção da AIR em processos regulatórios iniciou-se lentamente a partir da década de 1970, quando foi adotada nos Estados Unidos, e avançou muito a partir das décadas de 1990 e 2000, quando alcançou a maioria dos países da União Europeia e países-membro da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) (Francesco, 2012). Recentemente, também tem avançado em países em desenvolvimento como estratégia de aperfeiçoamento da governança (Carvalho, Costa, Marques, & Cordeiro, 2019).

No Brasil, o governo demonstrou seu primeiro compromisso institucional com a AIR no ano de 2007, quando criou o Programa de Fortalecimento da Capacidade Institucional para Gestão em Regulação (Proreg). O objetivo desse programa era adotar medidas para o fortalecimento regulatório, o que incluía o incentivo ao uso da AIR na formulação de políticas no país (Peci, 2011). Apesar dos esforços, a AIR caminhou modestamente até meados de 2018. Sua aplicação era incompleta, não sistêmica e não compreendida como uma estratégia governamental (Castro, 2014).

Nos últimos anos, o governo brasileiro promoveu o tema da AIR e aprovou duas leis¹ e um decreto presidencial² que tornaram obrigatório o seu uso na formulação de políticas regulatórias. A partir de 15 de abril de 2021, as agências reguladoras brasileiras - em nível federal - passaram a ter a AIR como requisito para a formulação de políticas.

Apesar da crescente utilização da AIR no mundo, ainda há escassez de estudos que indiquem se a qualidade da análise tem alcançado a profundidade analítica desejada. Os trabalhos disponíveis são concentrados nos Estados Unidos e na Europa e promovem avaliações apenas parciais sobre os variados aspectos de qualidade (Achtnicht, Rennings, & Hertin, 2009; Belfield, Bowden, & Rodriguez, 2019; Fritsch, Radaelli, Schrefler, & Renda, 2013; Saab & Silva, 2021b). Os resultados desses estudos indicam que, nas últimas décadas, a qualidade da AIR tem sido baixa e que a identificação de caminhos para a sua melhoria passa pela realização de novas avaliações em diferentes contextos (Belfield et al., 2019; Ellig & Mclaughlin, 2012; Hahn, Burnett, Chan, Mader, & Moyle, 2000; Saab & Silva, 2021b; Souto-Otero, 2013).

Com base no conhecimento disponível sobre o tema, há uma lacuna que oportuniza a realização da presente pesquisa, com o objetivo de avaliar a qualidade das AIRs realizadas por agências reguladoras federais brasileiras. A elaboração desta pesquisa, assim, pretende investigar uma realidade ainda não explorada em estudos anteriores - o Brasil - e utilizar critérios de avaliação mais abrangentes, que possam contribuir para um debate mais amplo sobre a qualidade da AIR.

2. AVALIAÇÃO DA QUALIDADE DA AIR

O uso de conhecimento, evidências e informações para subsidiar tomadores de decisão vem sendo cada vez mais frequente em democracias desenvolvidas (Staroňová, 2014). Quando um tomador de decisão busca conhecimento antes de optar por uma política, ele almeja conhecer e medir os impactos que ela pode ter, de modo que possa tomar melhores decisões e acompanhar os seus resultados (Desmarais & Hird, 2014).

A AIR pode ser considerada uma ferramenta que permite aproximar a ciência e o conhecimento da formulação de políticas regulatórias. Seu uso pode significar uma importante estratégia para utilizar informações e argumentos qualificados nas decisões políticas (Costa, 2016).

Por meio da AIR, são definidos o problema e os objetivos da intervenção e são comparadas as diferentes alternativas disponíveis ao regulador (Jacobs, 2004; Radaelli, 2004, 2010). Em todo o processo, é recomendado o uso de métodos e evidências que embasem cada etapa, bem como a promoção de ampla participação social. Na parte final da análise, o caminho regulatório mais vantajoso para a sociedade é apresentado (Radaelli, 2010).

A AIR também pode desempenhar uma importante função contra a captura regulatória. O uso de métodos padronizados para avaliar custos e benefícios e a disponibilização dos resultados para escrutínio público podem ajudar na detecção de situações em que dados são manipulados com o intuito de promover regulações que atendam aos interesses de determinados grupos (Livermore & Revesz, 2013; Saab & Silva, 2021a).

É importante destacar que a mera realização da AIR não assegura boas políticas regulatórias. É necessário que desconfianças quanto ao seu uso sejam superadas, capacidades técnicas sejam desenvolvidas e que haja maior compromisso político com a sua utilização (Carroll, 2010). As análises de impacto precisam ter qualidade adequada para que possam oferecer bons subsídios ao tomador de decisão (Daskal, Ayalon, & Shechter, 2019; Ellig et al., 2013; Fritsch et al., 2013).

As próximas subseções apresentam dimensões, critérios e abordagens que têm sido usadas para avaliar a qualidade da AIR e proporcionar a adoção de medidas de aperfeiçoamento.

2.1. Dimensões e critérios de avaliação

De modo geral, a avaliação da qualidade da AIR pode ser feita por meio da investigação de quatro dimensões (Figura 1): i) a condução dos aspectos formais da AIR; ii) a utilização de participação social; iii) o uso de evidências no processo; e iv) a sua utilidade para a tomada de decisão (Saab & Silva, 2021b).

FIGURA 1
DIMENSÕES PARA A AVALIAÇÃO DA QUALIDADE DA AIR

Na primeira dimensão, deve-se avaliar se houve a devida condução e o registro dos aspectos formais da AIR. Trata-se de averiguar critérios que mensurem a adequada definição do problema e dos objetivos da regulação (Staroňová, Pavel, & Krapež, 2007) e a identificação de alternativas regulatórias (Dudley et al., 2017), bem como a comparação dessas alternativas (Souto-Otero, 2013) de modo a embasar a recomendação da melhor opção regulatória para o tomador de decisão (Ellig & Mclaughlin, 2012).

Na dimensão da participação social, devem-se avaliar critérios que indiquem se o processo de desenvolvimento da AIR foi transparente e participativo (Ellig & Mclaughlin, 2012). É importante investigar se a autoridade governamental envolveu a sociedade, promoveu a coleta de dados, captou percepções dos variados grupos sociais e mostrou-se responsiva diante de suas necessidades (Staroňová, 2010; Staroňová et al., 2007).

Quanto ao uso de evidências no processo, devem-se investigar critérios que indiquem se os argumentos e as premissas utilizados na AIR foram baseados em elementos, fatos, dados e informações devidamente comprovados e verificáveis (Russel & Turnpenny, 2009; Souto-Otero, 2013).

Por fim, a dimensão da utilidade para a tomada de decisão apresenta-se de modo peculiar. Não se trata de um elemento intrínseco e verificável no relatório de AIR em si, mas sabe-se que há correlação bidirecional entre a qualidade da análise e seu uso na tomada de decisão. Quando a AIR tem melhor qualidade, ela influencia mais o processo decisório, assim como a intenção do decisor em utilizá-la tende a aumentar a sua qualidade (Ellig & Mclaughlin, 2012).

2.2. Abordagens para a avaliação da qualidade da AIR

A aferição da qualidade da AIR se dá por meio da aplicação de diferentes abordagens (ou métodos) aos critérios e às dimensões preestabelecidos. Na literatura dos últimos 40 anos, são encontradas quatro abordagens: i) checklist; ii) escala de pontos; iii) comparação retrospectiva; e iv) estudo de caso.

O checklist consiste na verificação de critérios e conteúdos que uma AIR deve ter, por meio da atribuição dos valores de “sim” ou “não”. A escala de pontos se assemelha ao checklist, mas sofistica a avaliação atribuindo pontos para cada critério avaliado. O estudo de caso envolve uma investigação qualitativa sobre a AIR, com base na captação e análise de percepções e informações. Por fim, a comparação retrospectiva atribui qualidade à AIR de acordo com a precisão encontrada na estimativa dos custos e benefícios (Saab & Silva, 2021b).

2.3. Estudos relacionados

Hahn et al. (2000) foram pioneiros ao propor estudos de avaliação da qualidade da AIR. De acordo com os autores, a AIR foi criada para ser um instrumento facilitador do desenvolvimento de políticas regulatórias eficientes e efetivas, mas o nível de informações disponibilizado pelas análises mostrava-se insuficiente para alcançar esse objetivo. A avaliação da qualidade da AIR seria iniciativa fundamental para o seu fortalecimento e, consequentemente, para a melhoria das políticas regulatórias.

Alguns estudos demarcam a trajetória de construção de conhecimento sobre o tema. Para avaliar a qualidade de 45 AIRs realizadas nos Estados Unidos, no ano de 2008, Ellig e McLaughlin (2012) propuseram 12 critérios e utilizaram a abordagem da escala de pontos. Os critérios, de maneira geral, mediam a capacidade da AIR de definir o problema, identificar e comparar alternativas e estimar os custos e benefícios da regulação. Além disso, consideravam a facilidade com que um cidadão localizava e entendia o relatório de AIR, bem como investigava se a AIR foi capaz de afetar a decisão. O exame das AIRs mostrou que a qualidade média das análises não foi alta, com muitas fraquezas relacionadas com a definição do problema e o uso de evidências para a tomada de decisão.

Fritsch et al. (2013) utilizaram a abordagem do checklist para avaliar 773 AIRs elaboradas no Reino Unido e na União Europeia entre os anos de 2005 e 2010. Foram usados 18 critérios de avaliação com foco naqueles relativos à apuração de custo e benefício, impactos, quantificação e rentabilização realizadas - “deixamos aspectos como definição de problemas, consulta, monitoramento e avaliação para outros trabalhos decorrentes desse projeto” (Fritsch et al., 2013, p. 447). O resultado do trabalho indicou que a análise de custos e benefícios, a quantificação e a monetização foram aspectos problemáticos nas AIRs.

Mais recentemente, Belfield et al. (2019) avaliaram a qualidade de 28 AIRs elaboradas para subsidiar as políticas regulatórias da área de educação nos Estados Unidos. Os autores utilizaram 11 critérios e a abordagem do checklist. Assim como fizeram Fritsch et al. (2013), o exame da qualidade das AIRs priorizou critérios ligados à apuração de custos e benefícios. Outros aspectos do processo de AIR, como a análise do problema, os objetivos e a participação social, não foram utilizados na avaliação da qualidade. O estudo concluiu que, nas raras situações em que a AIR foi usada em políticas educacionais, os padrões metodológicos foram baixos, os custos foram subestimados e houve pouca transparência quanto aos métodos e às premissas utilizadas, além disso, os benefícios raramente foram estimados e o método adotado não assegurou bons níveis de confiabilidade.

Nota-se que alguns estudos têm contribuído com a avaliação da qualidade da AIR em diferentes contextos e têm ajudado na compreensão de seus pontos fortes e fracos. O aperfeiçoamento de métodos, abordagens e critérios de avaliação, bem como a realização de novas avaliações, podem colaborar para a identificação de caminhos de melhoria para a análise. A seção a seguir indica os procedimentos metodológicos adotados para aferir a qualidade da AIR em agências reguladoras do Brasil.

3. PROCEDIMENTOS METODOLÓGICOS

De acordo com Yin (1994), uma investigação empírica é realizada com base em um plano de pesquisa que relaciona os dados e objetivos de um estudo para alcançar conclusões. A Figura 2 apresenta as etapas e os procedimentos usados na presente pesquisa, entre o seu início e sua conclusão.

FIGURA 2
PLANO DE PESQUISA

Na primeira etapa, foi explorada a literatura científica sobre a qualidade da AIR em publicações encontradas nas bases de dados do Google Scholar, Web of Science e Scopus. Também foram analisados documentos oficiais (leis, decretos e guias) que disciplinam o tema no Brasil. Com esses estudos científicos e documentos oficiais, foi elaborado um instrumento preliminar para a avaliação da qualidade da AIR no Brasil. A versão preliminar do instrumento foi encaminhada para um juiz - doutor em ciências sociais com ampla experiência em gestão pública, regulação e AIR -, que julgou sua adequação. A versão final do instrumento de avaliação foi elaborada após adaptações decorrentes das considerações apresentadas pelo juiz.

A versão final do instrumento de avaliação contou com 50 critérios de qualidade e foi preparada para a aplicação da abordagem da escala de pontos. As metodologias propostas abrangem as dimensões de investigação de qualidade sugeridas por Saab e Silva (2021b) e permitem avaliações mais completas do que as disponíveis na literatura. A escolha da escala de pontos se justificou pelo fato de que essa abordagem se diferencia das outras ao permitir uma percepção qualitativa sobre quão bem avaliado foi cada critério de qualidade (Saab & Silva, 2021b). Para aplicar o instrumento, foi adotada uma escala de pontos adaptada de Ellig e McLaughlin (2012), conforme mostra o Quadro 1.

QUADRO 1
SIGNIFICADO DA ESCALA DE PONTOS

Na segunda etapa do estudo, conduziu-se o levantamento de todos os relatórios de AIR que acompanharam políticas regulatórias aprovadas entre 15 de abril e 31 de dezembro de 2021. O pedido de informação foi feito às 11 agências reguladoras federais, por meio do Fala.BR - plataforma do governo brasileiro utilizada para tratar os pedidos de acesso à informação (Bourges, 2020). A escolha do período objetivou selecionar apenas AIRs elaboradas após a implementação obrigatória do tema no Brasil, quando os conceitos e as práticas foram harmonizados no país. Todas as agências reguladoras responderam ao pedido de informação por meio da plataforma Fala.BR.

Depois do levantamento das AIRs, foi realizada uma leitura flutuante dos relatórios, com o objetivo de validar se os documentos obtidos se enquadravam no escopo da pesquisa. Em seguida, eles foram organizados, e o instrumento de avaliação da qualidade foi aplicado em cada um dos relatórios. A avaliação foi feita pelos dois autores da presente pesquisa. O primeiro analisou o conteúdo dos relatórios e aplicou o instrumento de avaliação; o segundo revisou e discutiu o resultado da análise.

Na terceira e última etapa, os resultados obtidos com a avaliação da qualidade das AIRs foram analisados e descritos no trabalho.

4. ANÁLISE E DISCUSSÃO DOS RESULTADOS

A análise e discussão dos resultados foram realizadas por meio da avaliação da qualidade de um conjunto de 21 AIRs elaboradas por agências reguladoras federais brasileiras. Entre as 11 agências, apenas a Anvisa, Ancine e ANM não tiveram AIRs avaliadas. Essas agências não aprovaram políticas regulatórias, no período de 15 de abril a 31 de dezembro de 2021, que tenham seguido os novos conceitos e práticas previstos na legislação brasileira para a condução da AIR (Quadro 2).

QUADRO 2
QUANTIDADE DE AIRS AVALIADAS POR AGÊNCIA REGULADORA^(a)

O instrumento de avaliação foi aplicado e os resultados foram apresentados em sete subseções, explicadas a seguir: i) análise e definição do problema; ii) definição de objetivos; iii) identificação de alternativas regulatórias; iv) análise dos impactos das alternativas; v) comparação das alternativas; vi) indicação da melhor alternativa; e vii) transparência e participação social.

i) Análise e definição do problema

A adequada análise e definição do problema pode ser considerada a etapa mais importante na formulação de uma política regulatória (Nweke, 2011). Quando um problema é analisado, a situação indesejada deve ser compreendida profundamente para que a intervenção seja efetiva, justificada e direcionada para problemas reais e legítimos para a sociedade (Souto-Otero, 2013).

Os resultados da avaliação mostraram que a análise e definição do problema não foram negligenciadas pelas agências reguladoras brasileiras, mas se mostraram mais robustas em alguns aspectos do que em outros (Tabela 1).

TABELA 1
PONTUAÇÃO - ANÁLISE E DEFINIÇÃO DO PROBLEMA

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
1. Definição do problema	Dudley et al. (2017); Souto-Otero (2013)	2,57	51,4%	1,12
2. Natureza (falha de mercado, falha regulatória etc.)	Dudley et al. (2017); Ellig e Mclaughlin (2012)	0,48	9,5%	1,08
3. Uso de evidências	Dudley et al. (2017); Ellig e Mclaughlin (2012)	1,14	22,9%	1,59
4. Experiência internacional	Decreto nº 10.411, de 30 de junho de 2020	0,57	11,4%	1,25
5. Incertezas sobre o problema	Ellig e Mclaughlin (2012)	0,00	0,0%	0,00
6. Mapeamento de causas	Mota et al. (2020); Snowdon, Schultz, e Swinburn (2008)	0,81	16,2%	1,47
7. Identificação da causa raiz	Mota et al. (2020); Snowdon et al. (2008)	0,38	7,6%	1,20
8. Mapeamento de consequências	Mota et al. (2020); Snowdon et al. (2008)	0,95	19,0%	1,53
9. Tendências de evolução do problema	Dudley et al. (2017)	0,43	8,6%	0,98
10. Mapeamento dos atores afetados	Staroňová	2,57	51,4%	1,12
11. Distribuição dos efeitos sobre cada grupo afetado	Staroňová et al. (2007)	1,10	21,9%	1,73
12. Base legal	Decreto nº 10.411, de 30 de junho de 2020	4,43	88,6%	0,98

• Fonte: Elaborada pelos autores.

Em todos os relatórios de AIR avaliados, verificou-se uma seção dedicada à compreensão da situação indesejada. Em geral, houve importantes esforços para delimitar e definir os problemas sobre os quais se pretendia agir. No entanto, alguns reguladores tiveram compreensões incorretas do problema como “a falta de regulamento” ou “a necessidade de regulamentação”. Nessas situações, os reguladores confundiram o problema com uma alternativa de solução - a regulamentação. Alguns também apresentaram longas contextualizações do problema sem delimitá-los claramente.

De maneira geral, os reguladores não mostraram familiaridade com o conceito de natureza do problema. Poucas AIRs apresentaram algum nível de discussão sobre falhas de mercado ou falhas regulatórias. As boas práticas recomendam a identificação dessas falhas para que as agências compreendam o problema, entendam a necessidade de atuação sobre ele e possam promover regulações efetivas em termos econômicos e de bem-estar (Dudley et al., 2017; Ellig & Mclaughlin, 2012).

Outro ponto que requer aperfeiçoamento por parte das agências brasileiras é a utilização de evidências sobre o problema identificado. A investigação indicou que o uso de evidências foi incipiente nas AIRs avaliadas. Em geral, os reguladores discorreram sobre o próprio entendimento da situação indesejada que pretendiam enfrentar (problema) e utilizaram poucos dados e evidências que embasassem seus pontos de vista. Nem mesmo a busca por dados e informações sobre experiências internacionais foi utilizada de modo sistemático. Tendo em vista o baixo aporte de evidências nas AIRs, teria sido oportuna a realização de análise de incerteza sobre os problemas (Ellig & Mclaughlin, 2012), porém, em nenhuma das AIRs avaliadas as incertezas foram objetivamente abordadas.

A análise e a definição do problema, quando adequadamente desenvolvidas, passam pela identificação de suas causas e consequências. Muitas vezes, políticas são fundamentadas na análise dos fatores que causam o problema e nas consequências que eles geram. O desenvolvimento de um diagrama ou de uma árvore de problema pode ser fundamental nesse processo (Mota et al., 2020; Snowdon et al., 2008).

Nas AIRs brasileiras, verificou-se que os reguladores raramente lançaram mão de diagramas de problemas para ilustrar as causas, causas raiz e consequências do problema que pretendiam enfrentar. Na maior parte das vezes, as causas e consequências foram timidamente exploradas. Também se mostraram raras e frágeis as análises sobre tendências de evolução do problema, fundamentais para orientar a urgência e a necessidade de atuação por parte do regulador.

Apesar da fragilidade nas análises sobre as consequências do problema, os reguladores brasileiros fizeram bons mapeamentos dos atores sobre os quais os efeitos do problema recaíram. Verificou-se que a identificação dos atores afetados foi um elemento presente em todas as AIRs investigadas. Nas melhores análises, os reguladores reconheceram os diferentes atores e discorreram sobre como os efeitos do problema atingiram cada um deles. Nas avaliações de menor qualidade, os reguladores apenas listaram os grupos de atores, por meio de nomenclaturas genéricas que não permitiram a exata compreensão de quem representavam. Termos como “usuários”, “áreas da agência envolvidas com assunto” e “investidores” foram encontrados.

Por fim, o último critério relacionado com a análise e a definição do problema refere-se à base legal. Trata-se da identificação dos dispositivos legais que amparam a atuação governamental sobre o problema identificado. Em geral, esse critério foi muito bem avaliado nas AIRs brasileiras. Verificou-se, como regra, que houve citação e explicação das leis, dos regulamentos e dos dispositivos relacionados com a competência institucional para atuação sobre os problemas. A boa qualidade da AIR nesse aspecto impede que reguladores desperdicem tempo e esforço para disciplinar problemas sobre os quais não têm competência legal para atuar.

ii) Definição de objetivos

Depois de identificar o problema que precisa ser enfrentado, o regulador deve realizar a definição dos objetivos da intervenção. Essa etapa pode ser a transformação da declaração negativa do problema em uma declaração positiva de objetivos (Snowdon et al., 2008), que precisam ser claros e mensuráveis para que orientem a formulação da política (Souto-Otero, 2013).

A definição de objetivos foi encontrada em quase todas as 21 AIRs brasileiras avaliadas. Em apenas uma, o objetivo da intervenção não foi apresentado. De modo geral, os objetivos foram descritos com clareza e estavam conectados ao problema. Essa lógica, seguida pelos reguladores brasileiros, é importante para assegurar que a consecução dos objetivos promova o enfrentamento, a mitigação ou a eliminação do problema.

Apesar de a definição de objetivos ter cumprido, de maneira geral, o seu papel nas AIRs avaliadas, a pontuação apresentada na Tabela 2 mostra que a qualidade da informação prestada poderia ter sido maior. Especialmente quando o problema não foi bem definido, o regulador lançou mão de verbos genéricos e não mensuráveis para determinar os objetivos da intervenção. Em algumas AIRs, eles foram estabelecidos com base em expressões como “aprimorar a consistência”, “manter ambiente regulatório propício” ou “otimizar esforços”. São objetivos que permitem várias interpretações e estão sujeitos a ambiguidades, o que pode levar ao desenvolvimento de políticas pouco efetivas, distanciadas dos problemas e de difícil monitoramento de resultados.

TABELA 2
PONTUAÇÃO - DEFINIÇÃO DE OBJETIVOS

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
13. Definição de objetivos	Snowdon et al. (2008); Souto-Otero (2013)	2,67	53,3%	1,15
14. Conexão dos objetivos com o problema	Mota et al. (2020); Souto-Otero (2013)	3,24	64,8%	1,55
15. Mensuração dos objetivos	Souto-Otero (2013)	1,52	30,5%	0,93

• Fonte: Elaborada pelos autores.

iii) Identificação de alternativas regulatórias

Ao se definirem os objetivos de uma intervenção, a tendência é que seja considerada apenas a regulamentação para alcançá-los (Hepburn, 2006). No entanto, um mesmo objetivo pode ser atingido por vários caminhos. Na AIR, cabe ao regulador identificar todas as alternativas viáveis (Souto-Otero, 2013).

Nesse processo, além de considerar diferentes possibilidades de regulamentação, os reguladores devem pensar em alternativas não normativas - formas regulatórias mais flexíveis e menos prescritivas do que a regulamentação tradicional (Hepburn, 2006). O regulador também deve considerar a possibilidade de “não agir”. Uma intervenção só deverá ser considerada se for superior à alternativa de não fazer nada (Mazzocchi, Ragona, & Zanoli., 2013).

Em todas as AIRs avaliadas na presente pesquisa, as agências brasileiras apresentaram alternativas regulatórias para alcançar os objetivos almejados. Conforme indica a pontuação apresentada na Tabela 3, o uso da alternativa de “não agir” foi mais consistente do que o uso de alternativas não normativas. A principal limitação ao uso da opção “não agir” foi sua eliminação precoce. Alguns reguladores excluíram essa possibilidade com base em argumentações superficiais. No caso das alternativas não normativas, a principal fragilidade foi o seu pouco uso nas AIRs investigadas. Nas raras vezes em que o regulador previu alternativas não normativas, elas foram eliminadas precocemente ou foram apresentadas apenas como medidas complementares à regulamentação tradicional.

TABELA 3
PONTUAÇÃO - IDENTIFICAÇÃO DE ALTERNATIVAS REGULATÓRIAS

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
16. Identificação de alternativas	Ellig e Mclaughlin (2012); Souto-Otero (2013)	3,10	61,9%	0,94
17. Alternativas não normativas	Hepburn (2006)	1,14	22,9%	1,62
18. Alternativa de “não agir”	Mazzocchi et al. (2013)	2,81	56,2%	1,33
19. Análise de risco das alternativas	Hepburn (2006)	0,05	1,0%	0,22

• Fonte: Elaborada pelos autores.

Também foi possível perceber que a linguagem utilizada pelos reguladores brasileiros nos relatórios de AIR foi voltada para a regulamentação tradicional. Nos textos, identificou-se baixa disposição para a adoção de alternativas regulatórias mais flexíveis. A preferência dos reguladores por normatizações conhecidas e tradicionais já foi identificada em estudos anteriores, que avaliaram a qualidade da AIR em outros países (Posner, 2003; Radchenko & Parshina, 2014; Russel & Turnpenny, 2009). De acordo com Hepburn (2006), essa preferência pode ocorrer pela percepção de risco que os reguladores têm do processo. Eles não conhecem muitas experiências exitosas de regulação diferentes da tradicional, têm pouca informação sobre o uso dessas alternativas e têm receio de que o governo perca o controle sobre o problema caso não adote medidas regulatórias convencionais.

Para lidar com essa aversão do regulador ao risco, a boa prática em AIR propõe o uso de ferramentas de análise de risco das alternativas. Por meio do levantamento de informações sobre o risco, objetiva-se superar as limitações e preocupações dos reguladores (Hepburn, 2006). Apesar de sua importância, a análise de risco das alternativas foi um aspecto pouco considerado nas AIRs avaliadas. A dificuldade dos reguladores em considerar alternativas regulatórias foi imperativa no processo e prejudicou a qualidade das análises feitas pelas agências brasileiras.

iv) Análise dos impactos das alternativas

Caso sejam implementadas, cada alternativa regulatória deverá impor diferentes impactos à sociedade. A AIR deve incluir uma análise sólida que apresente um panorama completo dos efeitos prejudiciais e benéficos de cada alternativa. Ela deve explicar como cada alternativa contribuirá para o alcance dos objetivos regulatórios (benefícios) e quais custos serão gerados para o cumprimento dos requisitos estabelecidos. É fundamental que sejam apresentadas as evidências que sustentam a análise (Dudley et al., 2017).

Em estudos anteriores sobre avaliação da qualidade da AIR, os autores consideraram que os impactos sociais, ambientais, econômicos e sobre os custos de cumprimento da regulação foram os mais importantes para a qualidade na AIR (Fritsch et al., 2013; Russel & Turnpenny, 2009; Staroňová, 2010). No caso do Brasil, diretrizes governamentais sugerem ainda que impactos sobre microempresas e pequenas empresas; concorrência e competitividade; comércio internacional; segurança e orçamento público sejam incluídos na análise (Ministério da Economia, 2021).

Conforme mostra a Tabela 4, as AIRs desenvolvidas por agências reguladoras brasileiras foram frágeis na abrangência dos impactos considerados. Foram residuais as análises que consideraram os efeitos sobre a economia, a saúde e o meio ambiente. A repercussão sobre a concorrência e a competitividade; a segurança; as microempresas e pequenas empresas; o comércio internacional e o orçamento público, ainda que esteja explícita nas diretrizes do governo brasileiro, não foi apurada adequadamente.

As AIRs realizadas no Brasil consideraram, em geral, dois tipos de impacto. Os custos regulatórios - aqueles decorrentes do cumprimento de obrigações impostas pela regulação - e outros impactos. Em “outros impactos” foram classificados aqueles mais específicos, como “atendimento de clientes”, “participação na gestão da concessão” e “conciliação de interesses”. Outro ponto de fragilidade encontrado nas AIRs foi o raro uso de evidências na análise desses impactos. Os reguladores, em geral, utilizaram-se de meras expectativas de impacto, desenvolvidas por meio de argumentos simplistas e pouco apoiados por evidências.

TABELA 4
PONTUAÇÃO - ANÁLISE DOS IMPACTOS DAS ALTERNATIVAS

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
20. Impacto sobre os custos regulatórios	Fritsch et al. (2013); Staroňová (2010)	1,14	22,9%	1,15
21. Impacto sobre a economia	Souto-Otero (2013); Staroňová (2010)	0,14	2,9%	0,48
22. Impacto sobre a saúde	Souto-Otero (2013); Staroňová (2010)	0,14	2,9%	0,48
23. Impacto sobre a segurança	Souto-Otero (2013); Staroňová (2010)	0,25	5,0%	0,72
24. Impacto sobre o meio ambiente	Fritsch et al. (2013); Staroňová (2010)	0,29	5,7%	0,72
25. Impacto sobre a concorrência e a competividade	Ministério da Economia (2021)	0,24	4,8%	0,77
26. Impacto sobre as microempresas e pequenas empresas	Ministério da Economia (2021)	0,14	2,9%	0,48
27. Impacto sobre o comércio internacional	Ministério da Economia (2021)	0,00	0,0%	0,00
28. Impacto sobre o orçamento público	Ministério da Economia (2021)	0,43	8,6%	1,12
29. Outros impactos	Jacobs (2004)	2,33	46,7%	1,06
30. Evidências sobre o impacto das alternativas	Dudley et al. (2017)	0,90	18,1%	1,18

• Fonte: Elaborada pelos autores.

v) Comparação das alternativas

A comparação das alternativas, com base nos impactos apurados, deve seguir métodos consistentes que avaliem todos os efeitos positivos e negativos importantes para as tomadas de decisão (Jacobs, 2004). É possível compará-las por meio do adequado uso de métodos quantitativos de análise, como custo-benefício, multicritério e custo-efetividade (Aquila et al., 2019). Também pode-se lançar mão de métodos qualitativos de comparação desde que sejam adotados procedimentos de maximização da consistência das análises (Jacobs, 2004).

Um elemento-chave para orientar a comparação de alternativas é a apresentação da alternativa de “não agir” como linha de base. Isso significa que as diferenças entre a linha de base e as mudanças incrementais impostas por cada alternativa indicarão as melhores alternativas regulatórias disponíveis (Dudley et al., 2017).

Conforme ilustra a Tabela 5, o uso da linha de base foi uma prática negligenciada nas AIRs investigadas. Além disso, em apenas alguns casos, foram usados métodos comparativos consistentes. A justificativa de escolha dos métodos também não foi apresentada sistematicamente.

TABELA 5
PONTUAÇÃO - COMPARAÇÃO DAS ALTERNATIVAS

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
31. Alternativa de “não ação” como linha de base	Dudley et al. (2017); Ellig e Mclaughlin (2012)	0,15	3,0%	0,49
32. Método de comparação das alternativas	Ellig e Mclaughlin (2012); Mazzocchi et al. (2013)	0,90	18,1%	1,64
33. Justificativa para a escolha do método	Decreto nº 10.411, de 30 de junho de 2020	0,38	7,6%	1,16
34. Custos ou desvantagens das alternativas	Mazzocchi et al. (2013); Staroňová (2010)	1,86	37,1%	0,96
35. Quantificação dos custos ou desvantagens das alternativas	Dudley et al. (2017)	0,43	8,6%	1,08
36. Benefícios ou vantagens das alternativas	Mazzocchi et al. (2013); Staroňová (2010)	1,86	37,1%	0,96
37. Quantificação dos benefícios ou vantagens das alternativas	Dudley et al. (2017)	0,43	8,6%	1,08
38. Atualização dos custos (desvantagens) e benefícios (vantagens) por meio de taxa de desconto	Belfield et al. (2019)	0,00	0,0%	0,00
39. Análise de sensibilidade das alternativas	Dudley et al. (2017)	0,14	2,9%	0,65

• Fonte: Elaborada pelos autores.

Como regra, os reguladores brasileiros realizaram a comparação de alternativas com base em tabelas ou textos que indicavam entendimento próprio sobre as vantagens e desvantagens de cada alternativa. Esses procedimentos foram classificados, por muitos reguladores, como “método qualitativo” de comparação de alternativas. Nesse aspecto, é importante destacar que essas comparações foram conduzidas, muitas vezes, sem nenhum rigor metodológico e classificadas equivocadamente como “qualitativas”. O risco de a flexibilização metodológica acarretar análises desprovidas de método já tinha sido alertado por Jacobs (2004) e por Lussis (2004). Se as agências brasileiras desejam utilizar métodos qualitativos para comparação de alternativas, devem adotar procedimentos de coleta e de análise de dados que deem consistência aos resultados.

Quanto à utilização de métodos quantitativos para a comparação de alternativas, a prática se mostrou incipiente. O mais usado foi a análise multicritério, mas sem um padrão metodológico. Alguns reguladores aplicaram a análise multicritério com rigor e precisão, enquanto outros classificaram análises muito simples como multicritério. Em razão do uso infrequente de métodos quantitativos, a Tabela 5 mostra que as pontuações de qualidade das AIRs relativas aos critérios de quantificação e o uso de taxa de desconto e análise de sensibilidade mostraram-se muito baixas. Os relatórios indicaram que as agências ainda não apresentavam a maturidade necessária para a utilização de métodos quantitativos com consistência.

vi) Indicação da melhor alternativa

A indicação da melhor alternativa é o resultado direto da análise dos impactos e da comparação entre diferentes alternativas. No escopo da AIR, uma alternativa é recomendada ao tomador de decisão quando é identificada como superior às demais (Ellig & Mclaughlin, 2012).

TABELA 6
PONTUAÇÃO - INDICAÇÃO DA MELHOR ALTERNATIVA

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
40. Recomendação da melhor alternativa	Ellig e Mclaughlin (2012)	3,10	61,9%	0,70
41. Riscos e efeitos esperados com a adoção da melhor alternativa	Decreto nº 10.411, de 30 de junho de 2020	0,90	18,1%	1,37
42. Indicadores para monitoramento e avaliação	Souto-Otero (2013); Staroňová (2010)	1,29	25,7%	1,74
43. Fontes dos dados dos indicadores para monitoramento e avaliação	Ellig e Mclaughlin (2012)	0,71	14,3%	1,45
44. Estratégia para implementação	Decreto nº 10.411, de 30 de junho de 2020	1,38	27,6%	1,16

• Fonte: Elaborada pelos autores.

A recomendação da melhor alternativa regulatória esteve presente em todos os relatórios de AIR avaliados. De modo geral, os reguladores brasileiros concluíram o racional de comparação das alternativas dando destaque àquela que se mostrou mais vantajosa para a sociedade. No entanto, é importante destacar que, em alguns casos, os argumentos que apoiaram a escolha da melhor alternativa não tiveram a consistência e a clareza esperadas. As incompletudes nas etapas de análise de impactos e de comparação de alternativas acarretaram recomendações pouco embasadas.

Além disso, a Tabela 6 mostra que os reguladores brasileiros prestaram informações com limitado alcance quanto à indicação dos riscos e efeitos esperados com a adoção da melhor alternativa, bem como mostraram fragilidade nas informações sobre sua implementação, monitoramento e avaliação.

vii) Transparência e participação social

Ao longo de todas as etapas da AIR, os reguladores podem se deparar com lacunas de conhecimento e informações para o desenvolvimento de análises robustas e criteriosas. Em razão disso, uma AIR de qualidade precisa adotar procedimentos sistemáticos de coleta e análise de dados para que apresente resultados realistas e úteis ao tomador de decisão (Kirkpatrick, Parker, & Zhang, 2004).

Além disso, cabe ao regulador encorajar a sociedade a comentar criticamente a AIR (Ballantine & Devonald, 2006). Quando a participação social é efetiva e diferentes pontos de vista são considerados na análise, alcança-se maior credibilidade e legitimidade e as chances de a política regulatória atingir os seus objetivos aumentam (Radaelli, 2004). Além disso, para que a sociedade participe, é fundamental que o processo de AIR seja transparente. Os relatórios e documentos relacionados com a análise devem ser públicos e elaborados com linguagem simples e acessível (Saab & Silva, 2021a).

Conforme mostra a Tabela 7, a transparência mostrou-se como um elemento bem avaliado nas AIRs investigadas. As pontuações obtidas com a acessibilidade aos relatórios e com a facilidade de leitura das informações foram altas. A maioria dos relatórios foi encontrada nos sites das agências reguladoras e a linguagem adotada mostrou-se adequada para a compreensão da sociedade. Nesse aspecto, melhor estruturação dos sumários executivos foi a oportunidade de melhoria identificada. Por vezes, eles foram utilizados para introduzir o conteúdo do relatório, e não para sumarizar seus principais achados.

TABELA 7
PONTUAÇÃO - TRANSPARÊNCIA E PARTICIPAÇÃO SOCIAL

Critérios	Literatura de Suporte	Pontuação Média (n = 21)	(%)	Desvio Padrão
45. Relatório de AIR publicado nos sites das agências	Ellig e Mclaughlin (2012)	4,71	94,3%	0,72
46. AIR compreensível para cidadão leigo	Ellig e Mclaughlin (2012)	3,95	79,0%	0,80
47. Sumário executivo	Decreto nº 10.411, de 30 de junho de 2020	2,36	47,3%	1,62
48. Participação social durante a AIR	Ballantine e Devonald (2006); Radaelli (2004)	1,86	37,1%	1,65
49. Participação dos grupos afetados na AIR	Staroňová et al. (2007)	1,43	28,6%	1,69
50. Contribuições sobre a AIR recebidas e analisadas	Staroňová (2010); Staroňová et al. (2007)	0,90	18,1%	1,45

• Fonte: Elaborada pelos autores.

Quanto à participação da sociedade, foram identificados alguns aspectos que precisam de aperfeiçoamento. Em alguns casos, os reguladores promoveram a participação da sociedade após a conclusão da AIR, por meio de consultas públicas sobre minutas de regulamentos. Trata-se de momento tardio. Quando a participação ocorre quando já há um posicionamento do governo, a chance de que outros pontos de vista sejam considerados na regulação é mais baixa (Saab, Bermejo, Garcia, Pereira, & Silva, 2018).

Além disso, não foram raros os casos em que a participação foi restrita a áreas e departamentos da própria agência reguladora. Não houve uma preocupação sistemática dos reguladores em assegurar que os grupos afetados pelo problema fossem ouvidos. Além disso, mesmo quando receberam contribuições da sociedade, os reguladores raramente apresentaram análises e justificativas para suas decisões de aceitá-las ou rejeitá-las.

5. CONSIDERAÇÕES FINAIS

Este trabalho deu prosseguimento a estudos anteriores e avaliou a qualidade de um conjunto de 21 AIRs elaboradas por agências reguladoras federais brasileiras, por meio do desenvolvimento e da aplicação de instrumento de avaliação com 50 critérios de qualidade.

Os resultados da avaliação mostraram que as AIRs desenvolvidas no Brasil foram adequadas em alguns aspectos e frágeis em outros. A definição do problema regulatório e dos objetivos da intervenção apresentou boa qualidade, bem como a transparência do processo, que também recebeu boas pontuações. Por outro lado, os resultados indicaram fragilidades importantes, em especial na averiguação de impactos e na comparação de alternativas regulatórias. Os impactos considerados na análise foram limitados e os métodos utilizados para a comparação de alternativas foram pouco consistentes.

Algumas hipóteses podem ser levantadas para explicar a ausência de padrão analítico nas AIRs realizadas no Brasil. A capacidade técnica insuficiente para conduzir análises de impacto sofisticadas pode explicar as limitações e fragilidades metodológicas encontradas. Além disso, grupos de interesse podem ter influenciado a qualidade da AIR, por meio de pressão e resistência à sua utilização em determinados contextos. Da mesma forma, o compromisso político com a condução da AIR pode ter variado, de acordo com os interesses envolvidos nas propostas regulatórias em análise. Por fim, a recente institucionalização da AIR no país pode ter gerado desconfianças e dúvidas quanto ao seu uso, que precisariam ser superadas para o alcance de um padrão desejado de qualidade nas análises.

Pesquisas futuras que investiguem, em profundidade, as hipóteses levantadas poderão contribuir com a construção de conhecimento sobre o tema. A realização de entrevistas com atores envolvidos na implementação e condução de AIRs no Brasil pode proporcionar percepções e dados esclarecedores sobre os fatores explicativos da qualidade da AIR no país.

Os resultados da presente pesquisa podem contribuir para que gestores e servidores públicos conheçam os aspectos de maior e menor qualidade na prática de AIR no país. Recursos e esforços poderão ser direcionados para treinamento e capacitação de reguladores de forma mais efetiva. Adicionalmente, o instrumento de avaliação proposto nesta pesquisa pode ser adotado pelos órgãos da administração pública para aferir qualidade e promover melhorias nas análises de impacto.

Do ponto de vista teórico, esta pesquisa agregou conhecimento aos estudos anteriores, que avaliaram a qualidade da AIR em todo o mundo e confirmou a necessidade de melhorias nas análises. Além disso, foi apresentado um novo instrumento de avaliação, elaborado com base na literatura, que pode ser criticado e aperfeiçoado para que outras avaliações sejam realizadas em diferentes contextos e realidades.

REFERÊNCIAS

• Achtnicht, M., Rennings, K., & Hertin, J. (2009). Experiences with integrated impact assessment - empirical evidence from a survey in three European member states. Environmental Policy and Governance, 19(5), 321-335. Recuperado de https://doi.org/10.1002/eet.517
  » https://doi.org/10.1002/eet.517
• Adelle, C., Weiland, S., Dick, J., Olivo, D. G., Marquardt, J., Rots, G., … Zasada, I. (2016). Regulatory impact assessment: a survey of selected developing and emerging economies. Public Money and Management, 36(2), 89-96. Recuperado de https://doi.org/10.1080/09540962.2016.1118930
  » https://doi.org/10.1080/09540962.2016.1118930
• Aquila, G., Pamplona, E. O., Ferreira, J. A. Filho, Silva, A. S., Mataveli, J. V. A., Correa, J. E., ... Garcia, G. C. (2019, agosto). Quantitative regulatory impact analysis: Experience of regulatory agencies in Brazil. Utilities Policy, 59, 100931. Recuperado de https://doi.org/10.1016/j.jup.2019.100931
  » https://doi.org/10.1016/j.jup.2019.100931
• Ballantine, B., & Devonald, B. (2006). Modern regulatory impact analysis: the experience of the European Union. Regulatory Toxicology and Pharmacology, 44(1), 57-68. Recuperado de https://doi.org/10.1016/j.yrtph.2005.06.016
  » https://doi.org/10.1016/j.yrtph.2005.06.016
• Belfield, C. R., Bowden, A. B., & Rodriguez, V. (2019). Evaluating Regulatory Impact Assessments in Education Policy. American Journal of Evaluation, 40(3), 335-353. Recuperado de: https://doi.org/10.1177/1098214018785463
  » https://doi.org/10.1177/1098214018785463
• Bourges, F. (2020). Digital public administration as expansion and redemption of citizen participation - the Brazilian system Fala.Br. Revue Internationale Des Gouvernements Ouverts, 9, 149-164.
• Carroll, P. (2010). Does regulatory impact assessment lead to better policy? Policy and Society, 29(2), 113-122. Recuperado de https://doi.org/10.1016/j.polsoc.2010.03.009
  » https://doi.org/10.1016/j.polsoc.2010.03.009
• Carvalho, B. E., Costa, A. S., Marques, R. C., & Cordeiro O, Netto. (2019, agosto). The presence of governance: a system assessment based on innovative core regulatory principles for Brazilian regulators. Expert Systems, 36(4), e12406. Recuperado de https://doi.org/10.1111/exsy.12406
  » https://doi.org/10.1111/exsy.12406
• Castro, C. M. (2014). Some aspects of implementing Regulatory Impact Analysis in Brazil. Revista de Administração Pública, 48(2), 323-342. Recuperado de https://doi.org/10.1590/0034-76121359
  » https://doi.org/10.1590/0034-76121359
• Daskal, S., Ayalon, O., & Shechter, M. (2019, março). Closing the Loop: the Challenges of Regulation in Municipal Solid Waste Management. Detritus, 5, 3-10. Recuperado de https://doi.org/10.31025/2611-4135/2019.13775
• Decreto nº 10.411, de 30 de junho de 2020 (2020). Regulamenta a análise de impacto regulatório, de que tratam o art. 5º da Lei nº 13.874, de 20 de setembro de 2019, e o art. 6º da Lei nº 13.848, de 25 de junho de 2019. Brasília, DF. Recuperado dehttp://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10411.htm
  » http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10411.htm
• Desmarais, B. A., & Hird, J. A. (2014). Public policy’s bibliography: the use of research in US regulatory impact analyses. Regulation and Governance, 8(4), 497-510. Recuperado de https://doi.org/10.1111/rego.12041
  » https://doi.org/10.1111/rego.12041
• Dudley, S., Belzer, R., Blomquist, G., Brennan, T., Carrigan, C., Cordes, J., … Zerbe, R. (2017). Consumer’s guide to regulatory impact analysis: ten tips for being an informed policymaker. Journal of Benefit-Cost Analysis, 8(2), 187-204. Recuperado dehttps://doi.org/10.1017/bca.2017.11
  » https://doi.org/10.1017/bca.2017.11
• Ellig, J., & Mclaughlin, P. A. (2012). The Quality and use of regulatory analysis in 2008. Risk Analysis, 32(5), 855-880. Recuperado de https://doi.org/10.1111/j.1539-6924.2011.01715.x
  » https://doi.org/10.1111/j.1539-6924.2011.01715.x
• Ellig, J., Mclaughlin, P. A., & Morrall, J. F. (2013). Continuity, change, and priorities: the quality and use of regulatory analysis across US administrations. Regulation and Governance, 7(2), 153-173. Recuperado de https://doi.org/10.1111/j.1748-5991.2012.01149.x
  » https://doi.org/10.1111/j.1748-5991.2012.01149.x
• Francesco, F. (2012). Diffusion of regulatory impact analysis among OECD and EU Member States. Comparative Political Studies, 45(10), 1277-1305. Recuperado de https://doi.org/10.1177/0010414011434297
  » https://doi.org/10.1177/0010414011434297
• Fritsch, O., Radaelli, C. M., Schrefler, L., & Renda, A. (2013). Comparing the content of regulatory impact assessments in the UK and the EU. Public Money and Management, 33(6), 445-452. Recuperado dehttps://doi.org/10.1080/09540962.2013.836007
  » https://doi.org/10.1080/09540962.2013.836007
• Hahn, R. W., Burnett, J. K., Chan, Y. H. I., Mader, E. A., & Moyle, P. R. (2000). Assessing regulatory impact analyses: the failure of agencies to comply with executive order 12,866. Harvard Journal of Law and Public Policy, 23(3), 859-885.
• Hepburn, G. (2006). Alternatives do Traditional Regulation Recuperado de https://www.oecd.org/gov/regulatory-policy/42245468.pdf
  » https://www.oecd.org/gov/regulatory-policy/42245468.pdf
• Jacobs, S. (2004). Regulatory impact assessment and the economic transition to markets. Public Money and Management, 24(5), 283-290. Recuperado dehttps://doi.org/10.1111/j.1467-9302.2004.00435.x
  » https://doi.org/10.1111/j.1467-9302.2004.00435.x
• Kirkpatrick, C., Parker, D., & Zhang, Y. F. (2004). Regulatory impact assessment in developing and transition economies: a survey of current practice. Public Money and Management, 24(5), 291-296. Recuperado dehttps://doi.org/10.1111/j.1467-9302.2004.00436.x
  » https://doi.org/10.1111/j.1467-9302.2004.00436.x
• Lei nº 13.848, de 25 de junho de 2019 (2019). Dispõe sobre a gestão, a organização, o processo decisório e o controle social das agências reguladoras, altera a Lei nº 9.427, de 26 de dezembro de 1996, a Lei nº 9.472, de 16 de julho de 1997, a Lei nº 9.478, de 6 de agosto de 1997, a Lei nº 9.782, de 26 de janeiro de 1999, a Lei nº 9.961, de 28 de janeiro de 2000, a Lei nº 9.984, de 17 de julho de 2000, a Lei nº 9.986, de 18 de julho de 2000, a Lei nº 10.233, de 5 de junho de 2001, a Medida Provisória nº 2.228-1, de 6 de setembro de 2001, a Lei nº 11.182, de 27 de setembro de 2005, e a Lei nº 10.180, de 6 de fevereiro de 2001. Brasília, DF. Recuperado de http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/l13848.htm
  » http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/l13848.htm
• Lei nº 13.874, de 20 de setembro de 2019 (2019). Institui a Declaração de Direitos de Liberdade Econômica; estabelece garantias de livre mercado; altera as Leis nos 10.406, de 10 de janeiro de 2002 (Código Civil), 6.404, de 15 de dezembro de 1976, 11.598, de 3 de dezembro de 2007, 12.682, de 9 de julho de 2012, 6.015, de 31 de dezembro de 1973, 10.522, de 19 de julho de 2002, 8.934, de 18 de novembro 1994, o Decreto-Lei nº 9.760, de 5 de setembro de 1946 e a Consolidação das Leis do Trabalho, aprovada pelo Decreto-Lei nº 5.452, de 1º de maio de 1943; revoga a Lei Delegada nº 4, de 26 de setembro de 1962, a Lei nº 11.887, de 24 de dezembro de 2008, e dispositivos do Decreto-Lei nº 73, de 21 de novembro de 1966; e dá outras providências. Brasília, DF. Recuperado dehttp://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/L13874.htm
  » http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/L13874.htm
• Livermore, M. A., & Revesz, R. L. (2013). Can executive review help prevent capture? In D. Carpenter, & D. A.Moss(Eds.), Preventing Regulatory Capture: special interest influence and how to limit it (pp. 420-450). Campridge, UK: Campridge University Press.
• Lussis, B. (2004, dezembro). EU extended impact assessment review(Working Paper, 9). Sombreffe, Belgique: Institut Pour Un Développement Durable.
• Mazzocchi, M., Ragona, M., & Zanoli, A. (2013). A fuzzy multi-criteria approach for the ex-ante impact assessment of food safety policies. Food Policy, 38(1), 177-189. Recuperado dehttps://doi.org/10.1016/j.foodpol.2012.11.011
  » https://doi.org/10.1016/j.foodpol.2012.11.011
• Ministério da Economia. (2021). Guia para Elaboração de Análise de Impacto Regulatório (AIR) Recuperado de https://www.gov.br/mma/pt-br/acesso-a-informacao/analise-de-impacto-regulatorio-2013-air-1/guia-para-elaboracao-de-air-2021_vdefeso.pdf
  » https://www.gov.br/mma/pt-br/acesso-a-informacao/analise-de-impacto-regulatorio-2013-air-1/guia-para-elaboracao-de-air-2021_vdefeso.pdf
• Mota, D., Saab, F., Vazzoler, R., Schunig, K., Donagema, E., & Troncoso, G. (2020). Regulatory impact assessment in pandemic times: a practical exercise on the COVID-19 context. Revista do Serviço Público, 71, 165-88. Recuperado dehttps://doi.org/10.21874/rsp.v71i0.4824
  » https://doi.org/10.21874/rsp.v71i0.4824
• Nweke, O. C. (2011). A framework for integrating environmental justice in regulatory analysis. International Journal of Environmental Research and Public Health, 8(6), 2366-28385. Recuperado dehttps://doi.org/10.3390/ijerph8062366
  » https://doi.org/10.3390/ijerph8062366
• Peci, A. (2011). Avaliação do impacto regulatório e sua difusão no contexto brasileiro. Revista de Administração de Empresas, 51(4), 336-348. Recuperado dehttps://doi.org/10.1590/S0034-75902011000400003
  » https://doi.org/10.1590/S0034-75902011000400003
• Posner, E. A. (2003). Transfer regulations and cost-effectiveness analysis. Duke Law Journal, 53(3), 1067-1110. Recuperado de https://scholarship.law.duke.edu/dlj/vol53/iss3/3
  » https://scholarship.law.duke.edu/dlj/vol53/iss3/3
• Radaelli, C. M. (2004). The diffusion of regulatory impact analysis - best practice or lesson-drawing? European Journal of Political Research, 43(5), 723-477. Recuperado dehttps://doi.org/10.1111/j.0304-4130.2004.00172.x
  » https://doi.org/10.1111/j.0304-4130.2004.00172.x
• Radaelli, C. M. (2010). Rationality, power, management and symbols: four images of regulatory impact assessment. Scandinavian Political Studies, 33(2), 164-188. Recuperado dehttps://doi.org/10.1111/j.1467-9477.2009.00245.x
  » https://doi.org/10.1111/j.1467-9477.2009.00245.x
• Radchenko, T., & Parshina, E. (2014). Regulatory impact assessment in Russia: Application and lessons from economic theory. Economic Policy, 3, 36-60.
• Russel, D., & Turnpenny, J. (2009). The politics of sustainable development in UK government: what role for integrated policy appraisal? Environment and Planning C: Government and Policy, 27(2), 340-354. Recuperado dehttps://doi.org/10.1068/c0810j
  » https://doi.org/10.1068/c0810j
• Saab, F., Bermejo, P. H. S., Garcia, G. C., Pereira, J. S., & Silva, S. A. M. (2018). Does public consultation encourage social participation? Journal of Enterprise Information Management, 31(5), 796-814. Recuperado de https://doi.org/10.1108/JEIM-11-2017-0169
  » https://doi.org/10.1108/JEIM-11-2017-0169
• Saab, F., & Silva, S. A. M. (2021a). Análise de impacto regulatório e prevenção da corrupção: um estudo exploratório sobre a AIR. Revista da CGU, 13(24), 167-179. Recuperado dehttps://doi.org/10.36428/revistadacgu.v13i24.451
  » https://doi.org/10.36428/revistadacgu.v13i24.451
• Saab, F., & Silva, S. A. M. (2021b). Evaluating the quality of regulatory impact analysis: a literature review. Revista do Serviço Público, 72, 34-57.
• Snowdon, W., Schultz, J., & Swinburn, B. (2008). Problem and solution trees: a practical approach for identifying potential interventions to improve population nutrition. Health Promotion International, 23(4), 345-53. Recuperado dehttps://doi.org/10.1093/heapro/dan027
  » https://doi.org/10.1093/heapro/dan027
• Souto-Otero, M. (2013). Is “better regulation” possible? Formal and substantive quality in the impact assessments in education and culture of the European Commission. Evidence and Policy, 9(4), 513-529. Recuperado de https://doi.org/10.1332/174426413X662725
  » https://doi.org/10.1332/174426413X662725
• Staroňová, K. (2010). Regulatory impact assessment: formal institutionalization and practice. Journal of Public Policy, 30(1), 117-36. Recuperado de https://doi.org/10.1017/S0143814X09990201
  » https://doi.org/10.1017/S0143814X09990201
• Staroňová, K. (2014). Analyzing scientific knowledge in documents: the case of regulatory impact assessment. Human Affairs, 24(3), 299-306. Recuperado dehttps://doi.org/10.2478/s13374-014-0228-7
  » https://doi.org/10.2478/s13374-014-0228-7
• Staroňová, K., Pavel, J., & Krapež, K. (2007). Piloting regulatory impact assessment: a comparative analysis of the Czech Republic, Slovakia and Slovenia. Impact Assessment and Project Appraisal, 25(4), 271-80. Recuperado dehttps://doi.org/10.3152/146155107X246314
  » https://doi.org/10.3152/146155107X246314
• Yin, R. K. (1994). Pesquisa estudo de caso - desenho e métodos (2a ed.). Porto Alegre, RS: Bookman.

• 1
  Lei nº 13.848, de 25 de junho de 2019 e Lei nº 13.874, de 20 de setembro de 2019.
• 2
  Decreto nº 10.411, de 30 de junho de 2020.

Editado por

Florence Cavalcanti Heber Pedreira de Freitas (Universidade Federal de Sergipe, São Cristóvão / SE - Brasil). ORCID: https://orcid.org/0000-0002-9498-3268

Elize Massard da Fonseca (Fundação Getulio Vargas, São Paulo / SP - Brasil). ORCID: https://orcid.org/0000-0003-3847-3105

Datas de Publicação

• Publicação nesta coleção
  09 Set 2022
• Data do Fascículo
  Jul-Aug 2022

Histórico

• Recebido
  04 Abr 2022
• Aceito
  07 Ago 2022