Monitoramento para avaliação do desempenho regulatório do Instituto Nacional de Metrologia, Qualidade e Tecnologia

Monitoreo para evaluación del desempeño regulatorio del Instituto Nacional de Metrología, Calidad y Teconlogía

Monitoring for the evaluation of regulatory performance of the Brazilian National Institute for Metrology, Quality and Technology

Resumos

O objetivo deste artigo é apresentar a sistemática de Monitoramento para Avaliação do Desempenho Regulatório do Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro), o Madri. Adotando como teoria de sustentação o mapa causa-e-efeito desenvolvido pela Ocde para avaliação do impacto regulatório, a pesquisa estruturou-se nas etapas de conhecimento prévio, coleta e análise das evidências, utilizando as estratégias de pesquisa bibliográfica, análise documental, entrevistas e aplicação de questionário. Constituído por perspectivas, condicionantes e parâmetros, o Madri - que pode ser reproduzido, com devidas adequações, a outras realidades regulatórias - tem o potencial, primeiramente, de induzir a gestão orientada por resultados, gerando aperfeiçoamento das regulamentações e fomentando aprendizagem, e, depois, mais amplamente, de reduzir a deficiência em avaliação ex post dos sistemas regulatórios nacionais.

políticas públicas; regulação; avaliação ex post ; Inmetro.

El objetivo de este trabajo es presentar la sistemática de Monitoreo para Evaluación del Desempeño Regulatorio del Instituto Nacional de Metrología, Calidad y Tecnología (Inmetro), el Madri. Adoptando como la teoría de apoyo el mapa de causa y efecto desarrollado por la Ocde para evaluar el impacto de la regulación, la investigación se ha estructurado en los pasos de conocimiento previo, recopilación y análisis de la evidencia, y ha utilizado las estrategias de revisión de la literatura, análisis de documentos, entrevistas y aplicación de cuestionario. Compuesto de perspectivas, restricciones y parámetros, el Madri - que puede ser reproducido, con debidos ajustes, a otras realidades regulatorias - tiene el potencial, ante todo, de inducir la gestión orientada por resultados, lo que genera la mejora de los reglamentos y el fomento del aprendizaje, y, después, más ampliamente, de reducir la deficiencia en evaluación ex post de los sistemas nacionales de reglamentación.

políticas públicas; regulation; avaliation ex post ; Inmetro.

The aim of this paper is to present the systematic Madri - Monitoring for Inmetro (Brazilian National Institute for Metrology, Quality, and Technology)'s Regulatory Performance Evaluation. Having the cause-and-effect map developed by Ocde as main theory to evaluate regulatory impact, the research was based on the steps of previous knowledge, evidence search and evidence analysis, using the strategies of bibliographic research, documental analysis, interviews and survey. Composed of perspectives, constraints and parameters, Madri - which can be reproduced, with certain adaptation, to other regulatory realities - has the potential, at first, to foster the management driven by results, generating regulation improvement and enhancing learning, and, then, in a broader way, to reduce the national regulatory system's deficiency in ex post evaluation.

public policies; regulation; ex post evaluation; Inmetro.

1. Introdução

Embora a atividade regulatória do governo, como hoje é conhecida, tenha nascido nos anos de 1960 e 1970, em particular, nos Estados Unidos e na Inglaterra, os debates no mundo em torno da regulação intensificaram-se na última década. Na virada do milênio, as novas discussões tratam da busca de métodos não tradicionais de regulação, como a autorregulação (self-regulation) ou a metarregulação (meta-regulation); mudança de tratamento regulatório, com ênfase ao cumprimento das regras (enforcement and compliance) e introdução de novas abordagens, como a regulação responsiva (responsive regulation) e inteligente (smart regulation); introdução da reforma regulatória e da regulação de qualidade (high quality regulation), também chamada melhor regulação (better regulation) (Baldwin et al., 2013).

Nesses últimos anos, no esforço da simplificação administrativa e do aprimoramento para a better regulation, em especial entre os países da Organização para Cooperação e Desenvolvimento Econômico (Ocde), a prática da avaliação regulatória ex post vem sendo mais amplamente implementada. Afinal, ela permite investigar se efeitos indesejáveis são gerados e se as regras continuam o meio mais eficiente de se atingir os objetivos, ampliando a convergência da regulamentação para os alvos desenhados. A pesquisa da Ocde identificou a progressiva consolidação, pelos países-membros, da forma com que novas regras são desenvolvidas e revistas (Ocde, 2009b).

A maior utilização da avaliação ex post, no entanto, não a aponta como matéria encerrada, sendo indicada como área com potencial de exploração para próximos estudos (Ocde, 2009b). Mesmo entre os membros da Ocde, nota-se o peso dado à adoção da Análise de Impacto Regulatório (AIR), notadamente ex ante, em detrimento das avaliações ex post. Para contornar esse quadro, são essenciais o desenvolvimento de indicadores para medir os resultados relevantes e o desenho de pesquisa para apoiar as inferências do desempenho regulatório (Ocde, 2012c).

Quando comparado com os indicadores obtidos entre os países-membros da Ocde, o retrato brasileiro revela lacuna na adoção da avaliação ex post pelos sistemas de gestão regulatória nacionais. São inexistentes, no Brasil, segundo pesquisa da Ocde, técnicas padronizadas para a atividade avaliativa e critérios para a revisão das regulações (Ocde, 2011).

A crescente importância dada à avaliação ex post correlaciona-se à gênese recente dos movimentos para melhoria da atividade regulatória, o que explica a incipiência, no mundo, ou inexistência, no caso brasileiro, da adoção de sistemáticas avaliativas das regulações. A crise financeira internacional, iniciada em 2007, acirrou as discussões entre os defensores da regulação e os adeptos à desregulação ou à regulação mais branda (light touch regulation) (Baldwin et al., 2013). Nesse contexto, surgiram os esforços dos diversos países para a simplificação administrativa, para a redução dos encargos impostos aos negócios e para o aprimoramento das regulações.

Considerando, portanto, a relevância da avaliação regulatória ex post e a necessidade de aprofundar os estudos em torno do tema, foi formulada a seguinte questão de pesquisa: como avaliar as políticas regulatórias após sua implementação? O estudo delimitou-se à realidade nacional, tendo como objeto as regulações para produtos, processos e serviços do Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro), que tenham a avaliação da conformidade como estratégia para evidenciar o atendimento às regras.

A investigação resultou na construção da sistemática para Monitoramento para Avaliação do Desempenho Regulatório do Inmetro (Madri), tendo como base o referencial teórico do mapa causa-e-efeito, desenvolvido pela Ocde. Seu potencial é induzir a orientação por resultados, gerar aperfeiçoamento das regulamentações e fomentar aprendizagem. A sistemática foi verificada pela Diretoria de Avaliação da Conformidade (Dconf) do Inmetro, que indicou sua consistência e utilidade.

O ineditismo do Madri ocorre, primeiramente, pela adaptação, sem similar encontrado na literatura, de uma ferramenta, de roupagem genérica, desenvolvida por um organismo internacional, o mapa causa-e-efeito da Ocde, para um caso concreto. Na direção de se obter a melhor vantagem desse ferramental, foram gerados conceitos, relacionamentos lógicos e ferramentais para a realidade brasileira, especificamente a do Inmetro. Depois, o próprio Madri, em si, revela-se como inédito, na medida em que não se identificou na literatura uma sistemática com características e aplicabilidade similares.

A seguir, na segunda seção, será apresentado o referencial teórico, desenvolvido pelo método de pesquisa bibliográfica de Russo e colaboradores (2006), conforme figura 1. Selecionou-se o primeiro conjunto de artigos pelo Portal de Periódicos da Capes - entre os periódicos com classificação Qualis A ou B, em pelo menos uma dessas áreas do conhecimento: administração, economia, direito e ciências políticas -, totalizando 14 trabalhos. Além disso, foram acessados os sítios da Ocde, Banco Mundial e Ipea, utilizando-se das palavras-chave avaliação, regulação, análise de impacto regulatório, avaliação de políticas públicas e avaliação de políticas regulatórias, bem como suas correspondentes no idioma inglês, o que possibilitou a seleção de 15 obras de interesse. Finalmente, a busca de documentos produzidos pelos autores de referência (William Kip Viscusi, Robert Baldwin e Cary Coglianese) ocorreu pela digitação de seus nomes no site do Google e análise dos resultados então obtidos, sendo captadas mais nove obras de referência.

Figura 1
Método para pesquisa bibliográfica

A terceira seção dedica-se à descrição do método desta pesquisa. Em sequência, na quarta parte do artigo, são apresentados os resultados alcançados. Primeiramente, faz-se a des­crição, obtida por meio da análise documental, do objeto do estudo, a Implantação Assistida de Regulamentação Técnica (RT) e Programas de Avaliação da Conformidade (PAC) no Inmetro; depois, apresenta-se o Madri, para, em seguida, descreverem-se os resultados da verificação da sistemática feita pela diretoria do Inmetro. A quinta seção traça as considerações finais, com conclusões acerca das proposições de pesquisa e da universalização dos seus resultados.

2. Referencial teórico

2.1 Regulação: breve histórico

Apesar de remeterem o gênesis da regulação a muito antes do controle pós-privatização do século XX, pontuando-o à época do absolutismo inglês da dinastia Tudor e Stuart, nascida no século XVI, Baldwin e colaboradores (2013) reconhecem que, a partir dos anos 1930, a regulação se encontrava em um estável processo de crescimento. Destacam o surgimento, em 1954, na Inglaterra, da primeira agência reguladora no estilo norte-americano, a Independent Television Authority (ITA). Nos Estados Unidos, essas agências já existiam desde 1887, com o estabelecimento do Interstate Commerce Comission, para limitar a precificação das estradas de ferro. Na Inglaterra, a criação da ITA foi sucedida, entre 1960 e 1980, pela formação de outras variadas agências, para lidar com questões de monopólio, relações industriais, aviação civil, saúde e segurança do trabalho, entre outros (Baldwin et al., 2013).

Viscusi e colaboradores (1998) ressaltam que, no início do século XX, nos Estados Unidos, diversas agências reguladoras foram criadas nos campos de transporte, comunicação e seguro. Elas nasceram para fixar parâmetros de desempenho das firmas, minimizando as falhas de mercado de estrutura concentrada. Fazem, porém, uma distinção entre o nascer da regulação econômica e a emergência da mais recente atividade regulatória com foco em saúde, segurança e meio ambiente, ocorrida somente na década de 1970. A motivação para esse novo tipo de regulação está no tratamento dos riscos existentes no meio ambiente, no ambiente de trabalho e nos produtos consumidos (Viscusi et al., 1998).

No Brasil, a criação das primeiras agências reguladoras ocorreu somente ao final da década de 1990, quando o governo iniciou a privatização de suas empresas estatais. Muito embora a atividade regulatória, em seu sentido mais abrangente, já fosse desenvolvida por ministérios, autarquias (como o Inmetro) e pelo Legislativo, foi somente a partir da criação das agências que a discussão sobre regulação no Brasil começou a acontecer de forma mais sistemática. Em 2007, com o Decreto-Lei n^o 6.062, de 16 de março de 2007, foi estabelecido no país o Programa de Fortalecimento da Capacidade Institucional para Gestão em Regulação (Pro-Reg), cujo objetivo é o aprimoramento do processo regulatório brasileiro. Para isso, esse movimento segue as recomendações da Ocde, que defende haver clara relação entre o desempenho econômico e social de um país a longo prazo e a qualidade de seu marco regulatório (Alves e Peci, 2011:803).

2.2 Regulação: o que é?

As definições de regulação verificadas na revisão da literatura indicam abordagens complementares, que tratam o termo com base em suas diferentes facetas. De forma geral, a Ocde (2012b) entende regulação como um termo abrangente, que cobre um variado número de atividades de governança desenvolvidas não só pelo Estado, mas também por organizações internacionais, atores privados e organizações da sociedade civil. Outras definições dão ênfase ao foco da regulamentação, à sua natureza processual, às suas características ou aos seus propósitos, conforme será observado.

Viscusi e colaboradores (1998) diferenciam a regulação econômica daquela com foco em saúde, segurança e meio ambiente. Para os autores, a primeira inclui o uso do poder de coerção do Estado para restringir as decisões das firmas sobre preços, quantidades, entradas e saídas. Geralmente, estão associadas aos setores de infraestrutura. A outra se detém, primordialmente, na redução dos riscos ao meio ambiente, ao ambiente de trabalho e aos produtos que são consumidos, no esforço de diminuir acidentes e ampliar o bem-estar físico.

Para Brown e Stern (2006), regulação refere-se aos controles impostos pelo governo às atividades de negócio. Já Coglianese e Mendelson (2010) definem o termo com base nos atributos das ferramentas regulatórias. Assim, para os autores, regulação é um conjunto de instrumentos com quatro características fundamentais: alvo (entidade impactada), regulador (quem cria as regras), comando (o que fazer) e consequências.

Outro trabalho desenvolvido pela Ocde (2012a) lembra a característica processual da regulação, que deve se iniciar com a identificação de um objetivo. Em seguida, passa pela decisão de se usar regulação como instrumento e, se for o caso, com seu desenvolvimento e adoção da política regulatória, por meio de um processo de tomada de decisão baseado em evidências. Há três aspectos aqui que merecem ser destacados. Primeiro, a necessidade de explicitar um objetivo. Depois, a verificação se, de fato, a regulação é o melhor instrumento para o alcance desse fim - presumindo-se, portanto, que nem sempre o é. Finalmente, o imperativo de pautar as decisões com base em dados e fatos.

Baldwin e colaboradores (2013) caracterizam as políticas regulatórias como atividades intervencionistas do Estado, que limitam o comportamento dos agentes, prevenindo a ocorrência de certas condutas econômicas consideradas indesejáveis. Em seu sentido restrito, regulação é o conjunto de instrumentos normativos, tais como leis e decretos. De forma mais ampla, regulação é o conjunto de ações do Estado, deliberadamente, para influenciar o comportamento social ou econômico. Em uma abrangência ainda maior, a regulação é toda forma de controle ou influência social ou econômica, incluindo determinações deliberadas ou não.

A Ocde (2012c), igualmente, compreende regulação como sinônimo de lei, acrescentando que, de modo geral, é baseada em ameaça de penalidades para aqueles que não as cumprirem. O propósito é gerar impactos positivos na resolução de problemas sociais e econômicos pela mudança do comportamento de indivíduos ou organizações. A política regulatória é voltada ao setor produtivo, mas também às organizações sem fins lucrativos, entidades governamentais, ou mesmo indivíduos. Finalmente, a regulação pode advir de parlamentares e legisladores, ministérios e agências ou de plebiscitos.

2.3 Avaliação regulatória

Considerada uma prática para a melhor regulação, a avaliação regulatória ex post é adotada pela maioria dos países da Ocde, porém há ausência de padronização, entre as nações, de métodos, técnicas e ferramentas, em contraposição à grande ênfase dada às análises ex ante. No Brasil, não há registros de realização da atividade avaliativa pelos reguladores do país (Ocde, 2011).

Dessa forma, a procura da conceituação de avaliação regulatória não é trivial, já que a literatura sobre essa temática específica não é extensa. A definição do termo está comumente associada ao uso instrumental dos resultados, ou seja, sua utilização para o aperfeiçoamento das regulações existentes. É também recorrente encontrar o termo mensuração ou medida, indicando a inclinação da prática para a quantificação dos resultados.

Brown e Stern (2006) fazem uma analogia da avaliação regulatória com o exame médico periódico, afirmando que são cada vez mais evidentes os benefícios obtidos com a atividade avaliativa. Para Blind (2008), a prática permite avaliar a eficácia e eficiência dos instrumentos regulatórios, por meio de medição e monitoramento de sua performance, permitindo proceder com a revisão de regulações existentes.

Black e Baldwin (2010) indicam a avaliação como um dos elementos centrais para a regulação realmente responsiva e baseada em riscos. A avaliação volta-se não somente para ajustar as estratégias e aprimorar os níveis de desempenho, como também para justificar a performance obtida ao público interessado. Defendem que se deve desenvolver a sensibilidade para medir o desempenho pela adoção de um programa avaliativo específico.

Já a Ocde (2012c) afirma que é a avaliação que irá verificar como a regulação contribuiu para a mudança de comportamento, bem como os impactos positivos e negativos provocados nas condições do mundo. Em outro trabalho da Ocde (2012d), a avaliação ex post é defendida porque é somente após a implementação que os efeitos e implicações de uma legislação podem ser plenamente avaliados, possibilitando verificar se a lei criada continua atualizada ante as mudanças ocorridas e se deve ser submetida à revisão. A avaliação ex post é, por essa definição, a última etapa do ciclo de políticas regulatórias, conforme mostra a figura 2.

O trabalho realizado pela Ocde (2012d), sobre avaliação de leis e regulações, para o caso da Câmara dos Deputados do Chile, indica que o método para estudos avaliativos ex post precisa ser desenhado adequadamente para ser possível a coleta dos dados relevantes. Para isso, é preciso viabilizar sistemas, estruturas, equipes de apoio e tempo. As etapas da avaliação regulatória, ainda segundo a Ocde (2012d), incluem o planejamento (cronograma, partes interessadas e atividades), partindo para o desenho (propósitos, escopo, critérios, fontes de dados, equipes etc.), formulação das questões de avaliação, identificação de fontes e formas de dados, coleta de dados, uso de dados quantitativos e qualitativos, análise e validação, conclusão e recomendações e, finalmente, disseminação.

No que tange à sistematização da avaliação ex post pelos sistemas de regulação, nesse processo de formação de conhecimento em torno do tema, foi possível identificar, com destaque, os trabalhos do Banco Mundial (Brown e Stern, 2006) e da Ocde (2012c). O primeiro propõe um modelo de avaliação dos sistemas de regulação. Não é uma sistemática voltada para o estudo de uma determinada regulação, mas sim de todo um sistema, com foco no setor de infraestrutura. Os autores sugerem avaliações em três níveis: a rápida, que pode ser conduzida por pessoas com conhecimento geral do setor, a de nível médio, que envolve a realização extensiva de entrevistas com reguladores, servidores do governo, executivos do setor e consumidores, e, finalmente, a aprofundada, que vai além e busca coletar e analisar um montante maior de dados.

Figura 2
Estágios do ciclo de políticas regulatórias

O segundo, por sua vez, propõe uma sistemática para avaliação regulatória ex post, com base na geração de indicadores de resultados e no mapa causa-e-efeito. O framework proposto pelo recém-publicado trabalho da Ocde (2012c) - Measuring regulatory performance: evaluating the impact of regulation and regulatory policy -, produzido por Cary Coglianese, fundamenta-se na seguinte cadeia lógica: a regulamentação implementada leva à mudança de comportamento dos atores-alvo ou afetados pela regulação, o que acarreta, finalmente, mudanças nas condições do mundo.

Assim, o autor propõe três esferas avaliativas. A primeira diz respeito à avaliação da administração regulatória, voltada para compreender o quão bem as regulações estão sendo gerenciadas, com base nos indicadores de processo. Depois, há a avaliação do comportamento, para verificar a adesão da população-alvo à regulamentação. Finalmente, a avaliação de performance mensura os resultados intermediários e finais alcançados, com base nos indicadores de resultados substantivos.

Essa relação de causa e efeito, os tipos de avaliação e de indicadores de resultados estão representados na figura 3. Já os principais elementos desse modelo estão brevemente descritos no quadro 1.

Figura 3
Mapa causa-e-efeito para avaliação do impacto

Quadro 1
Principais elementos do mapa causa-e-efeito

A pouca literatura encontrada especificamente sobre avaliação regulatória ex post induz à busca pelo conhecimento sobre o tópico, com base no arcabouço teórico-prático desenvolvido para a análise de impacto regulatório (AIR). A AIR, tida pela Ocde como elemento central dos esforços de reforma regulatória e busca da melhor regulação (Ocde, 2009a), é comumente definida como o estudo ex ante do problema a ser tratado e das alternativas regulatórias existentes, para pautar a tomada de decisão dos reguladores com base em evidências. Ainda que esse seja o enfoque mais comum dado à prática, é possível também encontrar autores que consideram a avaliação ex post como fase do AIR (Peci, 2011).

Coglianese (Ocde, 2012c), apesar de diferenciar os estudos ex ante da avaliação ex post, considera que as ferramentas de análise utilizadas na primeira podem ser aproveitadas pela outra. É sugerido, portanto, que, tal como na ex ante, a avaliação de impacto pós-implementação mensure indicadores do tipo net-benefits (benefícios gerados menos custos impostos), custo-efetividade (custo para um dado nível de benefício) e impacto (mudanças no problema), prioritariamente nessa ordem.

As principais ferramentas analíticas do AIR são econômicas e buscam, primordialmente, a quantificação dos custos e benefícios das alternativas regulatórias para subsidiar a decisão sobre qual adotar. Lima (2010) identifica a análise custo-benefício (ACB), a análise custo-efetividade (ACE) e análises parciais como os principais métodos utilizados pelo AIR. Já Alves e Peci (2011) destacam, além da ACB e ACE, as seguintes análises: do custo de cumprimento, de impacto nos negócios, fiscal ou orçamentária, de risco e, finalmente, risco-risco.

Peci (2011) ressalta que é justamente para as análises custo-benefício que as críticas contra o AIR são direcionadas. As restrições para o uso da ACB baseiam-se na argumentação de que a quantificação de valor de vidas humanas ou questões ambientais pode causar distorções - e mesmo ser imoral -, devendo decisões sobre saúde, segurança ou meio ambiente serem pautadas em valores democráticos e julgamentos morais. Além disso, apesar de ser valorizado pela sua abordagem quantitativa - trazendo a sensação de imparcialidade e objetividade -, seus resultados não são garantia de precisão. Uma análise feita dos relatórios de AIR produzidos na última década pelo Office of Managemnt and Budget (OMB), responsável pela gestão dos sistemas regulatórios nos Estados Unidos, revela certo ceticismo quanto à confiabilidade dos cálculos dos benefícios regulatórios, geralmente sobrestimados (Dudley, 2012). Ainda assim, o método ACB é o mais disseminado para a prática de AIR (Peci, 2011).

É preciso notar, finalmente, a importância de considerar as variáveis político-organizacionais do ambiente de institucionalização das práticas avaliativas, conforme demonstram os trabalhos de Peci (2011), aplicado ao caso brasileiro, e Staronová (2010), relativo a alguns países da Europa Oriental. No caso nacional, apesar de identificarem-se sólidas capacidades organizacionais que influenciam, de forma positiva, a adoção da AIR, o contexto local de adoção da prática indica que é preciso construir soluções mais customizadas, que busquem se adaptar às realidades percebidas e vivenciadas pelos principais atores do contexto regulatório (Peci, 2011). Da mesma forma, foi verificado que, entre os países da República Checa, Estônia, Hungria, Eslováquia e Eslovênia, os diferentes níveis de qualidade das análises produzidas devem-se às variações nas capacidades institucionais e administrativas dessas nações (Staronová, 2010).

A avaliação regulatória é considerada boa prática (Sinmetro, [200-]; Anvisa, 2008) e tida pela Ocde (2009, 2012a, 2012b) como fundamental para o aprimoramento dos sistemas de gestão de regulação. Ela é o meio mais eficiente de se atingir os objetivos desejados, pois contribui para verificar se a regulamentação está convergindo para o caminho desejado, investigar se estão sendo gerados efeitos indesejáveis e se as regras ainda estão adequadas ao fim a que se propuseram (Ocde, 2011). Nesse contexto, o uso dos resultados da avaliação regulatória está comumente associado ao aperfeiçoamento da regulação vigente, de forma a garantir a consecução dos objetivos e não criar encargos desnecessários aos negócios (Blind, 2008; Black e Baldwin, 2010; Ocde, 2012d).

Para explorar mais profundamente as possíveis utilidades da avaliação regulatória, recorreu-se à literatura mais geral sobre avaliação das políticas públicas. Nessa esfera, é comum associar o uso da avaliação ao apoio para o processo decisório do gestor governamental em continuar, aprimorar ou eliminar o programa público. Ala-Harja e Helgason (2000:5) consideram que a avaliação de programas leva à geração de grandes mudanças nas políticas, à melhoria dos programas (aprendizado organizacional), à melhor alocação orçamentária e ao suporte no estabelecimento de responsabilidades.

Weiss (1998) identifica a aplicabilidade da avaliação para além de seu papel instrumental - aquele que presta suporte ao processo decisório -, apontando outros três tipos de uso. Há o uso de compreensão, quando, principalmente, se realizada de forma participativa, a avaliação traz um esclarecimento antes não desenvolvido; de persuasão, caso a avaliação se preste à mobilização de recurso; e de esclarecimento, quando a avaliação, por meio do acúmulo de conhecimento, influencia a organização como um todo e, mesmo, outras instituições. Já a maior transparência e responsabilização trazidas com a prática avaliativa são lembradas por Ceneviva e Farah (2012). Por essa percepção, a avaliação e os sistemas de avaliação de políticas públicas reduzem a assimetria de informação entre políticos e cidadãos, bem como políticos e burocratas. Para isso, não só a divulgação dos resultados do estudo é condição necessária, mas também a participação social no processo avaliativo.

É preciso reconhecer, porém, o contexto político que pode influenciar o uso da avaliação (Ala-Harja e Helgason, 2000:26). Nesse sentido, Faria (2005:102a,102b) chama de "política da avaliação de políticas públicas" os fatores que condicionam os diversos usos da avaliação e que dificultam sua aplicação para "melhorar a qualidade das decisões e garantir a maximização da consecução dos objetivos definidos pelas políticas e programas". O conflito de interesses entre as unidades do programa, a rigidez nas regras organizacionais e procedimentos dos padrões de operação e as mudanças nas condições externas são apontados por Weiss (1998) como obstáculos para o amplo uso dos resultados da avaliação.

Para evitar desvios do efetivo uso da avaliação, as condições devem ser planejadas (Finkler e Dell'Aglio, 2013). O estudo avaliativo precisa tornar parte de um complexo entrelaçamento de variáveis informativas, técnicas, pessoais, políticas e organizacionais (Fagundes e Moura, 2009), garantindo uma relação entre os procedimentos administrativos e a tomada de decisão regulatória, de forma a não ocorrer a paralisação pela avaliação (Coglianese, 2008). A estabilidade do sistema de avaliação passa, portanto, a ser condição sine qua non para a prática e, por isso, é fundamental entender a avaliação como um processo social de interação entre aqueles que estão sendo avaliados, o público da avaliação e aqueles que a desenvolvem (Bach, 2012).

3. Método

Conforme tipologia de Vergara (2005), a pesquisa pode ser classificada como exploratória e aplicada. Exploratória, porque sonda uma área de pouco conhecimento sistematizado: a avaliação regulatória ex post e, em especial, dos PACs do Inmetro; aplicada, porque é motivada para solucionar um problema concreto: a ausência de uma sistemática para avaliação das regulações do Inmetro.

Tendo por base o método de estudo de caso de Yin (2001), a pesquisa estruturou-se nas etapas de (1) conhecimento prévio, (2) coleta das evidências e (3) análise das evidências. A figura 4, cuja elaboração foi inspirada em Costa (2014), demonstra o encadeamento dessas etapas, seus objetivos e métodos correspondentes.

Para buscar referenciais sobre avaliação regulatória, o conhecimento prévio pautou-se na já descrita pesquisa bibliográfica. Entre outros resultados, essa etapa possibilitou a seleção do mapa causa-e-efeito da Ocde como principal teoria-base para o Madri. A coleta de evidências, por sua vez, buscou elementos que possibilitassem a adaptação do mapa causa-e-efeito para a realidade do Inmetro. A análise documental, nesse sentido, possibilitou a caracterização da Implantação Assistida de RTs e PACs, a partir da qual são geradas as regulações do Inmetro. As referências documentais utilizadas foram aquelas desenvolvidas pelo próprio Inmetro, com potencial de contribuir à pesquisa, entre manuais, normas internas e guias.

Figura 4
Estratégia de estudo de caso: etapas aplicadas à pesquisa

Já as entrevistas contribuíram para a formação de conceitos e relacionamentos lógicos para a customização do mapa causa-e-efeito da Ocde, em direção à formação do Madri. Elas foram feitas com regulamentadores do Inmetro, nas instalações do Instituto, no Rio de Janeiro, entre agosto de 2012 e março de 2013. Tendo como requisito fundamental abordar os chefes de todas as unidades operacionais da Dconf e ao menos um técnico de cada uma delas, realizaram-se entrevistas até se perceber a minimização das informações novas e relevantes. Foram conduzidas 10 entrevistas, totalizando 12 horas. Os entrevistados são servidores federais do Inmetro, dedicam-se à atividade de regulamentação e avaliação da conformidade e possuem formações diversas, 90% com mestrado e 50% com doutorado finalizado ou em andamento. O tempo médio de atuação no Inmetro são 11,3 anos e, no serviço público, 14,8 anos. As entrevistas pautaram-se em um roteiro, foram gravadas e transcritas. Consecutivamente, foram elaborados mapas conceituais, com o software CmapTools, que auxiliaram a elaboração de tabelas de consolidação e permitiram rastreabilidade de conteúdo.

A análise das evidências consistiu, primeiramente, na elaboração do próprio Madri, a partir do cruzamento de conclusões obtidas nas fases anteriores. Essa etapa também incluiu a verificação da consistência e utilidade da sistemática. Cumpre dizer que o Madri foi desenvolvido no âmbito desta pesquisa, não tendo ainda sido implementado no Inmetro, até o momento de elaboração deste artigo. A verificação de sua pertinência realizou-se por meio de aplicação de questionário, em janeiro de 2014, ao diretor da Dconf, a seus assistentes da Direção e chefes das divisões (ou substitutos), totalizando 12 participantes. Acredita-se ser pertinente tal estratégia porque o corpo diretor e gestor da Dconf compreende a complexidade envolvida no macroprocesso de avaliação da conformidade. Além disso, esse grupo pode dimensionar as limitações operacionais da Diretoria, de forma a avaliar a utilidade da ferramenta proposta ante essas restrições. O maior detalhamento dos critérios utilizado para essa verificação encontra-se na seção 4.3 deste trabalho.

4. Apresentação dos resultados

4.1 Avaliação da conformidade no Inmetro

O Inmetro, autarquia federal vinculada ao Ministério do Desenvolvimento, Indústria e Comércio Exterior (MDIC), foi criado pela Lei n^o 5.966/1973, que instituiu o Sistema Nacional de Metrologia, Normalização e Qualidade Industrial (Sinmetro). Entre suas atribuições legais, destacam-se aqui as relacionadas com a avaliação da conformidade, que o fazem "gestor" do Sistema Brasileiro de Avaliação da Conformidade (Sbac), subsistema do Sinmetro.

Avaliação da conformidade é, segundo a Norma Brasileira ABNT NBR ISO/IEC 17000, a demonstração de que um produto, processo, sistema, pessoa ou organismo atendem aos requisitos especificados (ABNT, 2005). O Inmetro complementa esse conceito, destacando que o processo de avaliação da conformidade deve gerar o menor custo possível à sociedade. A atuação em avaliação da conformidade é, para o Instituto, parte de sua própria missão institucional, como forma de prover a inovação, a competitividade e a harmonização das relações de consumo na indústria brasileira (Inmetro, 2012c).

Internamente, o instituto instituiu o macroprocesso de avaliação da conformidade de produtos, processos, serviços ou profissionais, representado na figura 5, para gerenciar as diferentes atividades de desenvolvimento e implementação desses programas.

A avaliação da conformidade inicia-se com a identificação e priorização de demandas, que inclui a elaboração do Plano de Ação Quadrienal (PAQ), com a participação de diversos segmentos da sociedade, a ser aprovado pelo Conmetro. Para um horizonte de quatro anos, o PAQ define os objetos que serão tratados pelo Inmetro e que formarão a Agenda Regulatória (Inmetro, 2007, 2013a).

A Análise de Impacto Regulatório (AIR), por sua vez, antecede o desenvolvimento dos programas (Inmetro, 2013c). Essa análise visa à reflexão ex ante sobre a pertinência de se desenvolver um PAC, sugerindo para a gerência e direção da Dconf o tratamento a ser dado à demanda. As conclusões do estudo buscam balizar os gestores com informações mais apuradas sobre os objetos da Agenda Regulatória, de forma a apoiar o processo decisório quanto a regulamentar ou não.

Figura 5
Macroprocesso de avaliação da conformidade

Assim, inicia-se o processo de Desenvolvimento ou Aperfeiçoamento e Implementação (Inmetro, 2013d). O desenvolvimento passa pelas atividades de análise da base normativa existente; formação da Comissão Técnica; definição dos requisitos essenciais para o objeto e do passo a passo para a avaliação da conformidade; consulta pública; consolidação da consulta pública e publicação definitiva da regulamentação.

Com isso, inicia-se fase de implementação, que consiste no monitoramento das informações relativas à formação da infraestrutura da qualidade para o PAC (número de laboratórios e organismos acreditados para o escopo) e no acompanhamento da adesão do setor produtivo ao programa. O objetivo é que os organismos de avaliação da conformidade possuam capacidade para atender às demandas e que o setor adira ao PAC, evitando postergação dos prazos de adequação estabelecidos. A implementação é finalizada com o término desses prazos (Inmetro, 2013d).

Durante essa etapa, também são conduzidos os esforços para a disseminação do PAC. O público-alvo desse processo são os fornecedores (fabricantes e importadores), comerciantes e varejistas, consumidores, instituições parceiras e o próprio público interno à Dconf. Exemplos de ações de orientação são capacitação, divulgação, coordenação de participação em eventos, elaboração de material informativo sobre os PACs, esclarecimento de dúvidas técnicas, entre outras (Inmetro, 2011).

Para as regulamentações de caráter compulsório, aplica-se o Acompanhamento no Mercado, que ocorre mediante fiscalização realizada pelos órgãos delegados nos estados e exige, entre outras tarefas, a elaboração do procedimento de fiscalização e o treinamento dos fiscais (Inmetro, 2013e). O Programa de Verificação da Conformidade (PVC) é outro esforço do Acompanhamento de Mercado (Inmetro, 2013f). Consiste, em linhas gerais, na coleta no comércio de amostra dos objetos (em especial, produtos) regulamentados e na submissão desses itens a ensaios em laboratórios acreditados, para verificar se as amostras estão de acordo com as regras estabelecidas (Inmetro, 2012).

Para conduzir a internalização da política de implantação assistida por todas as fases do macroprocesso de avaliação da conformidade, há a atuação de uma Coordenação de Implantação Assistida. Tal coordenadoria abriga um conjunto de ações, já previstas nos procedimentos dos processos ou, então, elaboradas de forma customizada para um PAC específico, que são formuladas para estimular a adequação das partes interessadas do PAC aos regulamentos estabelecidos. Especial atenção é dada às partes impactadas, que terão que se adequar ante as regras estabelecidas pelo Inmetro, em particular as micro, pequenas e médias empresas e os arranjos produtivos locais (Inmetro, 2012b).

4.2 Monitoramento para Avaliação do Desempenho Regulatório do Inmetro (Madri)

A presente seção descreve a sistemática Madri, que se apoia na abordagem do mapa causa-e-efeito, bem como nas características específicas da Implantação Assistida de RTs e PACs e nos resultados das entrevistas exploratórias. O Madri estabelece dimensões e formula indicadores para avaliar os resultados e impactos de uma regulação do Inmetro, especialmente aquela associada a um Programa de Avaliação da Conformidade (PAC).

O Madri baseia-se no relacionamento das seguintes quatro perspectivas: processo regulatório, mudança de comportamento, resultado e impacto. A primeira representa as atividades desenvolvidas pelo regulamentador para provocar mudança de comportamento e eliminar a causa do problema. A perspectiva resultado traduz a solução do problema, enquanto a impacto refere-se à eliminação ou minimização de suas consequências.

A sistemática foi construída partindo-se da premissa de que a aquisição pelo consumidor de produtos não conformes a requisitos normativos causa acidentes, afetação da saúde, degradação ambiental ou outros problemas relacionados com a segurança, saúde, meio ambiente, conformidade e sustentabilidade, comprometendo a competitividade da indústria nacional e a harmonia das relações de consumo. Essa cadeia de relacionamentos está sintetizada na figura 6, que também relaciona as perspectivas à árvore de causas e consequências dos problemas que um PAC busca dirimir.

Figura 6
Relacionamento em cadeia entre as perspectivas do Madri

O modelo, portanto, pressupõe que o sucesso de um PAC depende do processo regulatório bem conduzido, aquele aderente às boas práticas de regulamentação, promotor de adequada infraestrutura de avaliação da conformidade e com ações efetivas de enforcement e compliance (cumprimento das regras). Dessa forma, são ampliadas as possibilidades de mudança de comportamento, com a disponibilização no mercado de produtos conformes. Com essa mudança, espera-se atingir o resultado desejado, ou objetivo da regulamentação, seja pela eliminação ou minimização dos problemas e riscos negativos ou, ainda, pela geração de benefícios. Finalmente, com o resultado alcançado, espera-se que a sociedade seja impactada positivamente, com a harmonização das relações de consumo, facilitação do acesso ao mercado externo ou diferenciação do objeto no mercado. A figura 7 ilustra o Painel Madri, que representa esse encadeamento lógico.

A sistemática Madri sugere a utilização de um formulário-padrão, que desdobra as dimensões anteriormente descritas em questões de avaliação, a serem respondidas à luz dos parâmetros verdadeiro, parcialmente verdadeiro, falso ou não aplicável (conforme orientação do formulário-padrão). Para cada dimensão, é atribuída pelo avaliador uma nota (100, 50 ou 0 ponto) ou conceito (++, + ou -).

Assim, o acompanhamento sistemático proposto pelo Madri permite reunir, de forma estruturada, o desempenho de certas variáveis, tornando mais robusto o processo de Implantação Assistida de RTs e PACs, agora pautado por indicadores. Ao mesmo tempo, é gerado um instrumento útil para os gestores, que passam a ter a oportunidade de visualizar, em um só relance, o histórico e a performance do processo regulatório.

Figura 7
Painel Madri

Cada uma das perspectivas e condicionantes é composta de dimensões, também apresentadas na figura 7 e a seguir descritas (quadro 2).

Quadro 2
Questões para avaliação de um PAC propostas pelo Madri

A nota de cada uma das quatro perspectivas é feita pela média aritmética das notas de suas dimensões respectivas e deve ser plotada em um gráfico. Repare a exigência de, além de monitorar o desempenho, fixar metas para cada uma das perspectivas. A comparação da performance alcançada com o alvo estabelecido é a base na gestão por resultados proposta pelo Madri.

Quanto às condicionantes, o desempenho do tipo "+" abre um sinal de alerta, mesmo que as notas das perspectivas tenham sido satisfatórias. O sinal "-" revela o insucesso do PAC. Em ambas as situações, as causas para a lacuna de desempenho devem ser mapeadas e recomendações devem ser sugeridas para alavancar a performance do PAC.

Conforme sinaliza a figura 7, é necessário perceber as influências externas, que podem gerar outras mudanças, resultados ou impactos e, com isso, afetar o desempenho do PAC, seja nas perspectivas, seja nas condicionantes. Para avaliar efetivamente o desempenho de um programa, o Madri requer também mapear mudanças, resultados e impactos não previstos e não desejados, porém ocorridos, e, para isso, são indicadas outras questões de avaliação. As perguntas sugeridas, porém não exaustivas, estão listadas no quadro 3.

Quadro 3
Outras questões para avaliação de um PAC

Para a utilização do Madri, são sugeridas seis diferentes fontes de evidência para pautar as conclusões do avaliador ou equipe avaliadora: análise documental e de dados, entrevistas com equipe Inmetro, pesquisa de satisfação, pesquisa junto aos organismos de avaliação da conformidade, pesquisa com as partes interessadas e grupo focal. Ao planejar as ações de avaliação, a equipe deve determinar as fontes de evidência para cada questão a ser respondida. Com o Painel Madri completado, devem ser formuladas recomendações e identificados exemplos de boas práticas e lições aprendidas a serem destacadas e aproveitadas por outros programas.

4.3 Verificação do Madri

A verificação da pertinência do Madri, feita por aplicação de questionário junto à Dconf, ocorreu com base nos critérios Consistência (C) e Utilidade (U), sendo eles também compostos, cada um, de dois subcritérios, e suas avaliações calculadas pela média aritmética desses fatores. A figura 8 representa esses parâmetros.

A pontuação obtida pôde variar de 1 a 5. Se nota final fosse maior ou igual a 4, a sistemática seria considerada válida; se maior ou igual a 3 e menor que 4, válida com ajustes; se menor ou igual a 2, não válida. A consolidação das respostas aos questionários indicou as notas 4,42 e 4,17 para os critérios de Consistência e Utilidade, respectivamente. Com a nota final de 4,27, o Madri foi considerado válido para os fins a que se propõe.

O referido questionário disponibilizou um espaço aberto à escrita livre, especialmente para indicar oportunidades de melhoria e justificativas para pontuações menores ou iguais a três. Primeiramente, foi sinalizado que as perspectivas, condicionantes e suas dimensões não podem ser percebidas como categorias estáticas, devendo ser constantemente analisadas e aprimoradas. Além disso, foi lembrada a necessidade da integração entre divisões e trabalho em equipe para a operacionalização da ferramenta e que, por isso, o principal desafio para a implementação do Madri no Inmetro é a comunicação entre os setores. Apontou-se também a necessidade de investir em recursos humanos e infraestrutura. Foi dito que o volume de informações a ser coletado para rodar o Madri é bem alto, o que pode comprometer sua implementação, dada a indisponibilidade do atual quadro de pessoas, embora seus benefícios tenham sido reconhecidos.

Figura 8
Critérios para validação do Madri

5. Considerações finais

A construção do Madri evidenciou ser possível alcançar, por meio de uma sistemática consistente e útil, a padronização de conceitos, métodos e de critérios para avaliação do desempenho dos PACs do Inmetro, que seja aplicável a todos os programas desenvolvidos e implementados. Para isso, precisou ser suficientemente abrangente em seus conceitos e critérios e não prescreveu formas de operacionalização das análises - devendo elas ser definidas, pela equipe avaliadora, na etapa de planejamento da avaliação. Ademais, como está baseado em indicadores mensurados pelo julgamento subjetivo dos avaliadores, é trazida flexibilidade aos parâmetros utilizados. Já a construção de perspectivas, condicionantes, dimensões e parâmetros comuns às avaliações de qualquer PAC possibilita a comparação entre os resultados de diferentes PACs, alavancando a identificação de boas práticas e do aprendizado no processo de regulamentação.

Portanto, introduzir o Madri na gestão regulatória do Inmetro significa sistematizar a mensuração de resultados, de forma a auferir ganhos não só com o aperfeiçoamento de programas, mas também com o aprendizado e conhecimento gerados com a identificação de lições aprendidas e boas práticas. A utilização do Madri facilita o gerenciamento das principais variáveis que correm transversalmente ao macroprocesso de avaliação da conformidade, contribuindo para o alinhamento dos técnicos alocados nas diversas atividades que culminam na entrega de um PAC à sociedade.

Quanto à universalização dos resultados de pesquisa, o Madri foi desenhado para o caso específico do Inmetro, mas pode ser reproduzido, com devidas adequações, a outras realidades regulatórias. Sua adaptação a regulações de produtos, processos e serviços, que se pautem em programas de avaliação da conformidade, é mais imediata. Sua utilização para regulações nas áreas de infraestrutura merece um esforço maior de adaptação, mas é possível. No sentido de expandir o uso do Madri a outras realidades regulatórias, as seguintes assertivas podem ser intuitivamente elaboradas:

1. pode ser mantida a organização do Painel Madri em perspectivas, condicionantes, outras influências e gráficos de desempenho, bem como o critério de pontuação;

2. podem ser preservadas as perspectivas Processo Regulatório, Mudança de Comportamento, Resultado e Impacto;

3. devem ser rediscutidas as dimensões das perspectivas. No entanto, acredita-se na perenidade das seguintes dimensões: aderência às boas práticas, desempenho enforcement & compliance (cumprimento das regras), adesão do setor (que poderia ser substituída para adesão das partes impactadas) e alcance do objetivo;

4. as dimensões que compõem a perspectiva Impacto devem ser reconstruídas com base na missão organizacional. As dimensões harmonização das relações de consumo, acesso ao mercado externo e diferenciação do objeto do mercado têm sintonia direta com a missão do Inmetro em impactar positivamente a competitividade e inovação das indústrias;

5. as dimensões-condicionantes - sejam elas a relação entre custo e benefício, a satisfação das partes interessadas e a sinergia com outras ações de governo - podem ser aproveitadas na totalidade para todos os contextos regulatórios.

Finalmente, o Madri deixa a mensagem de que é preciso monitorar certas variáveis do contexto regulatório para que a avaliação ex post da política seja feita da forma mais completa possível.

• ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-60, out./dez. 2000.
• ALVES, Flávia; PECI, Alketa. Análise de impacto regulatório: uma nova ferramenta para a melhoria da regulação na Anvisa. Revista Saúde Pública, v. 45, n. 4, p. 802-805. 2011.
• ANVISA. Boas práticas regulatórias. 2008.
• ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 17000: Avaliação da conformidade: vocabulário e princípios gerais. Rio de Janeiro, 2005.
• BACH, Laurent. The frontiers of evaluation: some considerations on the European case. Revista Brasileira de Inovação, Campinas, v. 11, n. esp., p. 67-84, jul. 2012.
• BALDWIN, Robert et al. Understanding regulation: theory, strategy and practice. 2. ed. Nova York: Oxford University Press, 2013.
• BLACK, Julia; BALDWIN, Robert. Really responsive risk-based regulation. Law & Policy, v. 32, n. 2, p. 181-213, abr. 2010.
• BLIND, Knut. Regulatory foresight: methodologies and selected applications. Technological Forecasting & Social Change, v. 75, n. 4, p. 496-516, maio 2008.
• BRASIL. Lei no 5.966, de 11 de setembro de 1973. Institui o Sistema Nacional de Metrologia, Normalização e Qualidade Industrial, e dá outras providências. 1973
• BRASIL. Decreto-Lei no 6.062, de 16 de março de 2007. Institui o Programa de Fortalecimento da Capacidade Institucional para Gestão em Regulação - PRO-REG, e dá outras providências. 2007
• BROWN, Ashley C.; STERN, Jon; TENENBAUM, Bernard. Handbook for evaluating infrastructure regulatory systems. Washington: World Bank, 2006
• CENEVIVA, Ricardo; FARAH, Marta Avaliação, informação e responsabilização no setor público. Rev. Adm. Pública, Rio de Janeiro, v. 46, n. 4, p. 993-1016, jul./ago. 2012.
• COGLIANESE, Cary. The rhetoric and reality of regulatory reform. Yale Journal of Regulation, New Haven, v. 25, p. 85-95, 2008.
• COGLIANESE, Cary; MENDELSON, Evan. Meta-regulation and self-regulation. In: CAVE, Martin; BALDWIN, Robert; LODGE, Martin (Org.). The Oxford handbook of regulation. Nova York: Oxford University Press, 2010. p. 146-168.
• CONMETRO. Resolução no 01, de 22 de abril de 2010. Dispõe sobre a Aprovação da Metodologia de Revisão do Plano de Ação Quadrienal 2008-2011, do Programa Brasileiro de Avaliação da Conformidade. 2010
• COSTA, Lourenço. Método multicritério para apoio à análise e seleção de investimentos sustentáveis em fundos de pensão. Tese (doutorado) - Programa de Pós-graduação em Engenharia de Produção, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2014.
• DUDLEY, Susan E. Perpetuating puffery: an analysis of the composition of OMB's reported benefits of regulation. Business Economics, v. 47, n. 3, p.165-176, jul. 2012.
• FAGUNDES, Helenara; MOURA, Alessandra. Avaliação de programas e políticas públicas. Revista Textos & Contextos, Porto Alegre, v. 8, n. 1, p. 89-103, jan./jun. 2009.
• FARIA, Carlos A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005.
• FINKLER, Lirene; DELL'AGLIO, Débora. Reflexões sobre avaliação de programas e projetos sociais. Barbarói, Santa Cruz do Sul, n. 38, p. 126-144, jan./jun. 2013.
• INMETRO. Fiscalização e verificação. Disponível em: <www.inmetro.gov.br/fiscalizacao/index.asp>. Acesso em: 17 nov. 2012.
  » <www.inmetro.gov.br/fiscalizacao/index.asp>
• INMETRO. Manual da qualidade: MQ-Dqual-001. rev. 03. Manual da qualidade da Dqual. 2012a.
• INMETRO. Norma interna de trabalho: NIT-Diape-001. rev. 03. Procedimento para identificação e priorização de demandas por programas de avaliação da conformidade. 2013a.
• INMETRO. Norma interna de trabalho: NIT-Diape-005. rev. 02. Análise crítica de programas de avaliação da conformidade. 2013b.
• INMETRO. Norma interna de trabalho: NIT-Dipac-014. Rev. 02. Estudo de impacto e viabilidade de programas de avaliação da conformidade. 2013c.
• INMETRO. Norma interna de trabalho: NIT-Dipac-016. Rev. 01. Desenvolvimento, aperfeiçoamento e implementação de regulamentos técnicos e programas de avaliação da conformidade. 2013d.
• INMETRO. Norma Interna de Trabalho: NIT-Divec-004. rev. 04. Procedimento do processo de verificação da conformidade. 2013f.
• INMETRO. Norma interna de trabalho: NIT-Divec-011. rev. 04. Norma do processo específico Acompanhamento de Mercado. 2013e.
• INMETRO. Norma interna de trabalho: NIT-Diviq-001. rev. 01. Coordenação da Implantação Assistida de Programas de Avaliação da Conformidade - CIA. 2012b.
• INMETRO. Norma interna de trabalho: NIT-Diviq-003. rev. 00. Produção de material, orientação e disseminação da cultura de avaliação da conformidade, qualidade e relações de consumo. 2011.
• INMETRO. O que é o Inmetro. Disponível em: <www.inmetro.gov.br/inmetro/oque.asp>. Acesso em: 17 nov. 2012c.
  » <www.inmetro.gov.br/inmetro/oque.asp>
• INMETRO. Plano de Ação Quadrienal do PBAC. 5. ed. 2007.
• LIMA, Valéria A. F. A avaliação de impacto regulatório e sua aplicação no Brasil. Dissertação (mestrado em políticas públicas, estratégias e desenvolvimento) - Instituto de Economia, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2010.
• OCDE. Evaluating laws and regulations: the case of the Chilean Chamber of Deputies. Paris: Ocde Publishing, 2012d.
• OCDE. Improving de quality of regulations. Ocde Policy Brief, 2009a.
• OCDE. Indicators of regulatory management systems. Paris: Ocde Publishing, 2009b.
• OCDE. Measuring regulatory performance: evaluating regulatory management tools and programs. Paris: Ocde Publishing, 2012b.
• OCDE. Measuring regulatory performance: evaluating the impact of regulation and regulatory policy. Paris: Ocde Publishing, 2012c.
• OCDE. Measuring regulatory performance: the economic impact of regulatory policy - a literature review of quantitative evidence. Paris: Ocde Publishing, 2012a.
• OCDE. Regulatory management indicators: Brazil, 2011. Paris: Ocde Publishing.
• PECI, Alketa. Avaliação do impacto regulatório e sua difusão no contexto brasileiro. Revista de Administração de Empresas (RAE), São Paulo, v. 51, n. 4, p. 336-348, jul./ago. 2011.
• RUSSO, G. M. et al. Importância da hierarquização das revistas científicas: resultados de uma investigação empírica no Brasil e proposta de um método de pesquisa bibliográfica. In: ENCONTRO DA ANPAD, 30. 2006, Salvador.2006
• SINMETRO. Guia de boas práticas da regulamentação. {200}s.d..
• STARONOVÁ, Katarína. Regulatory impact assessment: formal institucionalization and practice. Journal of Public Policy, v. 30, n. 1, p. 117-136, 2010.
• VERGARA, Sylvia. Métodos de pesquisa em administração. São Paulo: Atlas, 2005.
• VISCUSI, W. Kip et al. Economics of regulation and antitrust. 2. ed. Londres: MIT Press, 1998.
• WEISS, Carol. Have we learned anything new about the use of evaluation? American Journal of Evaluation, v. 19, n. 1, p. 21-33, mar. 1998.
• WEISS, Carol. The interface between evaluation and public policy. Evaluation, v. 5, n. 4, p. 468-486, out. 1999.
• YIN, Robert K. Estudo de caso: planejamento e métodos. Tradução de Daniel Grassi. 2. ed. Porto Alegre: Bookman, 2001.

Datas de Publicação

• Publicação nesta coleção
  Abr 2015

Histórico

• Recebido
  17 Mar 2014
• Aceito
  22 Set 2014