AUDITORIA DE RESULTADOS E AVALIAÇÃO DE POLÍTICAS PÚBLICAS: O CASO DAS INSTITUIÇÕES SUPERIORES DE CONTROLO

Auditoría de desempeño y evaluación de políticas públicas: El caso de las entidades fiscalizadoras superiores

RESUMO

Este artigo apresenta dois instrumentos de governança pública à disposição das Instituições Superiores de Controlo (ISC), a auditoria de resultados e a avaliação de políticas, destinados a promover a accountability e a aprendizagem no desenvolvimento de políticas públicas. São fornecidas as respetivas definições e tipos e, em relação à auditoria de resultados, o documento discorre sobre a tensão entre independência e relevância das práticas de auditoria, associada às funções estilizadas de “cão de guarda” e de “cão pastor”. O ambiente regulatório para o desenvolvimento da avaliação de políticas pelas ISC é brevemente descrito. A contribuicao do artigo e o desenho de um conjunto de parâmetros e conteúdos associados a cada um dos dois instrumentos que permite a sua comparação e evolução, contrastando com a tendência da literatura que insiste na identificação de semelhanças e diferenças entre eles.

Palavras-chave:
accountability ; auditoria de resultados; avaliação de políticas públicas; gestão pública; Instituições Superiores de Controlo

ABSTRACT

This paper presents two public governance instruments at the disposal of Supreme Audit Institutions (SAIs), performance audit and policy evaluation, aimed at promoting accountability and learning in public policy development. Respective definitions and types are provided, and in relation to performance audit the paper elaborates on the pervasive tension between independence and relevance of audit practices, associated with the stylized functions of watchdog and sheepdog. The regulatory environment for the development of policy evaluation by SAIs is briefly described. The contribution of the paper is the design of a set of parameters and associated content for each of the two instruments that allows their comparison and evolution, contrasting with the trend in the literature to identify similarities and differences between them.

Keywords:
accountability; performance audit; public policy evaluation; public management; supreme audit institutions

RESUMEN

Este artículo presenta dos instrumentos de gobernanza pública disponibles para las entidades fiscalizadoras superiores (EFS): la auditoría operativa o de gestión y la evaluación de políticas, destinadas a promover la responsabilidad y el aprendizaje en el desarrollo de políticas públicas. Se proporcionan sus definiciones y tipologías y, en relación con la auditoría operativa, el documento analiza la tensión generalizada entre la independencia y la relevancia de las prácticas de auditoría, asociada a los estilizados papeles de “perro guardián” y “perro pastor”. Se describe brevemente el entorno normativo para el desarrollo de la evaluación de políticas por parte de las ISC. La aportación del artículo es el diseño de un conjunto de parámetros y contenidos asociados para cada uno de los dos instrumentos que permite su comparación y evolución, contrastando con la tendencia en la literatura a identificar similitudes y diferencias entre ellos.

Palabras Clave:
responsabilidad; auditoría operativa; evaluación de políticas públicas; gestión pública; entidades fiscalizadoras superiores

INTRODUÇÃO

A auditoria de resultados (AR) e a avaliação de políticas públicas (APP) constituem-se como dois instrumentos ao serviço da governança pública, entendendo-se esta como os meios pelos quais se formulam e alcançam objetivos, sendo assegurada a prestação equitativa de serviços públicos, incluindo as atividades destinadas a garantir a confiança nas instituições, e se garante a integridade dos servidores públicos, reduzindo o risco de corrupção (Institute of Internal Auditors [IIA], 2012; Organization for Economic Co-operation and Development [OECD], 2016, 2020).

Em regra, a AR é uma responsabilidade de Instituições Superiores de Controlo (ISC), e a APP é atribuída a entidades com diferente natureza e habitualmente integradas na estrutura da administração pública com dependência hierárquica do Poder Executivo (governo). Contudo, faz também parte do mandato de algumas ISC a APP (Benzerafa-Alilat et al., 2021; Moscovici, 2021; OECD, 2020), nomeadamente da Government Accountability Office (GAO) nos Estados Unidos e da Cour des Comptes (CdC) em França, as quais foram inovadoras nesse contexto.

A par com as auditorias de conformidade e financeiras, as AR são uma forma de auditoria pública (Cordery & Hay, 2021; International Organization of Supreme Audit Institutions [Intosai], 2019f). No setor público, a “auditoria” engloba um amplo conjunto de atividades, e o seu âmbito está a aumentar (Grossi et al., 2023). A regulação internacional da auditoria pública está cometida à Intosai, fundada em 1953, constituindo-se como a organização internacional representativa das ISC que desenvolve e mantém um quadro de regulação da auditoria pública, com base em princípios, normas e guias de orientação.

Na segunda metade do século XX, nos países com sistemas político-administrativos baseados em democracias representativas, assentes no primado do Estado de Direito e no equilíbrio e controlo dos poderes (checks and balances), na sequência da recuperação das grandes guerras mundiais, que ditaram o engrandecimento do Estado e da sua dimensão social, os parlamentos, que exercem a fiscalização política dos governos, confiaram às respetivas ISC não só o controlo da legalidade, mas também a avaliação da utilização que os governos fazem dos dinheiros públicos na execução das políticas públicas que definem. Foi nesse contexto que começaram por surgir nas ISC inspiradas no modelo de Westminster (ou de auditor-geral), principalmente nos Estados Unidos da América, Austrália, Canadá e Reino Unido, instrumentos como as AR e a APP.

Também o advento do paradigma da Nova Gestão Pública (New Public Management) nas décadas de 1980 e 1990 impulsionou uma maior relevância das AR no seio da ISC, as quais têm sido objeto de extenso estudo académico (e.g. Barzelay, 1997; Funnell, 2015).

As ISC têm desenvolvido instrumentos de auditoria e avaliação orientados para o desempenho, quer das entidades públicas, sistemas administrativos, programas ou políticas públicas, constituindo um reflexo das funções que essas instituições podem desempenhar. A adoção desses instrumentos pelas ISC pode resultar também de um fenómeno denominado isomorfismo institucional, o qual pode ser de natureza coerciva, mimética ou normativa (Cordery & Hay, 2021), mesmo entre as ISC de diferentes tradições administrativas, designadamente entre as ISC do modelo de Westminster, como os controladores e auditores gerais, e as do tipo tribunal, como a CdC francesa, paradigma do modelo continental ou napoleónico (como é o adotado pelo Tribunal de Contas de Portugal).

Assim, ainda que a distinção entre as AR a APP não esteja definitivamente esclarecida, nem o debate encerrado, o desenvolvimento de uma melhor compreensão dos parâmetros em que pode assentar a comparação entre aqueles instrumentos poderá contribuir para a interpretação das funções desempenhadas pelas ISC, enquanto entidades independentes que procuram reforçar a sua legitimidade em função da relevância dos seus contributos para o funcionamento do sistema político-administrativo e benefícios para a sociedade em geral.

Nesse sentido, o presente artigo tem como objetivos: (1) apresentar a definição, objetivos e tipologias da AR; (2) salientar as tensões e o equilíbrio que a AR deve evidenciar em termos de independência e relevância; (3) recortar o conceito de APP, objetivos e tipos, bem como ilustrar de maneira sucinta como duas paradigmáticas ISC com modelos organizacionais distintos incorporaram nos seus mandatos esse instrumento de governança pública; e (4) tendo por base a literatura de referência, ilustrar a relação entre AR e APP, propondo-se um conjunto de parâmetros que permitem um comparação substantiva entre os dois instrumentos de governança pública.

AUDITORIA DE RESULTADOS

Esta secção apresenta o conceito e os objetivos da AR, uma descrição sucinta dos diferentes tipos apresentados na literatura e o equilíbrio que é necessário encontrar entre a independência e a relevância associadas a esse instrumento de governança pública.

Como as AR são concebidas a partir da seleção de temas, tópicos e formulação de questões de auditoria (tal como na investigação académica se formulam perguntas de investigação), examinando frequentemente a implementação de uma política ou políticas públicas, abrangendo as estruturas administrativas que suportam a sua execução, elas acabam por suscitar perceções acerca da intromissão das ISC na função política e executiva (Hazgui et al., 2022). Isso introduz uma tensão que desafia permanentemente a independência das ISC perante o Poder Executivo, uma vez que o que está em causa é saber se um governo está a fazer bom uso dos recursos públicos para atingir os seus objetivos políticos.

Definição e objetivos

Desde a Declaração de Lima, produzida no Congresso da Intosai de 1977, que a auditoria de resultados foi alcançando patamares concetuais e normativos a nível internacional (Intosai, 2019b). Posteriormente, no Congresso da Intosai realizado em Sydney em 1986, não só se assumiu o controlo dos resultados como extensão do mandato das ISC, como se estabeleceu como objetivo desse tipo de auditoria a melhoria da gestão pública. O conceito então aprovado referiu-a como “[uma] auditoria que se ocupa da avaliação da economia, eficiência e eficácia da gestão do sector público” (International Congress of Supreme Audit Institutions [Incosai], 1986, citado em Kells, 2011, p. 383).

As AR (ou auditorias de value for money – VfM) são exames independentes, fiáveis e objetivos sobre se a despesa pública obedeceu aos princípios da economia, eficiência e eficácia (Shand, 2016).

Em Intosai (2019e, p. 8), consta uma definição mais elaborada, em que a AR verifica se as intervenções, programas ou instituições apresentam um desempenho de acordo com os princípios da economia, eficiência e eficácia (os três “Es”) e se há margem para melhorias na consecução desses princípios. O desempenho obtido necessita de ser comparado com critérios adequados, e as causas de desconformidade com esses critérios são analisadas. O objetivo é obter resposta para as perguntas de auditoria definidas por referência àqueles três princípios e emitir recomendações que promovam a conformidade com os critérios atrás referidos.

Ao nível dos objetivos, a AR visa melhorar o VfM no setor público, a governança, a accountability e transparência, colocando nova informação no espaço público, bem como, sempre que apropriado, produzindo recomendações de melhoria (Intosai, 2019d).

Como ponto prévio, importa clarificar que conceito adotamos para accountability, o qual é multifacetado, ambíguo e pode ser perspetivado como uma virtude (um valor norteador do comportamento dos agentes públicos) ou um mecanismo (Bovens, 2010). Assim, considerando a accountability um mecanismo, a qual necessita de transparência (informação) para ser efetiva, adotamos a seguinte definição: é uma relação social e institucional que se estabelece entre uma entidade que presta contas (accountor) e uma outra que analisa as contas prestadas (accountee), que decorre num fórum público no qual a primeira entidade tem a obrigação de explicar e justificar a sua conduta e a entidade que analisa a prestação de contas pode colocar questões e efetuar um juízo, o qual pode implicar penalizações para a entidade que presta contas (Bovens, 2007, 2010).

Prosseguindo, aqueles objetivos são alcançados porque a AR incorpora um conjunto de benefícios, nomeadamente por meio da identificação de (Intosai IDI, 2021):

• desperdícios e ineficiências na prestação de serviços públicos;

• oportunidades de maximização do retorno dos investimentos no setor público;

• riscos para a concretização dos objetivos das políticas públicas; e

• matérias que são de preocupação para os cidadãos.

A AR, ao proporcionar uma base de informação acessível aos stakeholders, produzindo conhecimento analítico, pode levar à aprendizagem e melhoria, não se questionando as intenções ou decisões políticas.

Tipos

A AR tem um largo espectro, e, por esse motivo, a literatura procura identificar e caracterizar os seus diferentes tipos (e.g., Barzelay, 1997; Bowerman, 1996; Grönlund et al., 2011; Pollitt et al., 1999).

Uma distinção ampla é aquela que distingue entre AR substantiva e AR aos sistemas (sistemas de governança e gestão) relativamente ao tópico escolhido. As AR substantivas analisam determinadas dimensões das atividades desenvolvidas, como a economia, eficiência e eficácia (controlo das atividades). As AR aos sistemas incidem sobre as condições em que as atividades se desenrolam, e não sobre os resultados das atividades (controlo dos sistemas de governança e gestão), em que os critérios de auditoria baseiam-se, por exemplo, em regras e regulamentos administrativos ou boas práticas de gestão. Importa aqui ter presente que, numa determinada AR, podem coexistir elementos de substância e de sistemas.

Com base na literatura, a Tabela 1 procura sintetizar os diferentes tipos de AR.

Tabela 1
Tipos de Auditorias de Resultados

Tipo	Descrição
Auditoria à economia	O foco é o exame dos inputs (recursos) no sentido de avaliar se o custo está a ser minimizado, assegurando o nível de qualidade
Auditoria de eficiência	Analisa a relação entre os outputs (realizações) e os recursos usados na produção de bens e serviços públicos
Auditoria à eficácia dos programas	O foco consiste em avaliar se os outcomes (resultados) foram alcançados
Auditoria à capacidade de gestão	Avalia se o auditado tem condições e competências para gerir os processos e programas de modo eficiente e eficaz
Auditoria à qualidade da informação de desempenho	A informação divulgada pelos auditados sobre desempenho é auditada por referência a um conjunto de atributos (e.g., fiabilidade, relevância, tempestividade)
Auditoria à gestão de riscos	Visa alertar os responsáveis para os riscos que poderão colocar em causa o sucesso de uma política pública
Revisão de boas práticas	O intuito é, por meio de metodologias de investigação, tentar identificar os fatores que explicam as melhores práticas encontradas, permitindo a definição de critérios para outro tipo de auditorias
Revisão geral da gestão	É feita uma avaliação de uma organização em vez de uma política ou programa, procurando identificar as causas de eventuais problemas de desempenho da organização

É de salientar que esses tipos de auditoria estão associados aos critérios que forem escolhidos, em que podemos ter a coexistência de diferentes critérios numa concreta AR, alguns deles relacionados com a auditoria de conformidade (Grönlund et al., 2011; Pollitt et al., 1999, pp. 89-92).

Equilíbrio entre independência e relevância

A independência das ISC é a base da sua legitimidade social e impacto (Intosai, 2019c). Posner e Shahan (2014) identificam quatro tipos de independência: i) política; ii) organizacional; iii) funcional; e iv) financeira.

A independência política significa que a ISC não é diretamente influenciada pelo Poder Executivo (governo) ou Legislativo (parlamento), significando isso que tem a capacidade de planear e executar as suas auditorias com base em julgamentos e normas profissionais, sem prejuízo de considerar as expectativas do Poder Legislativo sobre a atividade da ISC. De facto, podemos equacionar as ISC como um mecanismo ao dispor do parlamento para controlar as atividades do governo. Nesse sentido, Streim (1994) salienta que é a existência de problemas de agência no sistema político que justifica a criação de ISC, pois os problemas decorrentes de risco moral (o governo é visto como um agente do parlamento e pode não estar a desenvolver o esforço esperado pelo principal/parlamento na implementação do programa do governo) são de maior probabilidade de ocorrência quando as ações do agente (governo) não são observáveis pelo principal (parlamento). Ora, para se constituírem como um mecanismo de produção de transparência – reduzindo os problemas de agência –, as ISC devem ser independentes.

Relativamente aos restantes três tipos de independência, e em síntese, a independência organizacional está relacionada com a nomeação, permanência e exoneração do presidente e membros da ISC, devendo os critérios estar claramente definidos no quadro legal (e.g., no nível de uma lei orgânica), bem como dispor de autonomia para a gestão dos seus recursos humanos. A independência funcional refere-se ao acesso irrestrito à informação relevante, à autonomia na escolha dos tópicos, metodologias, emissão de recomendações e publicação dos relatórios. A independência financeira significa que a ISC determina o nível de recursos financeiros necessários para executar o seu mandato e plano de atividades.

Contudo, o modo como a independência e a relevância são interpretadas pelas ISC pode afetar o resultado das auditorias, no sentido em que poderão não ter qualquer impacto na melhoria da governança e gestão públicas, o que indicia uma tensão entre a independência e a relevância (Lonsdale, 2008; Triantafillou, 2020).

Por exemplo, Triantafillou (2020) argumenta que se o objetivo da independência for interpretado como a emissão consistente de relatórios com reparos e críticas, salientando em demasia os aspetos negativos e ignorando os positivos, podem ocorrer efeitos contraproducentes, tais como uma diminuição da inovação, evitar responsabilidades e mesmo desmotivação da administração pública (Kells, 2011).

Em sentido oposto, se a relevância for perseguida em demasia, a ISC pode terminar numa situação de auditar os resultados dos seus conselhos e sugestões de melhoria, o que pode prejudicar a sua legitimidade fundada na independência. Nesse contexto, Johnsen (2019) sugere que a escolha da combinação entre independência e relevância é afetada pela composição partidária do parlamento. Por exemplo, se o governo é suportado por uma minoria parlamentar, as ISC estarão menos predispostas a emitir conselhos para melhorias de modo a evitar serem consideradas como favoráveis às políticas do governo, secundarizando a sua relevância por uma maior perceção de independência.

Essa problemática da relação entre independência e relevância está relacionada com as duas funções gerais identificadas na literatura que as ISC podem desempenhar (Bourne, 2007; English et al., 2010; Ling, 2003). Nesse sentido, uma das funções é a designada função “watchdog”, associada à zona de conforto dos auditores e relacionada com o impacto da auditoria na accountability pública. Concretiza-se por meio de uma análise ex post da aderência às regras, normas e expectativas de boa gestão pública, e o seu resultado é a divulgação de informação ao parlamento e ao público. A outra é apelidada como função “sheepdog”, em que as atividades da auditoria são direcionadas para a melhoria da governança e gestão públicas, sugerindo uma abordagem ex ante e um envolvimento proativo com os auditados. A limitação dessa função é que pode prejudicar a independência necessária para a função “watchdog” e, desse modo, diluir as fronteiras entre AR e APP (Pierre et al., 2018). Power (2003) associa a primeira função a uma lógica de imputação de responsabilidades e a segunda a uma lógica de aprendizagem, sugerindo que uma auditoria ideal deve perseguir a combinação de ambas as lógicas, pois, em certa medida, as duas funções aqui em apreço (“watchdog” e “sheepdog”) são percecionadas como incompatíveis, devido às dificuldades práticas em encontrar um equilíbrio entre ambas.

AVALIAÇÃO DE POLÍTICAS PÚBLICAS

A avaliação de políticas é uma das etapas, e última, do ciclo das políticas públicas, sendo as restantes: i) emergência de um problema; ii) inclusão do problema ou tema na agenda política; iii) seleção de alternativas; e iv) implementação (Birkland, 2020, pp. 33-34).

Conceptualização e objetivos

Existem diferentes definições de APP ou de avaliação de determinada intervenção pública com vista a provocar a mudança em determinada situação. No Reino Unido, o HM Treasury (2020, p. 9) define avaliação como a apreciação sistemática da conceção, implementação e resultados de uma intervenção. Envolve compreender como determinada intervenção está a ser, ou foi, executada, que efeitos teve, para quem e porquê. Também abrange a identificação de melhorias no processo e como as concretizar, bem como estimar os impactos e o custo-eficácia.

No quadro das ISC, a avaliação de políticas consiste num exame direcionado para a avaliação da utilidade de uma política, a qual resulta do seu desempenho em termos de objetivos, implementação, realizações (outputs), resultados (outcomes) e impactos finais (impacts), sendo que esses dois últimos elementos (resultados e impactos finais) são considerados os seus efeitos (Intosai, 2019a).

Um passo central na avaliação consiste em desenvolver uma teoria de compreensão da mudança que vai ocorrer com determinada intervenção pública, referida na literatura como Teoria da Mudança (Theory of Change). Ela consiste na existência de um modelo em que se identificam os objetivos e como uma intervenção pública contribuirá para os alcançar, impactando positivamente o sucesso da política pública. Essa conceptualização permite identificar todos os outros fatores que possam influenciar a política pública, o que é necessário medir e monitorizar de modo a compreender se os efeitos obtidos correspondem aos esperados, as causas do sucesso ou insucesso da política, para quem a política está a aportar benefícios e em que condições (Birckmayer & Weiss, 2000; HM Treasury, 2020). Trata-se de um roteiro que se apresenta com várias etapas em que é preciso descrever com rigor e entender os vários passos que levam ao alcance de uma meta de longo prazo, bem como as conexões entre as atividades do programa e os resultados que ocorrem em cada etapa do caminho (Weiss, 1995). Assim, uma teoria da mudança é uma explicação específica de como uma determinada política alcançará (por meio de projeção ou previsão) o que se propõe a alcançar (o objetivo).

Tal como a AR, os principais objetivos da APP são promover a accountability pública e a aprendizagem necessária para melhorar a governança e gestão públicas (HM Treasury, 2020; Intosai, 2019a).

Relativamente à aprendizagem, a APP promove: i) a gestão do risco de uma determinada intervenção e sua implementação; ii) a melhoria das intervenções em curso ao proporcionar evidência que apoia a tomada de decisões, auxiliando a gestão na realização dos resultados; e iii) o conhecimento daquilo que funciona (e.g., ao nível da governança e gestão), para quem e em que circunstâncias, gerando conhecimento para a conceção de políticas no futuro.

A promoção da accountability a partir da APP decorre sobretudo da evidência que é gerada sobre os efeitos da intervenção pública, podendo suscitar, por exemplo, processos de accountability política, como é o caso das interpelações e perguntas dos deputados ao governo, da comparência dos seus membros para justificar a intervenção pública em comissões parlamentares especializadas em razão da matéria, ou mesmo a criação de comissões parlamentares de inquérito, na sequência da informação veiculada pela avaliação de uma determinada política pública. Esse argumento também se aplica à AR.

Tipos

Na Tabela 2 efetua-se uma breve descrição dos tipos de avaliação, tendo por base a mais recente literatura de base profissional (GAO, 2021; HM Treasury, 2020; National Audit Office [NAO], 2022; OECD, 2020).

Tabela 2
Tipos de Avaliação de Políticas Públicas

TIPO	DESCRIÇÃO
Avaliação do processo (ou implementação)	Com um propósito formativo, ou seja, procura examinar em que medida uma política (ou programa) está a ser implementada como pretendido, produzindo os resultados esperados, em conformidade com os requisitos, conceção, normas ou expectativas dos stakeholders Pergunta a responder: O que se pode aprender com a implementação da política pública?
Avaliação dos resultados (outcomes)	Com um propósito sumativo, na medida em que se pretende avaliar se uma determinada política (ou programa) atingiu os seus resultados e como esses resultados foram (ou não) alcançados Pergunta a responder: A política pública funcionou?
Avaliação dos impactos	Com um propósito sumativo, mas em que se procura medir os efeitos de uma política (ou programa) por meio da estimativa do que teria acontecido na ausência da política (ou programa) Pergunta a responder: Que diferença fez a política pública?
Análises custo-benefício e custo-eficácia	A análise custo-benefício procura identificar todos os custos e benefícios qualitativos e quantitativos associados a uma política (ou programa), normalmente expressos em unidades monetárias. A análise custo-eficácia visa identificar todos os custos para alcançar uma meta ou objetivo e pode ser usada para identificar a alternativa com menor custo para atingir aquela meta ou objetivo Pergunta a responder: A política pública justifica os recursos consumidos?

Avaliação de políticas públicas por ISC

Como se dará nota nesta secção, a ISC dos Estados Unidos foi pioneira na introdução da avaliação de programas e políticas públicas no seu mandato.

No âmbito da Intosai, a APP mereceu particular atenção em 1992, quando foi constituído um grupo de trabalho sobre avaliação de políticas e programas de políticas públicas, composto atualmente por 26 membros, coordenado pela ISC francesa desde a sua criação até 2022, sendo atualmente a coordenação assegurada pela ISC da Suíça (mais informações sobre o Working Group on Evaluation of Public Policies and Programs [WGEPPP] em: https://wgeppp.intosaicommunity.net/).

Um dos principais resultados desse grupo de trabalho foi a aprovação em 2016 pelo Congresso da Intosai da Intosai GOV 9400 (atualmente GUID 9020), um guia de orientação na APP por ISC.

A GUID 9020 (Intosai, 2019a) define as principais características da APP, a relação com os atores administrativos e políticos responsáveis pela implementação da política pública, o planeamento da avaliação, a condução da avaliação e a apresentação dos resultados, entre outros aspetos.

A Figura 1 visa representar o processo, os pontos de contacto com a AR, bem como os elementos que são próprios da APP, tendo por base um modelo lógico (MacLaughlin & Jordan, 2010).

Figura 1
O Processo de Avaliação de Políticas Públicas

Nota: Adaptado de Intosai (2019a).

Importa aqui precisar os conceitos que são específicos da APP, tendo por base a GUID 9020. Ao passo que a relevância de uma política pública diz respeito à adequação dos seus objetivos relativamente às necessidades sociais, económicas e ambientais, a sua utilidade diz respeito ao mérito da política, tendo em conta de que modo as realizações (bens e serviços públicos produzidos) consubstanciam efeitos diretos nos resultados (outcomes) e efeitos indiretos no nível dos impactos, esperados ou não esperados, avaliados por referência às necessidades a suprir.

O ponto seguinte descreve de modo muito sintético a introdução da APP nas missões de duas ISC pertencentes a tradições e modelos distintos: i) a GAO dos Estados Unidos, a qual se baseia no modelo de Westminster, instituição do tipo Auditor-Geral (Comptroller General) e que foi pioneira a integrar a APP na sua atividade; e ii) a CdC, na França, instituição fundada no modelo napoleónico.

A Government Accountability Office

A ISC GAO, liderada por um controlador-geral (comptroller general), foi criada em 1921 por meio do Budget and Accounting Act como um agente do Congresso, do qual recebe poderes, responsabilidades e recursos para responder às suas necessidades de obter melhores informações e controlo sobre a despesa pública, nas dimensões de probidade e legalidade, desenvolvendo, à época, também atividades de fiscalização prévia (por meio da aprovação de warrants), intervindo nos processos de aprovação de despesa, endividamento e receita, tendo-lhe sido também atribuídas competências em termos de normalização contabilística (Mosher, 1979).

O desenvolvimento do sistema de planeamento, programação e orçamentação (planning-programming-budgeting system) na década de 1960, a introdução na década de 1970 do sistema de gestão por objetivos e da orçamentação de base zero proporcionaram as condições para que o mandato da GAO, por intermédio do Congressional Budget and Impoundment Control Act de 1975 (Chelimsky, 1985, p. 483), fosse expandido para incluir a avaliação de políticas públicas, por intermédio de análises de eficácia, de custo-benefício de diferentes alternativas e estudos especiais, fazendo com que algumas recomendações vertidas em relatórios se constituíssem como propostas de mudança nas políticas públicas. A GAO foi a primeira ISC a incluir no seu leque de responsabilidades a avaliação de programas e políticas (Chelimsky, 1985; Mosher, 1979).

Atualmente, a GAO examina a utilização de recursos públicos, avalia programas e atividades federais, realiza análises, indica opções, emite recomendações e outras formas de apoio ao Congresso, para que este desenvolva de modo eficaz o escrutínio político, as decisões políticas e de financiamento. Os instrumentos do GAO são: auditorias financeiras, auditorias de resultados, avaliação de programas, outros trabalhos de garantia (attestation engagements), opiniões legais, investigações e outros serviços (Shaw, 2016, p. 58).

A Cour des Comptes

A CdC é a ISC francesa, fundada em 1807 pelo Imperador Napoleão. É independente do parlamento e governo, assentando o seu mandato em quatro missões: i) julgar as contas públicas, verificando o cumprimento das normas de contabilidade pública pelos gestores públicos, podendo resultar sanções financeiras; ii) controlar, analisando a regularidade, eficiência e eficácia na utilização dos fundos públicos; iii) certificação das contas – decorrente da revisão em 2001 da Lei de Enquadramento Orçamental francesa (loi organique relative aux lois de finances – LOLF) – do Estado e da Segurança Social, visando uma opinião sobre a sua apresentação fidedigna, transparente e apropriada; e iv) avaliação de políticas públicas, no quadro geral da assistência da CdC ao parlamento e governo (Benzerafa-Alilat et al., 2021; Moscovici, 2021; NAO, 2021).

A quarta missão (avaliação de políticas públicas) foi consagrada com a revisão constitucional de 23 de julho de 2008, que permite à ISC francesa apreciar uma intervenção pública para além dos critérios da economia, eficiência e eficácia. A avaliação centra-se na relevância e impacto das políticas públicas, tendo também em conta a pertinência das necessidades que se pretendem satisfazer com elas (NAO, 2021).

AUDITORIA DE RESULTADOS E AVALIAÇÃO DE POLÍTICAS PÚBLICAS: PERSPETIVA COMPARADA

Existem quatro formas de pensar na relação entre AR e APP. Sem qualquer ordem de prioridade, a primeira consiste em assumir que são diferentes. A segunda passa por considerar que a AR é uma componente da APP. De modo inverso, a terceira defende que a APP é uma componente da AR. A quarta, que sustenta uma abordagem mais equilibrada, indica que há semelhanças e diferenças, consoante os critérios assumidos para a sua comparação (Barzelay, 1997; Peters & Pierre, 2020)

Todavia, entendemos que mais importante do que discutir o relacionamento entre as duas é procurar caracterizá-las, ainda que de uma forma estilizada, tendo em conta um conjunto de parâmetros, em que determinados elementos poderão coexistir em ambas as práticas e outros, não.

Nesse sentido, após se ter procedido nas secções anteriores a uma breve descrição dos dois instrumentos em apreço, importa agora sistematizar, com base na literatura, quais os parâmetros que permitem comparar as duas disciplinas. Desse modo, a Tabela 3 sintetiza os elementos presentes nas AR e nas APP, com base num conjunto de parâmetros (Barrados, 2020; Chelimsky, 1985, 1996; Divorski, 1996; Intosai, 2019a; Leeuw, 1992; Moscovici, 2021; Pierre et al., 2018).

Tabela 3
Parâmetros de Comparação entre Auditoria de Resultados e Avaliação de Políticas Públicas

PARÂMETRO	AUDITORIA DE RESULTADOS	AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Foco	Administração das políticas	Conceção das políticas
Critérios	Economia, eficiência e eficácia	Economia, eficiência, eficácia, relevância e utilidade Identificar também as consequências das políticas não previstas
Objeto	Entidades e programas	Programas
Independência dos atores	As ISC gozam de ampla independência das entidades ou programas auditados e do poder político Os tópicos de AR são escolhidos pela ISC, podendo ter em consideração as solicitações do poder político	As entidades avaliadoras são geralmente dependentes do poder político Os tópicos de avaliação são geralmente indicados por terceiras entidades
Metodologia	De acordo com as normas e orientações, associada aos objetivos de auditoria. De natureza mais descritiva, estabelecendo factos e não tanto as suas causas (o quê)	Originária das ciências sociais, visando responder a questões relacionadas com a eficiência e eficácia dos programas de política. De natureza mais explicativa, orientada para as causas de um determinado efeito (o porquê)
Postura	Acento tónico na identificação de problemas em vez de proporcionar aconselhamento para a melhoria da governança e gestão das políticas públicas	Acento tónico na melhoria da governança e gestão das políticas públicas, com um objetivo de aprendizagem. Pode também servir propósitos de recompensa e punição (accountability)
Posicionamento institucional	Desenvolvida por ISC Distante do processo político	Desenvolvida pela própria entidade implementadora da política pública, por entidades da administração pública e/ou consultores (e.g., empresas, academia) Pode fazer parte do mandato das ISC Faz parte do processo político, estando mais bem posicionada para aconselhar na conceção de políticas
Horizonte temporal	De mais curto prazo, podendo detetar problemas mais cedo, mas extrair conclusões prematuras sobre a utilidade de uma intervenção pública	Devido à necessidade de avaliar os impactos (ver Figura 1), é necessário um período substancial para que, além dos resultados, se produzam impactos na sociedade, muitas vezes incorporando as perspetivas dos que foram afetados pela intervenção pública
Destinatários dos relatórios	Público em geral, o poder legislativo (parlamento) e o poder executivo (governo)	O poder executivo (governo), em regra

Alguma literatura sugere que a AR está a integrar elementos que tradicionalmente estavam associados à APP, o que também é demonstrativo do alargamento do âmbito da AR (Peters & Pierre, 2020; Pierre et al., 2018). Tendo em conta a Tabela 3, tal significa que determinados elementos da APP referenciados a certos parâmetros, constituindo o seu conteúdo, passam a estar presentes no conteúdo dos parâmetros da AR. Por exemplo, aspetos metodológicos da APP integrarem a metodologia de determinada AR. Quando tal acontece, a AR passa a formular perguntas diferentes e mais desafiadoras, cuja resposta apela a competências analíticas para a produção de conhecimento cientificamente válido sobre os resultados e impactos de uma determinada política pública.

Importa aqui salientar que desenvolver políticas públicas sem uma base apropriada de conhecimento levará a falhas na análise dos problemas socioeconómicos e na escolha dos instrumentos de política adequados para lhes dar resposta. Assim, devem existir instituições responsáveis por criar esse conhecimento, desenvolvendo práticas como a AR e a APP. Reconhecendo que a base profissional é diferenciada, ambas as práticas (ou disciplinas) produzem conhecimento que é central para a consecução dos objetivos da accountability pública e da melhoria da governança e gestão públicas.

Em vez de uma competição para ocupar um determinado campo institucional estanque, a nossa visão consiste numa complementaridade entre a AR e a APP, pois ambas são importantes para a produção de informação útil para a qualidade do ciclo das políticas públicas (ver Secção Avaliação de Políticas Públicas), tornando as intervenções públicas mais efetivas, adequadas às necessidades dos cidadãos, mais responsáveis, mais bem governadas e geridas (Chelimsky, 1996).

CONCLUSÕES

Com o presente artigo, pretendeu-se apresentar uma breve descrição da AR e da APP como dois instrumentos de governança pública, os quais partilham em comum os objetivos: i) da promoção da transparência necessária para a accountability pública; e ii) da melhoria da governança e gestão públicas.

Da revisão da literatura efetuada, parece resultar um trajeto que revela uma certa transferibilidade de aspetos (elementos dos parâmetros identificados na Tabela 3) da APP para o campo de AR e vice-versa, numa espécie de fertilização cruzada, razão pela qual se mantém atual o debate sobre os parâmetros em que assenta a sua distinção e elementos que integram o respetivo conteúdo.

Entendemos que o maior desafio não reside tanto na distinção entre esses instrumentos, mas em saber qual a relevância deles em termos de utilidade para os decisores públicos, parlamentares e outros stakeholders, enquanto contributos para a promoção da accountability, mudança e melhorias, tanto na atividade administrativa como na formulação e gestão de políticas públicas.

Ao contrário da avaliação, as AR não têm como propósito pronunciarem-se sobre o mérito dos próprios objetivos de política pública, a sua utilidade e relevância. O duplo propósito de promoção da accountability e de melhoria permite que as AR abordem o sucesso das soluções implementadas. Nessas circunstâncias, caso influenciem as agendas políticas, contribuam para a tomada de decisão, reformulação ou até extinção das políticas públicas, seja por atraírem o interesse dos decisores políticos, seja porque foram solicitadas pelos parlamentos ou pelos próprios governos, então poderá admitir-se que concorrem com as avaliações, mas com elas não se confundem, uma vez que a génese das ISC que as produzem radica na função de controlo externo, e não em unidades técnicas ministeriais ou outras agências públicas ou não governamentais. Mesmo assim, tal não exclui a possibilidade de existirem ISC que realizam AR e APP (e.g., GAO e CdC), desempenhando explicitamente, e nesse último caso, um papel mais próximo da assessoria no processo político.

Nesse âmbito, consideramos que quanto mais relevante a ISC pretende ser junto do respetivo parlamento, maior deverá ser a inclusão de elementos tradicionalmente associados à APP nas AR ou então a APP passar a fazer parte do seu mandato, como aconteceu com a CdC (Benzerafa-Alilat et al., 2021; Moscovici, 2021), o que poderá ter como benefício uma melhor delimitação das funções “watchdog” e “sheepdog”.

Podemos então sugerir que as APP, quando realizadas por ISC, afastam-nas da função mais tradicional do tipo “watchdog”, que denuncia, corrige e sanciona, e atraem-nas para outro perfil funcional, porventura de natureza mais pedagógica, associada à função de “sheepdog”, com consideração de cenários e riscos associados, alertas e conselhos, com o objetivo último de contribuir para a melhoria da governança e gestão públicas (Ling, 2003; Viana et al., 2022).

Julgamos que será de aceitação geral que a gestão e governança públicas, nos seus diferentes níveis, em sociedades cada vez mais complexas, devem basear-se em evidência (ou informação) de qualidade, resultando de métodos científicos, de natureza quantitativa e qualitativa. A AR e a APP concorrem para a produção daquela evidência. Contudo, muitas das escolhas políticas, e dos instrumentos de implementação associados, têm assentado mais na ideologia do que em evidência cientificamente construída (Peters & Nagel, 2024).

Por fim, considerando a atenção conferida à APP por parte de ISC paradigmáticas (GAO e a CdC) e da própria Intosai, poderá estar a ocorrer um fenómeno de isomorfismo institucional do tipo mimético e/ou normativo, neste caso entre as ISC de diferentes tradições político-administrativas (Cordery & Hay, 2021). O desenvolvimento desse fenómeno ditará no futuro a dinâmica do debate que anima o relacionamento entre a AR e a APP.

NOTA

• Em Portugal, a tradução adotada para Supreme Audit Institutions é Instituições Superiores de Controlo. O termo 'controlo' é utilizado em vez de 'auditoria', por ser mais abrangente e incluir a auditoria como uma de suas funções.
• Avaliado pelo sistema de revisão duplo-anônimo.

REFERÊNCIAS

• Barrados, M. (2020). Introduction. In M. Barrados & J. Lonsdale (Eds.), Crossover of audit and evaluation practices (pp. 1-12). Routledge.
• Barzelay, M. (1997). Central audit institutions and performance auditing: A comparative analysis of organizational strategies in the OECD. Governance, 10(3), 235-260. https://doi.org/10.1111/0952-1895.411997041
  » https://doi.org/10.1111/0952-1895.411997041
• Benzerafa-Alilat, M., Tandilashvili, N., & Friscia, M. (2021). New development: Diversification of the Cour des comptes’ activities – A necessary modernization or an identity evolution? Public Money & Management, 41(6), 491-493. https://doi.org/10.1080/09540962.2021.1934230
  » https://doi.org/10.1080/09540962.2021.1934230
• Birckmayer, J. D., & Weiss, C. H. (2000). Theory-Based evaluation in practice: What do we learn? Evaluation Review, 24(4), 407-431. https://doi.org/10.1177/0193841x0002400404
  » https://doi.org/10.1177/0193841x0002400404
• Birkland, T. (2020). An introduction to the policy process: Theories, concepts, and models of public policy making (5fh ed.). Routledge.
• Bourne, J. (2007). Public sector auditing: Is it value for money? John Wiley and Sons.
• Bovens, M. (2007). Analysing and assessing accountability: A conceptual framework. European Law Journal, 13(4), 447-468. https://doi.org/10.1111/j.1468-0386.2007.00378.x
  » https://doi.org/10.1111/j.1468-0386.2007.00378.x
• Bovens, M. (2010). Two concepts of accountability: Accountability as a virtue and as a mechanism. West European Politics, 33(5), 946-967. https://doi.org/10.1080/01402382.2010.486119
  » https://doi.org/10.1080/01402382.2010.486119
• Bowerman, M. (1996). The Rise and fall of value for money auditing. In I. Lapsley & F. Mitchell (Eds.), Accounting and performance measurement: Issues in the private and public sectors (pp. 193-212). London: Paul Chapman Publishing
• Chelimsky, E. (1985). Comparing and contrasting auditing and evaluation: Some notes on their relationship. Evaluation Review, 9(4), 483-503. https://doi.org/10.1177/0193841X8500900406
  » https://doi.org/10.1177/0193841X8500900406
• Chelimsky, E. (1996). Auditing and evaluation: Whither the relationship? New Directions for Evaluation, 1996(71), 61-67. https://doi.org/https://doi.org/10.1002/ev.1043
  » https://doi.org/https://doi.org/10.1002/ev.1043
• Cordery, C., & Hay, D. (2021). Public sector audit Routledge.
• Divorski, S. (1996). Differences in the approaches of auditors and evaluators to the examination of government policies and programs. New Directions for Evaluation, 1996(71), 7-14. https://doi.org/https://doi.org/10.1002/ev.1039
  » https://doi.org/https://doi.org/10.1002/ev.1039
• English, L. M., Guthrie, J., Broadbent, J., & Laughlin, R. (2010). Performance audit of the operational stage of long‐term partnerships for the private sector provision of public services. Australian Accounting Review, 20(1), 64-75. https://doi.org/10.1111/j.1835-2561.2010.00075.x
  » https://doi.org/10.1111/j.1835-2561.2010.00075.x
• Funnell, W. (2015). Performance auditing and adjudicating political disputes. Financial Accountability & Management, 31(1), 92-111. https://doi.org/10.1111/faam.12046
  » https://doi.org/10.1111/faam.12046
• Government Accountability Office. (2021). Program evaluation: Key terms and concepts https://www.gao.gov/products/gao-21-404sp
  » https://www.gao.gov/products/gao-21-404sp
• Grönlund, A., Svärdsten, F., & Öhman, P. (2011). Value for money and the rule of law: The (new) performance audit in Sweden. International Journal of Public Sector Management, 24(2), 107-121. https://doi.org/10.1108/09513551111109026
  » https://doi.org/10.1108/09513551111109026
• Grossi, G., Hay, D. C., Kuruppu, C., & Neely, D. (2023). Changing the boundaries of public sector auditing. Journal of Public Budgeting, Accounting & Financial Management, 35(4), 417-430. https://doi.org/10.1108/JPBAFM-05-2023-0079
  » https://doi.org/10.1108/JPBAFM-05-2023-0079
• Hazgui, M., Triantafillou, P., & Christensen, S. E. (2022). On the legitimacy and apoliticality of public sector performance audit: Exploratory evidence from Canada and Denmark. Accounting, Auditing & Accountability Journal, 35(6), 1375-1401. https://doi.org/10.1108/AAAJ-04-2020-4508
  » https://doi.org/10.1108/AAAJ-04-2020-4508
• HM Treasury. (2020). The magenta book https://assets.publishing.service.gov.uk/media/5e96cab9d3bf7f412b2264b1/HMT_Magenta_Book.pdf
  » https://assets.publishing.service.gov.uk/media/5e96cab9d3bf7f412b2264b1/HMT_Magenta_Book.pdf
• Institute of Internal Auditors. (2012). The role of auditing in public sector governance https://na.theiia.org/standards-guidance/Public%20Documents/Public_Sector_Governance1_1_.pdf
  » https://na.theiia.org/standards-guidance/Public%20Documents/Public_Sector_Governance1_1_.pdf
• International Organization of Supreme Audit Institutions. (2019a). GUID 9020 – Evaluation of public policies. https://www.issai.org/pronouncements/guid-9020-evaluation-of-public-policies/
  » https://www.issai.org/pronouncements/guid-9020-evaluation-of-public-policies/
• International Organization of Supreme Audit Institutions. (2019b). INTOSAI-P 1 – The Lima Declaration https://www.issai.org/pronouncements/intosai-p-1-the-lima-declaration/
  » https://www.issai.org/pronouncements/intosai-p-1-the-lima-declaration/
• International Organization of Supreme Audit Institutions. (2019c). INTOSAI-P 10 – The Mexico Declaration on SAI Independence
• International Organization of Supreme Audit Institutions. (2019d). ISSAI 300 – Performance audit principles https://www.issai.org/pronouncements/issai-300-performance-audit-principles/
  » https://www.issai.org/pronouncements/issai-300-performance-audit-principles/
• International Organization of Supreme Audit Institutions. (2019e). ISSAI 3000 - Performance audit standard. https://www.issai.org/professional-pronouncements/?n=3000-3899
  » https://www.issai.org/professional-pronouncements/?n=3000-3899
• International Organization of Supreme Audit Institutions. (2019f). ISSAI - 100 – Fundamental principles of public-sector auditing https://www.issai.org/pronouncements/issai-100-fundamental-principles-of-public-sector-auditing/
  » https://www.issai.org/pronouncements/issai-100-fundamental-principles-of-public-sector-auditing/
• International Organization of Supreme Audit Institutions IDI. (2021). Performance audit: ISSAI implementation handbook. https://www.idi.no/work-streams/professional-sais/work-stream-library/performance-audit-issai-implementation-handbook
  » https://www.idi.no/work-streams/professional-sais/work-stream-library/performance-audit-issai-implementation-handbook
• Johnsen, Å. (2019). Public sector audit in contemporary society: A short review and introduction. Financial Accountability & Management, 35(2), 121-127. https://doi.org/10.1111/faam.12191
  » https://doi.org/10.1111/faam.12191
• Kells, S. (2011). The seven deadly sins of performance auditing: Implications for monitoring public audit institutions. Australian Accounting Review, 21(4), 383-396. https://doi.org/10.1111/j.1835-2561.2011.00150.x
  » https://doi.org/10.1111/j.1835-2561.2011.00150.x
• Leeuw, F. L. (1992). Performance auditing and policy evaluation: Discussing similarities and dissimilarities. Canadian Journal of Program Evaluation, 7(1), 53-68. https://doi.org/10.3138/cjpe.07.004
  » https://doi.org/10.3138/cjpe.07.004
• Ling, T. (2003). Ex ante evaluation and the changing public audit function: The scenario planning approach. Evaluation, 9(4), 437-452. https://doi.org/10.1177/135638900300900405
  » https://doi.org/10.1177/135638900300900405
• Lonsdale, J. (2008). Balancing independence and responsiveness: A practitioner perspective on the relationships shaping performance audit. Evaluation, 14(2), 227-248. https://doi.org/10.1177/1356389007087541
  » https://doi.org/10.1177/1356389007087541
• MacLaughlin, J., & Jordan, G. (2010). Using logic models. In J. Wholey, H. Hatry, & K. Newcomer (Eds.), Handbook of practical program evaluation (3rd ed., pp. 55-80). John Wiley & Sons.
• Moscovici, P. (2021). La experiencia de la Cour des comptes de Francia en la evaluación de las políticas públicas. Revista Española de Controlo Externo, XXIII(68), 10-25.
• Mosher, F. C. (1979). The GAO: The quest for accountability in American government Westview.
• National Audit Office. (2021). Peer review of the Cour des Comptes https://www.ccomptes.fr/system/files/2021-03/202102-UK-NAO-Peer-review-of-the-French-Cour-des-comptes-English.pdf
  » https://www.ccomptes.fr/system/files/2021-03/202102-UK-NAO-Peer-review-of-the-French-Cour-des-comptes-English.pdf
• National Audit Office. (2022). Evaluating government spending: an audit framework https://web.archive.org/web/20220412080353id_/https:/www.nao.org.uk/wp-content/uploads/2022/04/Evaluating-government-spending-an-audit-framework.pdf
  » https://web.archive.org/web/20220412080353id_/https:/www.nao.org.uk/wp-content/uploads/2022/04/Evaluating-government-spending-an-audit-framework.pdf
• Organization for Economic Co-operation and Development. (2016). Supreme audit institutions and good governance: Oversight, insight and foresight OECD Publishing.
• Organization for Economic Co-operation and Development. (2020). Improving Governance with policy evaluation OECD Publishing.
• Peters, B. G., & Nagel, M. L. (2024). Zombie Ideas: Policy pendulum and the challenge of effective policymaking. Policy Quarterly, 20(1), 10-15. https://doi.org/10.26686/pq.v20i1.9047
  » https://doi.org/10.26686/pq.v20i1.9047
• Peters, B. G., & Pierre, J. (2020). From evaluation to auditing and from programs to institutions: Causes and consequences of the decline of the program approach. Governance, 33(3), 585-597. https://doi.org/10.1111/gove.12455
  » https://doi.org/10.1111/gove.12455
• Pierre, J., Peters, B. G., & Licht, J. de F. (2018). Is auditing the new evaluation? Can it be? Should it be? International Journal of Public Sector Management, 31(6), 726-739. https://doi.org/10.1108/IJPSM-08-2017-0219
  » https://doi.org/10.1108/IJPSM-08-2017-0219
• Pollitt, C., Girre, X., Lonsdale, J., Mul, R., Summa, H., & Waerness, M. (1999). Performance or compliance? Performance audit and public management in five countries Oxford University Press.
• Posner, P., & Shahan, A. (2014). Audit institutions. In M. Bovens, R. Goodin, & T. Schillemans (Eds.), The Oxford handbook of public accountability (pp. 488-506). Oxford University Press.
• Power, M. (2003). Evaluating the audit explosion. Law & Policy, 25(3), 185-202. https://doi.org/10.1111/j.1467-9930.2003.00147.x
  » https://doi.org/10.1111/j.1467-9930.2003.00147.x
• Shand, M. (2016). External audit. In R. Allen, R. Hemming, & B. Potter (Eds.), The international handbook of public financial management (pp. 817-836). Palgrave Macmillan.
• Shaw, T. (2016). Performance budgeting practices and procedures. OECD Journal on Budgeting, 15(3), 65-136. https://doi.org/10.1787/budget-15-5jlz6rhqdvhh
  » https://doi.org/10.1787/budget-15-5jlz6rhqdvhh
• Streim, H. (1994). Agency problems in the legal political system and supreme auditing institutions. European Journal of Law and Economics, 1, 177-191. https://doi.org/10.1007/BF01552469
  » https://doi.org/10.1007/BF01552469
• Triantafillou, P. (2020). Playing a zero‐sum game? The pursuit of independence and relevance in performance auditing. Public Administration, 98(1), 109-123. https://doi.org/10.1111/padm.12377
  » https://doi.org/10.1111/padm.12377
• Viana, L., Moreira, J. A., & Alves, P. (2022). State audit of public–private partnerships: Effects on transparency, auditor’s roles, and impact on auditee’s reactions. Financial Accountability & Management, 38(4), 633-660. https://doi.org/10.1111/faam.12342
  » https://doi.org/10.1111/faam.12342
• Weiss, C. (1995). Nothing as practical as good theory: Exploring Theory-based evaluation for comprehensive community initiatives for children and families. In J. Connell, A. Kubisch, L. Schorr, & C. Weiss (Eds.), New approaches to evaluating community initiatives: Concepts, methods, and contexts (pp. 65-92). The Aspen Institute.

Editado por

• Editores convidados:
  Albino Alves Simione, Ana Lúcia Romão, Daniel Matos Caldeira, Elisa Rangel Nunes, Luís Ortet da Veiga, Marco Antônio Carvalho Teixeira, Maria das Neves Ceita Batista de Sousa

Datas de Publicação

• Publicação nesta coleção
  25 Ago 2025
• Data do Fascículo
  2025

Histórico

• Recebido
  06 Jun 2023
• Aceito
  23 Ago 2024