Meta-avaliação de auditorias de natureza operacional do tribunal de contas da união

Meta-evaluation of an operational audit of the brazilian court of audit

ARTIGOS

Meta-avaliação de auditorias de natureza operacional do tribunal de contas da união

Meta-evaluation of an operational audit of the brazilian court of audit

Helga Cristina Hedler^I,*; Cláudio Vaz Torres^II

^IDoutora em Psicologia pelo PG- PSTO/UnB, Brasília/DF, Brasil

^IIDoutor pela California School of Professional Psychology, Estados Unidos. Professor do PSTO/UnB, Brasília/DF, Brasil

RESUMO

O objetivo geral desta pesquisa foi propor um modelo de meta-avaliação e aplicá-lo à auditoria de natureza operacional [ANOP] do Tribunal de Contas da União, meta-avaliando seus critérios, padrões, validade e confiabilidade dos procedimentos e resultados das ANOPs. Para tal, delimitaram-se os conceitos de auditoria, avaliação e meta-avaliação. O referencial teórico que sustenta o modelo proposto provém da abordagem metodológica qualitativa e adota estes procedimentos: síntese de categorias da análise de conteúdo; agrupamento dedutivo de critérios Joint Committee e Síntese de Estudos Qualitativos. Conceitua-se meta-avaliação como uma avaliação de outra avaliação, considerando como parâmetros para a análise: metodologia; seleção dos sujeitos; objetivos; critérios e análise dos resultados. Analisaram-se dez auditorias de áreas de atuação do governo. Os resultados demonstram forças das ANOPs, como avaliação do contexto e checagem de características dos programas e fraquezas relacionadas principalmente à aplicação dos métodos e técnicas da auditoria. Conclui-se descrevendo as dificuldades metodológicas para a realização das auditorias e apresentam-se sugestões para melhor aplicação da ANOP do tribunal.

Palavra-chave: auditoria de natureza operacional; meta-avaliação; programas sociais; avaliação de programas.

ABSTRACT

The general purpose of this study was to present a model of meta-evaluation applied to the performance audit of the Brazilian Court of Audit. This consisted of meta-evaluating its procedures such as criteria, standards, validity, trustworthiness and its results. Auditing, evaluation and meta-evaluation were also conceptualized. The theoretical approach used was based on qualitative methods and their procedures: synthesis of analysis content, deductive grouping criteria from Joint Committee criteria and Qualitative Synthesis Studies. Meta-evaluation was defined as evaluation from other evaluation considering its aspects: methodology; subject selection, purpose, criteria and results analysis. Ten audits of government performance were analyzed. The results showed weakness of methods and techniques used to evaluate the program context and criteria related to applying audit methods and techniques. To conclude, other difficulties of the audit process were demonstrated and there are also suggestions on how to improve it.

Key words: audit; meta-evaluation; social programs; evaluation programs.

INTRODUÇÃO

Este artigo está dividido em quatro partes. A primeira apresenta conceitos de avaliação e o modelo de meta-avaliação; a segunda, a aplicação do método; a terceira, os resultados; e a quarta, a discussão e possíveis conclusões. Da avaliação de programas, AP, resultam hoje diversos modelos de ação, seja para a realização de avaliações somativas, formativas ou outro tipo de avaliação. Neste artigo a modalidade discutida foi a meta-avaliação. Enquanto contribuição metodológica, propôs-se um conceito e um modelo de etapas para a realização da meta-avaliação.

A avaliação somativa é aquela realizada quando o programa já foi implantado, ou seja, é uma intervenção em funcionamento, para atingir objetivos propostos. Por esse motivo ela também é chamada de avaliação ex post (Ala-Harja & Sigurdur, 2000). A avaliação formativa é realizada na implantação de um programa e pode ser designada como tipo de avaliação intermediária, como forma de obter conhecimento do programa. O objetivo dessa avaliação é subsidiar o processo de gestão do programa, como forma de retroalimentação, em termos de sua implantação e desenvolvimento (Posavac & Carey, 2003). A meta-avaliação é um tipo de avaliação formativa. Avaliar determinando o mérito, custo e valor, também é uma tarefa necessária que se estende aos programas; políticas públicas; projetos privados; regulamentos públicos; intervenções públicas ou privadas. Além disso, a avaliação de programas, AP, ou pesquisa avaliativa, vai além desse conceito e envolve uma discussão do conceito de avaliação enquanto método, disciplina e estabelecimento de padrões científicos. De acordo com Barreira (2002, p. 22), "O desenvolvimento da pesquisa avaliativa traz no cerne não apenas a importância da avaliação como o modo de julgar processos ou ações, mas traz a apreensão de que a avaliação é produção de conhecimento".

Nesse sentido, as meta-avaliações possuem três características principais: 1) são sínteses de achados sobre avaliação de programas e inferências sobre o desempenho do programa, a partir dos resultados encontrados; 2) informam sobre a validade e utilidade dos métodos de avaliação e oferecem direção sobre sua utilidade para avaliar; e 3) fornecem forte evidência do impacto do programa, subsidiando a tomada de decisão do gestor (Woodside & Sakay, 2001). Conseqüentemente, os resultados da meta-avaliação auxiliam e justificam o aumento da confiança dos gestores e policy makers (tomadores de decisão) dos programas no uso dos resultados das avaliações.

Para fins de compreensão esclarecemos que há dois tipos de meta-avaliação: a centrada na avaliação e a centrada no cliente. A primeira é detalhada nesta pesquisa e a segunda pode ser descrita, brevemente, como forma de aproximar os resultados produzidos pela avaliação, ao uso pelos clientes das avaliações (Reineke & Welch, 1986); conforme Woodside & Sakay (2001), está mais relacionada ao desempenho, impacto do programa e tomada de decisão do gestor.

A meta-avaliação centrada na avaliação enfatiza o componente metodológico, principalmente utilidade e validade, podendo assumir a forma de: críticas profissionais aos relatórios de avaliações; procedimentos de re-análise de dados originais, às vezes com hipóteses diferentes; ou ainda, coletar novas informações sobre os programas (Woodside & Sakay, 2001). Assim, analisa os resultados de diferentes avaliações sobre os programas, até mesmo de unidades ou componentes do programa para verificar seu impacto global.

Por outro lado, o governo brasileiro desenvolve suas políticas por meio de programas e serviços para incidir sobre diferentes problemáticas sociais. Nesse sentido, atua em áreas como agricultura, assistência social, cidadania, educação, energia, habitação, meio ambiente, saúde e trabalho.

Assim, inicia-se o aspecto que ensejou a realização desta pesquisa, a necessidade de conhecer e avaliar o trabalho de uma instituição, o Tribunal de Contas da União [TCU] que atua na regulação e proteção dos interesses públicos e que tem como função precípua o controle do gasto do uso dos recursos públicos, detendo-nos na auditoria de natureza operacional, ANOP, utilizada pelo tribunal como sinônimo de avaliação e aplicada na avaliação de programas sociais. Nesse sentido, as questões que nortearam a pesquisa foram: a metodologia avaliativa do TCU, a ANOP, é efetiva quanto à validade e confiabilidade dos achados em relação aos programas sociais auditados? A finalidade da ANOP configura-se como avaliação ou auditoria? Há regularidade na forma de conduzir as auditorias nas diferentes áreas, consistente com a abordagem avaliativa do TCU?

Assim, o objetivo geral desta pesquisa é meta-avaliar a auditoria de natureza operacional do TCU, seus critérios e padrões, verificando-se a validade e confiabilidade dos procedimentos e resultados. Para tal:

. analisar a metodologia avaliativa do TCU e a extensão com que serve à análise dos diferentes programas nas áreas de governo;

. identificar os pontos fortes a serem ressaltados e os deficientes a serem melhorados no processo de ANOP, mediante a checagem de critérios de qualidade de avaliações do Joint Committee;

. descrever as variáveis associadas a ANOP nos dez casos analisados mediante análise de conteúdo e síntese de categorias;

. caracterizar as práticas auditoria e avaliação de programas; e,

. propor contribuições da área de avaliação de programas, em termos do processo de ANOP realizado pelo TCU.

Para atingir esses objetivos e responder às questões propostas, vejamos inicialmente o que vem a ser meta-avaliação e as diretrizes para a sua aplicação.

Meta-avaliação: Conceitos

O termo avaliação da avaliação foi criado por Orata em 1940 e meta-avaliação por Scriven em 1969 (Cook & Gruder, 1978). Pode-se afirmar que teve início em 1960, quando avaliadores como Scriven, Stake e Stufflebeam começaram a discutir os procedimentos e critérios formais da meta-avaliação (Worthen, Sanders, & Fitzpatrick, 2004). Esse conceito teve dois direcionamentos: primeiro, foi concebido como uma auditoria de fiscalização; e segundo, foi introduzido para estabelecer a validade das pesquisas naturalísticas ou qualitativas por Guba e Lincoln (Schwandt, 1989).

Uma meta-avaliação é uma nova avaliação de um estudo avaliativo concluído; e considera aspectos como: metodologia; seleção dos sujeitos; objetivos; critérios utilizados; resultados e análises produzidos pela avaliação objeto do estudo (Patton, 2001). Assim, Schwandt (1989) afirma que a meta-avaliação é um método para checar a qualidade da avaliação anterior e, para isso, exige o exame do método da avaliação e dos procedimentos que levaram aos resultados e conclusões.

Isto mostra que os seus resultados não estão necessariamente relacionados a falhas na avaliação anterior e sim à melhoria de um processo; esta foi a ênfase da pesquisa. A meta-avaliação exige um conjunto de procedimentos, padrões e critérios para julgamento da qualidade da avaliação (Schwandt, 1989).

A partir do entendimento desses autores (Patton, 2001; Schwandt, 1989; Woodside & Sakai, 2001; Worthen et al., 2004), propõe-se a definição de 'meta-avaliação como um método de pesquisa a partir do qual são reanalisadas uma ou mais etapas dos estudos avaliativos já concluídos; comparando-se a avaliação anterior com padrões de qualidade e validade aceitos na comunidade científica, emitindo-se nova avaliação sobre o estudo avaliativo'.

Conceituada meta-avaliação apresentamos seus padrões e critérios. Lembramos que há diferentes padrões de conduta e qualidade para os auditores na área de auditoria governamental, financeira e de desempenho. Na área de avaliação de programas governamentais também não há um único conjunto de padrões para a conduta do auditor e meta-avaliador (Schwandt, 1989). Por exemplo, o Instituto Americano de Certificação de Auditoria Pública e Código de Ética divulga os Generally Accepted Auditing Standards [GAAS], que são guias de conduta e fornecem diretrizes para a auditoria. Outras associações internacionais como o Joint Committee [JC] e o Evaluation Research Society [ERS] oferecem uma padronização de procedimentos para a realização de APs e meta-avaliações que são conceitos e técnicas utilizadas pelos avaliadores.

No modelo desta pesquisa adotaram-se as diretrizes do Joint Committee [JC]. Tais diretrizes foram incialmente desenvolvidas por Stufflebeam em 1975, autorizadas pelo Joint Committee on Standards for Educational Evaluation, conhecido desde então como Joint Committee, que publicou o Standards for evaluations of educational programs, projects, and materials, em 1981 (Worthen et al., 2004).

As diretrizes abrangem 30 tópicos e apresentam definições, fundamentos lógicos, diretrizes, erros comuns e descrição de práticas de avaliação, por meio de exemplos de casos. As normas para a avaliação de programas são estas: utilidade, viabilidade, propriedade e precisão (Stufflebeam & Shinkfield, 1987).

Normas de utilidade são dirigidas aos responsáveis diretos pela avaliação e devem ajudar a identificar o funcionamento do objeto avaliado, proporcionando informações oportunas sobre as virtudes, defeitos e a forma de melhorá-los. As normas de viabilidade referem-se ao emprego de procedimentos avaliativos que possam ser utilizados sem gerar maiores problemas. As normas sobre ética na avaliação referem-se a compromissos que asseguram a cooperação, proteção e direitos dos participantes envolvidos na avaliação e a honestidade dos resultados. As normas de precisão descrevem o objeto avaliado com clareza na sua evolução e no seu contexto, revelando as virtudes e os defeitos do planejamento da avaliação, dos procedimentos e das conclusões.

Diante disso, apresentam-se cinco pressupostos que deram origem ao modelo de meta-avaliação desenvolvido por esta pesquisadora.

Pressupostos do Modelo de Meta-avaliação

Os itens apresentados na Figura 1, após os pressupostos, ilustram a relação entre os componentes do modelo. A seguir os pressupostos:

1) Meta-avaliações incidem sobre programas que intervêm na realidade social e tal realidade influencia os programas, as avaliações e a meta-avaliação. A realidade social envolve as características da população-alvo, o problema social enfrentado e a política pública que gerou o programa ou a avaliação.

2) Estudos meta-avaliativos contemplam avaliações de programas em quaisquer fases do seu desenvolvimento, seja ex-ante, intermediária ou ex-post e podem ser utilizadas para avaliar desenhos avaliativos como os seguintes: avaliação de programas, políticas, planos, projetos e auditorias.

3) A meta-avaliação utiliza um conjunto de critérios de qualidade para assegurar sua validade e confiabilidade. Os padrões adotados no modelo são os do Joint Committee referentes às normas de utilidade, viabilidade, ética na avaliação e normas de precisão.

Normas de utilidade: descrição dos potenciais usuários; credibilidade do avaliador; alcance e seleção da informação; interpretação de valores; clareza, disseminação e oportunidade do relatório; impacto da avaliação.

Normas de viabilidade: rocedimentos práticos; viabilidade política; custo-efetividade.

Normas sobre ética: acordo formal; conflito de interesses; informações completas e claras; direito do público de conhecer; direitos humanos; relações humanas; informação equilibrada; responsabilidade fiscal.

Precisão: identificação do objeto; análise de contexto; descrição das finalidades e procedimentos; fontes de informação confiáveis; validade; fidedignidade; controle sistemático dos dados; análise de informações quantitativas e qualitativas; conclusões justificadas; objetividade do relatório e Meta-avaliação⁽¹).

4) O conjunto de técnicas e procedimentos de análise para se chegar ao resultado final - a emissão de um novo juízo valorativo -foi a conjugação de técnicas e modelos como estes: a análise de conteúdo (Bardin, 1977); síntese de categorias (Ribeiro, 2004); modelos conceituais da área específica do programa e a comparação desses resultados entre si (Patton, 2001).

5) A nova avaliação, baseada nos resultados das análises provenientes da aplicação das técnicas do passo anterior, subsidia o julgamento do estudo avaliativo, permitindo a emissão da nova avaliação. A nova avaliação apresentará, em relação à avaliação anterior, os pontos fortes a serem ressaltados e os pontos fracos a serem corrigidos.

Considerando-se esses pressupostos, ilustra-se o modelo na Figura 1.

METODOLOGIA

O delineamento foi de natureza exploratória, configurando-se como meta-avaliação. Investigou-se a ANOP do TCU e o tipo de suporte oferecido aos programas auditados nas diferentes áreas de governo.

Amostra

A base empírica da meta-avaliação foram 10 auditorias. A amostra é estatística, estratificada e intencional. Analisaram-se 1.206 páginas dos relatórios de planejamento e de auditoria.

Descrição da Amostra

A amostra foi formada por dez programas sociais: Programa Novo Mundo Rural -Consolidação de Assentamentos; Programa Combate ao Abuso e à Exploração Sexual de Crianças e Adolescentes; Reinserção Social do Adolescente em Conflito com a Lei; Programa Desenvolvimento do Turismo no Nordeste [Prodetur/NE]; Programa de Desenvolvimento Sustentável de Recursos Hídricos para o Semi-Árido Brasileiro Pró-Água/Semi-Árido; Energia das Pequenas Comunidades; Morar Melhor; Programa Nacional do Livro Didático [PNLD]; Monitoramento e Prevenção da Mortalidade Materna e Programa Novo Emprego e Seguro-Desemprego.

Procedimento de Coleta e Análise de Dados

Os relatórios foram obtidos mediante solicitação escrita ao TCU. Foram analisadas as etapas de planejamento, execução e resultados. Os procedimentos de análise de dados estão detalhados abaixo.

Checagem de Critérios de Acordo com Joint Committee

Trabalhou-se com 20 critérios do JC. Na análise da Questão 2 (treinamento adequado da equipe para realizar ANOP), consideraram-se equipes com treinamento adequado, aquelas com pontuações positivas (sim = 3), em pelo menos 70% das questões (13 questões); com treinamento parcial, pontuações entre 50 e 69%, (entre 9 e 12 questões) e sem treinamento, pontuações maiores ou iguais a 49% dos itens (menos de 9 questões).

Na Questão 3, considerou-se que houve participação de consultores, quando consultores/especialistas foram contratados/consultados. Participação somente em uma fase (planejamento ou execução) foi considerada parcial e não houve participação, quando não foram contratados/consultados. Na Questão 18 as medidas para garantir o mínimo de erros referem-se à aplicação de teste-piloto, adoção de grupo de controle, coleta de dados antes e depois, escolha aleatória da amostra, ou procedimentos para controlar ameaças à validade interna e externa. As demais questões foram respondidas de acordo com a escala de 0 a 3, onde: 0 = não se aplica, 1 = não; 2 = parcialmente e 3 = sim.

Análise de Conteúdo

Utilizou-se a análise de conteúdo, por meio da análise temática (Bardin, 1977). A análise de conteúdo das 19 categorias produzidas foi submetida a três juízes. Os critérios utilizados foram: exaustividade; representatividade; homogeneidade; pertinência e exclusividade. As categorias foram criadas de forma indutiva. Apenas a categoria objetivos do programa foi dedutiva, com os temas: implantação; intermediário e final (Aguilar & Ander-Egg, 1995; Posavac & Carey, 2003; Stufflebeam & Shinkfield, 1987).

Agrupamento Dedutivo de Critérios Joint Committee

Para demonstrar as áreas de interseção dos resultados das diferentes análises qualitativas; comparou-se, através dos aspectos metodológicos, o conjunto de 20 questões do checklist com as 19 categorias, dos cinco agrupamentos da síntese de categorias.

Síntese de Categorias da Análise de Conteúdo

A síntese de categorias seguiu o procedimento adotado por Ribeiro (2004), que consiste em reagrupar as categorias em eixos temáticos que reflitam a teoria e o problema de pesquisa emergentes na análise de conteúdo. As categorias síntese foram: a) características dos programas; b) enfoque da auditoria; c) contexto político; d) métodos e técnicas e; e) dificuldades da auditoria. A síntese de categorias da análise de conteúdo foi submetida a um juiz.

Comparação de Resultados

Para comparar as pontuações dos 20 critérios do JC criou-se a seguinte nomenclatura: Excelente > 90 < 100 pontos atribuídos como sim (3), ou entre 9 e 10 pontos. Bom > 70% < 80% pontos atribuídos como sim (3), ou entre 7 e 8 pontos. Parcial > 50% < 60% pontos atribuídos como sim (3), ou entre 5 e 6 pontos. Insuficiente < 50% de pontos atribuídos como sim (3), ou seja, até 4 pontos.

Síntese de Estudos Qualitativos

Na síntese dos estudos qualitativos consideraram-se as pontuações obtidas no checklist do Joint Committee, sua avaliação e os totais das freqüências da síntese da análise de conteúdo. Os resultados foram discutidos em relação aos achados específicos de cada análise, e em relação às semelhanças e diferenças dos agrupamentos. A síntese interpretativa final corresponde às conclusões da meta-avaliação.

RESULTADOS

Os resultados contemplam a descrição do TCU, das ANOPs, a checagem de critérios do JC, análise de conteúdo, agrupamento dedutivo de critérios, síntese de categorias da análise de conteúdo, comparação de resultados e síntese de estudos qualitativos.

Breve Descrição do TCU e das ANOPs

O TCU possui uma função social associada ao controle e zelo dos aspectos patrimoniais e econômicos da administração pública. O TCU utiliza a ANOP e a avaliação de programa de forma complementar e refere-se à avaliação de programa como modalidade da auditoria de natureza operacional. Para o TCU, as modalidades de avaliação são: a auditoria de desempenho operacional e a avaliação de programa (República Federativa do Brasil/ Tribunal de Contas da União, 2000). A ANOP segue as etapas: 1) planejamento da avaliação; 2) coleta de dados; 3) confecção de relatório com resultados para o relator da matéria (circulação interna); 4) relatório divulgado externamente; 5) implantação das recomendações formuladas e monitoramento das ações implementadas.

Para atender ao escopo deste artigo não foi relatado o resultado da análise de conteúdo, apenas sua síntese, produzida a partir das 19 categorias originadas indutivamente.

Checagem de acordo com os Critérios do Joint Committee

Na Tabela 1 na primeira coluna, listaram-se as perguntas conforme JC. Na segunda, A1 até A10 referem-se às ANOPs, conforme lista na seqüência da Descrição da Amostra na Metodologia. Na coluna 2 a escala com quatro pontos mensura os critérios JC. Onde zero = não se aplica; não = não foi utilizado; parcialmente = critério aplicado, mas não atendeu completamente, e sim = foi adequadamente utilizado. Na terceira coluna o resultado da avaliação, considerou a ponderação descrita no item 2.3.5 da metodologia. Na quarta coluna listou-se o total de pontos recebidos na 2ª coluna: total de N/A (0) não se aplica; total de não (1); (2) parcialmente e total de sim (3). Na quinta coluna apresentou-se a síntese de categorias da análise de conteúdo, com as freqüências dos agrupamentos e das categorias na sexta coluna. Nas duas últimas linhas, o total de pontos em relação aos totais das auditorias (200 pontos) e as pontuações máximas (60 pontos) por Programa.

Síntese de Estudos Qualitativos: Questões do Joint Committee e Síntese de Categorias da Análise de Conteúdo

a) Síntese de categoria e critérios JC do contexto político

Foram apresentados entre parênteses as freqüências da categoria ou do agrupamento, esses resultados encontram-se na Tabela 1. A síntese contexto político (84) foi formada por: política do programa. Justifica-se a denominação síntese de categorias para uma categoria, devido à sua relevância e representatividade para a ANOP. Os Programas auditados estão inseridos num contexto político, que é a política nacional dos governos. A Política do programa envolve as parcerias com instituições governamentais e não-governamentais e a ação governamental nas áreas de atuação. A identificação dos participantes dos Programas foi excelente (Questão 1). O contexto dos Programas (Questão 2) foi descrito adequadamente na maioria das auditorias (sete); parcialmente em uma, e inadequadamente em duas, obtendo avaliação boa nesse quesito. Não houve consideração dos diferentes grupos de interesse nos programas (Questão 3), embora sejam identificados através da análise stakeholder, obtendo avaliação insuficiente nesta questão.

b) Síntese de categoria e critérios JC das características dos programas

A síntese características dos programas (279) foi formada por: boas práticas do programa (77); monitoramento do programa (67); comunicação institucional (27) e objetivos do programa (108). Os programas sociais possuem elementos que os destacam, as Boas práticas do Programa, que são diferenciais de funcionamento cuja disseminação é estimulada pelas ANOPs. As boas práticas envolvem: critérios de eqüidade social e estratégias de participação.

As ANOPs demonstram que há falhas no acompanhamento dos participantes e das ações pelos programas, que possuem pouco controle e baixo investimento em pesquisas (Monitoramento do Programa) estimulam ainda a melhoria da Comunicação Institucional dos programas, dos seus sistemas de informação, comunicação com parceiros e divulgação das ações. Já as descrições imprecisas dos Objetivos dos programas nas ANOPs dificulta sua compreensão e o planejamento da avaliação. Das informações coletadas; quatro possuíram alcance suficiente para entender o funcionamento do Programa (Questão 4) e seis alcance parcial, produzindo desempenho insuficiente nessa questão. Os Programas foram descritos adequadamente (Questão 5) na maioria das auditorias (sete); descrito parcialmente em uma e inadequadamente em duas, recebendo boa avaliação. Descrevese com detalhamento a legislação e a responsabilização dos gestores. Os objetivos foram descritos adequadamente na maioria das ANOPs (sete), parcialmente em duas e inadequadamente em uma, resultando em boa avaliação nesse critério (Questão 6).

c) Síntese de categoria e critérios JC do enfoque da auditoria

A síntese enfoque da auditoria (446) foi formada por: avaliação de processo (134); avaliação de necessidades (16); avaliação de impacto/resultado (136); avaliação da eficiência (54); responsabilização (106). O enfoque menos recorrente (16) foi o de avaliação de necessidades que enfatiza o programa e os beneficiários.

Nas auditorias meta-avaliadas as informações coletadas foram insuficientes para alcançar os objetivos da auditoria (Questão 7). Os casos em que as informações não foram suficientes estavam relacionados à busca de informações sem instrumentos adequados; como no Programa Sentinela, onde se avaliou auto-estima, sem questões válidas a este respeito. Constatou-se também a necessidade de delineamentos que permitam comparações entre os resultados do Programa, traçando sua linha de base e/ou realizando estudos longitudinais. Isso foi reconhecido na auditoria do Prodetur/NE e Energia das Pequenas Comunidades. A equipe também reconheceu a necessidade de amostras generalizáveis, como no Programa Nacional do Livro Didático e Programa Novo Emprego e Seguro-Desemprego. Os resultados das auditorias foram descritos adequadamente (Questão 8) em seis auditorias e parcialmente em quatro, produzindo uma avaliação parcial. Em geral, as descrições estatísticas, orçamentárias e financeiras foram adequadas, sendo uma especialidade das ANOPs, demonstrando qualidade nesse processo. Apresentam ainda os resultados positivos considerados boas práticas, enfatizando sua disseminação no programa, e apresentam os resultados negativos. As descrições qualitativas dos resultados, em especial de análise de conteúdo de entrevistas, foram citadas nas auditorias, embora não encontradas nos resultados. As conclusões das ANOPs (Questão 9) foram descritas claramente em oito auditorias e parcialmente em duas, obtendo boa avaliação na questão. Nos casos em que as conclusões foram inadequadas, como no Programa Sentinela, verificaram-se imprecisões conceituais sobre as premissas do Programa e falha na verificação das perguntas de auditoria, gerando conclusões sem base empírica. Já no caso do Prodetur/NE, as conclusões foram dúbias quanto aos impactos ambientais na fase de implantação do Programa. As recomendações das ANOPs (Questão 10) foram apresentadas claramente em todas as auditorias. Suas argumentações foram fundamentadas nos resultados e conclusões, o que por sua vez as sustenta. Os verbos utilizados nas recomendações e acórdãos estão geralmente no imperativo e denotam a lei a ser cumprida, pois são oriundas de uma corte de contas.

d) Síntese de categoria e critérios JC dos métodos e técnicas

A síntese métodos e técnicas formou o maior agrupamento de categorias e com maior número de recorrências (705). Foi formada por: fonte de dados da auditoria (102); respondentes da auditoria (254); planejamento da auditoria (96); critérios de seleção da amostra da auditoria (20); técnica de coleta de dados da auditoria (102); procedimento de coleta e tabulação de dados (54); análise dos dados (52); métodos da auditoria (25).

Os métodos e técnicas adotados nas ANOPs possuem semelhança aos da pesquisa avaliativa. Utilizam fontes de dados secundários (bases de dados dos Programas e outras bibliografias especializadas). Entretanto, tais fontes apresentam-se, em geral, desatualizadas e não proporcionam informação confiável. Os respondentes são principalmente internos ao programa: equipe técnica (100); especialistas (100); beneficiários (17), instituições (30) e parceiros (7). No planejamento da auditoria transparece o domínio do uso das técnicas de planejamento pelas equipes de auditoria. Os critérios de seleção da amostra são geralmente intencionais (volume de recursos recebido pelo programa, diferenciais de atendimento, distância geográfica), que buscam representatividade através de amostras estatísticas. As técnicas de coleta de dados (102) são questionários, entrevistas, observação direta e grupo focal. Os procedimentos de coleta de dados (54) e os instrumentos de coleta de dados não foram descritos, nem suas bases teóricas. Destaca-se como ponto positivo os casos onde foram utilizados consultores da área do Programa para a criação dos instrumentos.

A análise de dados (52) demonstra a capacidade de as equipes realizarem análises quantitativas. Entretanto, a equipe referiu necessidade de treinamento em análise qualitativa. Os métodos das auditorias foram não experimentais e carecem de aperfeiçoamento, pois se propõem a realizar uma auditoria semelhante à avaliação de programa. Os métodos utilizados são estudo de caso, estudopiloto, exemplos extremos, delineamentos não-experimentais com restrições quanto à validade interna e externa. Apenas em uma auditoria foi citado o uso de série temporal com grupo de controle. As técnicas de análise de dados (Questão 11) foram explicitadas adequadamente em três auditorias; em seis, parcialmente, e em uma não foram explicitadas, resultando em avaliação insuficiente. Verificaram-se imprecisões conceituais quanto aos termos coleta, técnica e tabulação de dados. Ocorreram casos onde foram citadas análises qualitativas, mas não foram relatadas nos resultados, como no Programa Novo Mundo Rural. Observou-se que na maioria (nove) das auditorias foram utilizadas técnicas de análise quantitativa e qualitativa, esse aspecto é positivo para a ANOP. Os procedimentos metodológicos (Questão 12) foram descritos parcialmente em nove das dez auditorias meta-avaliadas, resultando em avaliação insuficiente, tais procedimentos são contemplados no planejamento da auditoria. Os procedimentos de coleta de informações (Questão 13) foram descritos adequadamente em cinco auditorias, parcialmente em duas e não foram descritos em três, obtendo avaliação parcial. As descrições conforme Fonte de dados da auditoria, contemplam: base de dados; fontes de dados secundários e bibliografia especializada. Apesar do uso dessas fontes, as falhas na coleta (mortalidade instrumental, escolha da amostra e insuficiência de dados do próprio Programa) ocasionaram a não compreensão do funcionamento do Programa em alguns casos (programas A2, A6, A8, A9 e A10, Tabela 1). Os instrumentos para a coleta de dados foram válidos (Questão 14) em três auditorias; parcialmente válidos em três; não válidos em uma auditoria e não foi possível verificar a validade em três auditorias; uma vez que os instrumentos não constavam nos anexos dos documentos consultados, resultando em avaliação insuficiente nesse critério.

Em uma auditoria foi adotada medida para evitar erros (Questão 15) na coleta de dados; em quatro parcialmente e em cinco não foram adotadas medidas, resultando em avaliação insuficiente. As medidas utilizadas foram: aplicação de teste-piloto para experimentação dos instrumentos e cálculo de amostras probabilísticas. O teste-piloto avaliou instrumentos, mas não relatou se houve ajustes neles. As informações quantitativas (Questão 16) foram analisadas adequadamente em seis auditorias e parcialmente em quatro, produzindo avaliação parcial. As análises mais citadas foram: análise de conteúdo; de dados secundários; de riscos; qualitativa; quantitativa; orçamentária e financeira. As informações qualitativas (Questão 17) foram apresentadas de forma parcial em seis auditorias e de forma inadequada em quatro delas, resultando em avaliação insuficiente. As inadequações referem-se à descrição de resultados de análise de conteúdo de entrevistas e grupos focais. A auditoria que melhor relatou a análise qualitativa foi a do Programa Reinserção Social do Adolescente em Conflito com a Lei.

e) Síntese de categoria e critérios JC das dificuldades para a realização da auditoria

A síntese dificuldades para a realização da auditoria (40) foi formada por: dificuldades internas da auditoria (40), tais dificuldades estão relacionadas à mortalidade instrumental, dificuldades técnicas e o estabelecimento de grupo de contato de auditoria (grupo formado por gestores federais dos programas e auditores do tribunal).

Quanto à análise do treinamento da equipe técnica (Questão 18), verificou-se que quatro possuíam treinamento adequado; em duas, treinamento parcialmente adequado e cinco não possuíam treinamento adequado, resultando em avaliação insuficiente nessa questão. Das dez auditorias, sete utilizaram auxílio de consultores na fase de planejamento e execução, uma na fase de planejamento e em duas não houve participação, resultando em boa avaliação (Questão 19). Os recursos para a realização das ANOPs (Questão 20) foram suficientes em sete auditorias, parcialmente suficientes em duas e insuficientes em uma, com avaliação boa nessa questão. O prazo da auditoria foi citado como fator limitador nos Programas Pró-Água/Semi-Árido e Energia das Pequenas Comunidades. O tamanho da equipe e o prazo para a realização da auditoria afetaram o resultado da auditoria do Programa Novo Emprego e Seguro Desemprego.

DISCUSSÃO DA META-AVALIAÇÃO

Síntese de Estudos Qualitativos

As ANOPs foram retratadas pelas características dos programas sociais, contexto político, enfoque, métodos e técnicas. Os agrupamentos formaram um instantâneo de como ocorreu a ANOP nos dez programas meta-avaliados. Inovou-se no sentido de comparar os resultados das análises, formando a síntese de estudos qualitativos.

Contexto Político

O contexto político influencia a Política do programa em relação aos parceiros e também afeta as prioridades de governo para determinadas áreas de atuação da Política Nacional, através dos Planos Plurianuais e da votação do orçamento para as áreas prioritárias. Isto, por sua vez, influencia a escolha dos programas a serem auditados. Esta relação de influência recíproca também é encontrada em Cotta (1998); constata-se que os programas sociais são concebidos em uma arena política e, nesse sentido, suas ações atravessam áreas da política e recebem influência das coalizões e configurações de poder predominantes na organização (Mendes et al., 1999). Parece ainda, haver um conflito entre as decisões políticas e técnicas. O enfoque interno (responsáveis diretos, técnicos e algumas vezes beneficiários) associado ao contexto político dos programas sociais pode produzir situações de difícil penetração à equipe de auditoria. Principalmente se ocorrerem problemas técnicos, como prazo curto para a realização da auditoria, carência de pessoal, ou insuficiência de dados dos Programas, dificultando o mapeamento dos beneficiários diretos. Os prazos para a realização das auditorias necessitam de apoio institucional, para que não afetem negativamente a qualidade das ANOPs, pois não permitem o planejamento e a execução adequada.

Por outro lado, a ANOP identifica o público, grupos de interesse no programa e descreve claramente o contexto do programa, mas em geral não usa essa especialidade para formar suas amostras. Por exemplo, o que foi feito adequadamente na ANOP para o Programa Reinserção Social do Adolescente em Conflito com a Lei, conforme Dershen (1990), poderia ser aplicado às demais ANOPs. Ao avaliar programas de prevenção de crimes, deve-se atentar para a necessidade de esses programas considerarem a participação dos beneficiários e suas famílias, pois isto produz envolvimento, continuidade e maior probabilidade de êxito das ações. Além disso, considerar as necessidades específicas da população, baseando o atendimento nas necessidades locais, características demográficas e das infrações cometidas (Dershen, 1990).

Entende-se que tanto a auditoria quanto a avaliação de programas precisam contemplar a política na qual os programas se inserem (Cotta, 1998; Posavac & Carey, 2003). A auditoria baseada em métodos e técnicas específicas incide sobre os programas avaliados, que possuem características próprias e são afetados pelo contexto político no qual são criados. Assim, a metodologia da ANOP precisaria ser aperfeiçoada em relação às características do cenário político circunscrito aos programas.

Características dos Programas Sociais Auditados

O conjunto de categorias formadoras do agrupamento características do programa possui grande influência sobre o processo de realização das ANOPs. Com 279 freqüências, indica a valorização e busca dessas características nos programas. A ANOP direciona a busca de características especiais e de sucesso nos programas sociais, tidas como boas práticas. Nessa linha, as ANOPs demonstram imprecisões na descrição dos objetivos dos programas nas fases de implantação, intermediária e final. Tais descrições encerram uma questão de silogismo, onde objetivos de auditoria possuem falhas na elaboração, e objetivos de Programas também possuem falhas; conseqüentemente, a descrição dos objetivos na ANOP dificulta seu alcance e avaliação.

Enfoques das ANOPs

O enfoque é escolhido em função das demandas do contexto político e das características do programa. Os enfoques mais encontrados ocorreram nos resultados, no processo e na responsabilização. Isto é coerente com a ANOP, visam ao estabelecimento de indicadores de desempenho para o Programa. Além disso, baseia-se em parâmetros de custo-benefício, efetividade e eficiência (República Federativa do Brasil/ Tribunal de Contas da União, 2000), analisando os programas com concepção quantitativa da realidade; ao passo que programas sociais têm suas ações pautadas em concepções de política de direitos e política pública (Cotta, 1998). Assim, há um distanciamento entre a forma de realizar a auditoria e a realidade na qual o programa é desenhado. A categoria avaliação de processos enfatiza a execução, gestão, planejamento do programa e capacitação da equipe do programa, demonstrando que a equipe necessita de conhecimentos técnicos especializados sobre programas sociais e políticas públicas para compreender esses processos. Na avaliação de necessidades, as ANOPs necessitam vencer limitações como informações deficientes dos programas e, sobretudo, ampliar a forma de avaliar necessidades dos beneficiários com outros delineamentos e instrumentais que o permitam. Além da possibilidade de usar modelos conceituais próprios para determinado tipo de programa, conforme sugere Woodside e Sakay (2001), em relação à avaliação de programas federais de turismo e marketing.

As auditorias possuem aspectos positivos e pontos que necessitam de melhorias na forma de sua condução, para assegurar a validade dos seus resultados. Os aspectos positivos das ANOPs demonstram a evolução da prática de auditoria com enfoque clássico, para o enfoque de avaliação de programas (Chelimsky, 1985). Assim, foram indicados, os cursos de ação das ANOPs, e dentre esses, os que fogem do padrão de cientificidade e necessitam de aprimoramento, para que a lógica da racionalidade, eficiência e eficácia que a justificam sejam mantidas. Verificou-se a potencialidade de ampliação da expertise das ANOPs, mantendo as características de auditoria de desempenho e agregando conhecimentos de AP.

Métodos e Técnicas

Os métodos e técnicas são importantes para a ANOP e para a meta-avaliação, que utilizou critérios metodológicos reconhecidos internacionalmente como aqueles esperados em um processo avaliativo. Nesse contexto, verificou-se que fatores internos relacionados ao treinamento das equipes precisam ser aprimorados. Já os fatores internos dos Programas precisariam ser considerados na fase preliminar de planejamento da auditoria. Portanto, a análise de riscos, realizada na fase de planejamento, precisa considerar as condições de avaliabilidade dos Programas, e traçar estratégias de superação das dificuldades técnicas e de aplicação metodológicas previstas. Os aspectos metodológicos a serem aprimorados referem-se a: ampliação das amostras em relação aos beneficiários diretos e grupos de interesse nos programas sociais; construção, teste e aplicação dos instrumentos de coleta de dados; treinamento em análises qualitativas e descrição dos dados; delineamento e aplicação de métodos de pesquisa avaliativa; reestruturação da matriz de planejamento e critérios de seleção e descrição da amostra. Em suma, é necessário continuar o processo de aquisição de conhecimento interno e externo e socialização dos conhecimentos sobre as ANOPs.

Por fim, o debate teórico e metodológico no campo da avaliação demonstra que a avaliação de programas sociais comporta o uso de diversas abordagens e procedimentos metodológicos (Günther, 2006; Patton, 2001). Não se pretendeu nesta pesquisa sugerir a superioridade da AP em relação à auditoria e sim a possibilidade de aperfeiçoamento metodológico da ANOP.

Dificuldades para a Realização de Auditorias

As dificuldades para a realização das ANOPs permeiam as características dos programas sociais e do contexto político no qual é realizada. Quanto aos grupos de contato de auditoria, sugere-se que esse estilo de aproximação do TCU ao programa seja priorizado para favorecer o acompanhamento dos programas. A dificuldade de implantar grupos de contato de auditoria pode estar associada ao conflito entre uma postura de fiscalização, com ênfase nos benefícios que trariam o processo de trabalhar junto com o cliente, ou atuar dentro de um modelo corretivo, de julgamento, caso as recomendações não sejam cumpridas dentro dos prazos. Sugere-se que a ANOP cubra períodos menores dos programas e depois seja realizado seu monitoramento, para que outras interferências externas não sejam confundidas com os impactos encontrados.

Retratou-se a influência dos agrupamentos das categorias, compreendendo-os como variáveis associadas ao processo de ANOP. Assim, a variável contexto político, invade todas as outras variáveis, sejam características dos programas sociais, dificuldades para a realização do trabalho, o enfoque, seus métodos e técnicas; por fim, a ANOP resultante. Por conseguinte, as características dos programas sociais são determinadas pelo contexto político que influencia a condução da ANOP, a escolha do enfoque, métodos e técnicas. A relação das características dos programas apresenta uma dicotomia, uma vez que, a partir delas são feitas escolhas para auditar o programa (métodos e técnicas) e por outro lado o resultado da ANOP poderá produzir modificações nos Programas. Por fim, existem dificuldades para a realização das auditorias que se originam tanto das características dos programas sociais, quanto do enfoque e métodos de realização das ANOPs. A seguir, a ilustração do processo e a relação entre as variáveis encontradas.

Concluindo esta pesquisa retomam-se as questões da meta-avaliação:

A metodologia avaliativa do TCU e a ANOP sustentam o formato dos programas de governo avaliados? O formato dos programas advém do contexto político e possui características próprias como estrutura, abrangência, cobertura, quantidade de beneficiários; gestão dos programas nos três níveis de governo. Possuem sua concepção e objetivos vinculados a leis e normas e recebem grandes dotações orçamentárias. Em relação a essas características, o arcabouço técnico das ANOPs possibilita auditar programas; entretanto, conforme análise em relação aos métodos, técnicas e procedimentos, é necessária maior qualificação técnica e conceitual para aplicar os métodos de AP em ANOPs.

A finalidade da ANOP configura-se como avaliação ou trata-se de auditoria? Verificou-se que as atividades do TCU caracterizam-se como auditoria, visto que estão ligadas à própria natureza do TCU, na modalidade de controle e fiscalização (República Federativa do Brasil/ Tribunal de Contas da União, 2003). Levanta-se a hipótese de que o uso do termo avaliação esteja associado à questão política da atuação enquanto tribunal que realiza a fiscalização e o controle dos gastos públicos e realiza também a modalidade de auditoria de natureza operacional. Nesse sentido, o uso do termo avaliação de programas não anula ou diminui a efetividade do enfoque e a aplicação das técnicas que compõem o instrumental de ação da ANOP. Porém, o uso intercambiável desses termos pode alimentar uma ambigüidade na realização da ANOP, pois existe diferença entre as duas metodologias. A ANOP possui características semelhantes à modalidade de avaliação de programas; daí a utilidade dos conceitos de AP, a necessidade de treinamento de habilidades para conduzir o processo, conforme verificado na meta-avaliação.

Atualmente as auditorias e avaliações realizadas pelo TCU inserem-se no contexto de prestação de contas por desempenho e responsabilização. Nesse contexto, entende-se que se trata da mudança, auditoria versus avaliação de programas, que o TCU busca por meio de sua prática avaliativa (Lima, 2003). Tal mudança pode estar ocorrendo por fatores como "busca de legitimidade e da aceitação social, as organizações procuram tornar suas ações e práticas mais próximas dos padrões tidos por corretos socialmente" (Freitas, 2005, p. 33).

Há regularidade e consistência na forma de conduzir as avaliações nas diferentes áreas de programas de governo? Existe regularidade na forma de conduzir as avaliações, os critérios e práticas são semelhantes. Entretanto, apresentam deficiências metodológicas para sustentar os resultados. Há necessidade de melhoria da consistência (validade) dos resultados produzidos. Essas características foram encontradas nas ANOPs meta-avaliadas, amostras do período entre 1999 a 2005. Freitas (2005), encontrou em período anterior, de 1998 a 1999, casos de ANOPs que só apresentavam essa denominação, e eram executadas como auditoria clássica. Porém, no período e 1993 a 1998, verificou tendência à evolução das características-chave das ANOPs. Comparando-se os achados desta meta-avaliação com os de Freitas (2005) parece que as ANOPs continuam evoluindo em suas práticas para um modelo mais próximo à avaliação de programas.

Por fim, a contribuição ao modelo avaliativo da ANOP considerou os pressupostos de Cook e Shadish (1986) e Krueger, Casey, Donner, Kirsch e Maack (2001), bem como a tipologia de objetivos de Posavac e Carey (2003). Assim, a aplicação dos passos a seguir, sugeridos com base no levantamento das dificuldades em realização da ANOP, podem ser priorizados ou aperfeiçoados, agregando-os ao modelo do tribunal.

1) Realizar reuniões com stakeholders para levantar informações que possam fornecer entendimento dos grupos minoritários e identificar como o trabalho pode influenciar o contexto social;

. Compreender profundamente o programa, mediante entrevistas e reuniões com os stakeholders e coleta de dados secundários; e examinar as expectativas dos atores envolvidos sobre como os objetivos conduzirão ao sucesso ou fracasso.

2) Identificar modelos para entender a lógica subjacente que os resultados do programa produzem.

. Caracterizar as necessidades de informação, (recursos humanos, materiais e de informação disponíveis) e avaliar qualquer modelo de sistema que desenvolvido para explicar como o programa produz inputs relacionados aos resultados. Planejar o delineamento da avaliação considerando: o estágio do programa, condições de avaliabilidade, o orçamento, o tempo disponível para a avaliação, a amplitude e a profundidade da análise, as vantagens e desvantagens dessas escolhas.

3) Escolher os critérios para avaliação do programa, considerar:

. Se o programa incorpora valores da política pública na qual se insere; as necessidades das pessoas atendidas; o grau com que foram satisfeitas as necessidades materiais dos clientes; o grau de alcance dos objetivos planejados; se os resultados obtidos estão de acordo com as metas e especificam os níveis dos resultados esperados; o uso apropriado dos recursos pelo programa; observa-se que essa etapa já é perfeitamente realizada pelas ANOPs; se as recomendações afetarão a tomada de decisões dos gerentes do programa.

4) Classificar os objetivos do programa em: a) implantação; b) intermediários e, c) finais, para verificar sua avaliabilidade.

Por fim, sugere-se o teste dessas sugestões na ANOP, para verificar a sua incorporação ou não ao modelo do TCU.

NOTAS

Artigo recebido em 17.08.2007.

Aprovado em 12.08.2008.

• Aguilar, M. J., & Ander-Egg, E. (1995). Avaliação de serviços e programas sociais Petrópolis: Vozes.
• Ala-Harja, M., & Sigurdur, H. (2000). Em direção às melhores práticas de avaliação. Revista do Serviço Público, 51(4), 5-51.
• Bardin, L. (1977). Análise de conteúdo Lisboa: Edições 70.
• Barreira, M. C. R. N. (2002). Avaliação participativa de programas sociais São Paulo: Veras Editora, Lisboa: CPIHTS.
• Chelimsky, E. (1985). Comparing and contrasting auditing and evaluation: some notes on their relationship. Evaluation Review, 9(4), 483-503. Recuperado em 18 fevereiro, 2007, de http://erx.sagepub.com/cgi/content/abstract/9/4/483
• Cook, T. D., & Gruder, C. L. (1978). Metaevaluation research. Evaluation Review, 2(1), 5-51. Recuperado em 18 fevereiro, 2007, de http://erx.sagepub.com/cgi/content/abstract/2/1/5
• Cook, T. D., & Shadish, W. R., Jr. (1986). Program evaluation: the worldly science. Annual Review Psychology, 37, 193-232.
• Cotta, T. C. (1998). Metodologias de avaliação de programas e projetos sociais: análise do resultado de impacto. Revista do Serviço Público, 49(2), 103-124.
• Dershen, H. A. (1990). Community crime prevention: a review essay on program evaluations and policy implications. Criminal Justice Policy Review, 4(1), 53-68. Recuperado em 18 fevereiro, 2007, de http://cjp.sagepub.com/cgi/content/abstracts/4/1/53
• Freitas, C. A. S. (2005). A aprendizagem, isomorfismo e institucionalização: o caso da atividade de auditoria de natureza operacional no TCU Dissertação de mestrado, Universidade de Brasília, Brasília, DF, Brasil.
• Günther, H. (2006). Pesquisa qualitativa versus pesquisa quantitativa: esta é a questão? Psicologia: Teoria e Pesquisa, 22(2), 201-210.
• Hedler, H. C. (2007). Meta-avaliação de auditorias do Tribunal de Contas da União: um estudo sobre auditorias de programas sociais Tese de doutorado, Instituto de Psicologia da Universidade de Brasília, Brasília, DF, Brasil.
• Krueger, R. A., Casey, M. A., Donner, J., Kirsch. S., & Maack, J. N. (Orgs.). (2001). Social analysis selected tools and techniques [Paper Nş 36]. Social Development Department Washington, DC.
• Lima, S. M. V. (2003). Mudança organizacional: teoria e gestão Rio de Janeiro: Editora FGV.
• Mendes, A. M. B., Tamayo, A., Paz, M. G. T., Neiva, E. R., Tamayo, N., Silva, P. T., Souza, A. C., Martins, A. J., & David, R. G. (1999). Análise da cultura organizacional do Tribunal de Contas da União [Relatório Final]. Brasília: O&T Consultoria/FINATEC/UnB.
• Patton, M. Q. (2001). Qualitative research e evaluation methods (3a ed.). EUA: Sage Publications, Inc.
• Posavac, E. J., & Carey, R. G. (2003). Program evaluation. Methods and case studies (6a ed.). New Jersey: Prentice Hall.
• Reineke, R. A., & Welch, W. W. (1986). Client centered meta-evaluation. American Journal of Evaluation, 7(3), 16-24.
• República Federativa do Brasil/ Tribunal de Contas da União. (2000). Manual de auditoria de natureza operacional Brasília: Autor, Coordenadoria de Fiscalização e Controle.
• República Federativa do Brasil/ Tribunal de Contas da União. (2003). Conhecendo o Tribunal: Tribunal Contas da União (2a ed.). Brasilia: Sub-Secretária-Geral da Presidência.
• Ribeiro, N. G. F. (2004). Trabalho e família: um estudo sobre a dinâmica da congruência entre demandas múltiplas Tese de doutorado não publicada, Universidade de Brasília, Brasília, DF, Brasil.
• Schwandt, T. A. (1989). The politics of verifying trustworthiness in evaluation auditing. American Journal of Evaluation, 10(4), 33-40.
• Stufflebeam, D. L., & Shinkfield, A. J. (1987). Evaluación sistemática: guía teórica y práctica Barcelona: Ediciones Paidós Ibérica.
• Woodside, A. G., & Sakai, M. Y. (2001). Meta-evaluation of performance audits of government tourism-marketing programs. Journal of Travel Research, 39(4), 369-379. Recuperado em 18 fevereiro, 2007, de http://jtr.saepub.com/cgi/content/abstract/39/4/369
• Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (2004). Avaliação de programas: concepções e práticas. São Paulo: Editora Gente.

1

Este item não consta em Stufflebeam e Shinkfield (1987) e foi obtido em Worthen

et al. (2004, p. 600) de acordo com os autores a meta-avaliação foi acrescentada às normas pelo

Joint Comittee em 1994.

Datas de Publicação

• Publicação nesta coleção
  28 Jul 2009
• Data do Fascículo
  Set 2009

Histórico

• Aceito
  12 Ago 2008
• Recebido
  17 Ago 2007