Auditoria operacional: uma nova classificação para os resultados de seus monitoramentos

Auditoría de desempeño: una nueva clasificación para para los resultados de sus seguimientos

Resumo

Há décadas, as auditorias operacionais (AOPs) constituem importante ferramenta para o aprimoramento da gestão pública no Brasil e no mundo. Contudo, poucos estudos tratam do processo de monitoramento dessas auditorias e de sua adaptação à cultura brasileira. O objetivo desta pesquisa foi propor uma nova classificação para o acompanhamento das determinações e das recomendações resultantes das AOPs realizadas pelo Tribunal de Contas do Estado de Santa Catarina (TCE/SC). A partir da classificação prevista no manual de AOP do Tribunal de Contas da União (TCU), o TCE/SC adotou alterações na classificação descrita nos relatórios de monitoramento das 14 AOPs encerradas até 2015. A atual classificação foi submetida aos auditores e, posteriormente, aos chefes e aos coordenadores de auditoria, para sugestões. Por essa razão, sugere-se uma nova classificação para os resultados das AOPs.

Palavras-chave:
auditoria; auditoria operacional; monitoramento; classificação de resultados

Resumen

Durante décadas, las auditorías de desempeño (AOP) han sido una herramienta importante para la mejora de la gestión pública en Brasil y en el mundo. No obstante, pocos estudios abordan el proceso de seguimiento de esas auditorías y su adaptación a la cultura brasileña. El objetivo de esta investigación es proponer una nueva clasificación para el seguimiento de las determinaciones y recomendaciones resultantes de las AOP, llevadas a cabo por el Tribunal de Cuentas del Estado de Santa Catarina (TCE/SC). A partir de la clasificación establecida en el Manual de AOP del Tribunal de Cuentas de la Unión, el TCE/SC adoptó cambios en la clasificación descrita en los informes de seguimiento de las 14 AOP concluidas hasta 2015. La clasificación actual se sometió a los auditores y posteriormente a los jefes y coordinadores de auditoría para posibles sugerencias. Por esta razón, se sugiere una nueva calificación para los resultados de las AOP.

Palabras clave:
auditoría; auditoría de desempeño; seguimiento, clasificación de resultados

Abstract

For several decades, performance audits (AOPs) have significantly helped the improvement of public management in Brazil and the world. However, few studies have investigated this audits follow-up process and how they have adapted to Brazilian culture. This research proposes a new classification for the results of the performance audits follow-up observing whether the determinations and recommendations resulting from AOPs carried out by the Court of Accounts of the State of Santa Catarina (TCE/SC) are implemented. The classification provided in the AOP Manual prepared by the Federal Court of Accounts, was adapted by the TCE/SC, with changes that were described in the follow-up reports of 14 AOPs with information from the fiscal years 2004 to 2015. A first draft of a new classification was submitted to the auditors for analysis and suggestions. After that, it was sent to the analysis and contributions of the chief auditors and audit coordinators. The study, therefore, registered the changes that had occurred in the AOPs and proposed a new classification for the results of the AOPs follow-up that considers the degree of implementation of determinations and recommendations in the performance audit.

Keywords:
audit; performance audits; follow-up; results classification

1. INTRODUÇÃO

No Brasil, a necessidade de avaliação mais rigorosa das atividades de políticas, programas e projetos surgiu nas transformações econômicas na década de 1980, em especial no debate sobre a crise do Estado, que se fortaleceu na década seguinte (Antero, 2008).

O Tribunal de Contas da União (TCU) foi pioneiro no segmento de controle externo, na década de 1980, com a realização de auditorias operacionais, em consonância com a tendência internacional de avaliar os resultados alcançados por programas, projetos, atividades, órgãos e entidades da administração pública. Posteriormente, em 1995, com o Projeto de Capacitação em Avaliação de Programas Públicos, o TCU inaugurou novos métodos de avaliação de programas e projetos governamentais (Tribunal de Contas da União [TCU], 1998).

Em Santa Catarina, essa atividade teve início com o curso de Auditoria de Gestão no Setor Público, ocorrido de 2002 a 2004, o qual capacitou 92 auditores fiscais de controle externo. A realização de auditorias operacionais ganhou destaque e intensidade em 2007, desde a criação de uma diretoria de controle com a atribuição de realizar auditorias operacionais, dentre outras competências, e as capacitações proporcionadas no âmbito do Programa de Modernização do Sistema de Controle Externo dos Estados, Distrito Federal e Municípios Brasileiros (Fleischmann, 2015).

Desde 2007, o Tribunal de Contas do Estado de Santa Catarina (TCE/SC) utiliza os manuais de auditoria operacional do TCU como documento basilar de suas atividades. Entretanto, o uso da classificação constante do Manual de auditoria operacional (TCU, 2010) para se posicionar em relação ao grau de implementação das recomendações, bem como o cumprimento das determinações, sofreu alterações ao longo últimos anos, fruto da contribuição dos pares e da experiência adquirida na realização dos monitoramentos das auditorias operacionais realizadas pelo TCE/SC. Todavia, tais alterações não foram suficientes para expressar a amplitude das situações que ocorrem ao longo desses monitoramentos.

Nesse sentido, ressalta-se a necessidade de descrever e analisar a evolução da classificação do cumprimento das determinações e da implementação das recomendações interpostas pelo TCE/SC em suas auditorias operacionais para, a partir das situações de fato, poder propor uma nova classificação do cumprimento das determinações e da implementação das recomendações interpostas pelo TCE/SC em suas auditorias operacionais.

O método utilizado, neste estudo, consistiu em pesquisa bibliográfica e documental, com análise comparativa quantitativa e qualitativa das considerações finais dos relatórios do último monitoramento das auditorias operacionais, encerradas até o final do exercício de 2015. Isso representa 14 processos, que envolveram 101 determinações e 204 recomendações. O TCE/SC não regulamentou de modo específico a classificação do resultado de suas auditorias operacionais, utilizando costumeiramente o Manual de auditoria operacional (TCU, 2010) como diretriz. Entretanto, em virtude da experiência acumulada na realização de monitoramento de suas auditorias, o TCE/SC promoveu alterações na classificação, as quais são registradas neste artigo. O resultado da pesquisa foi apresentado aos auditores fiscais de controle externo que instruem processos de auditoria operacional e seus monitoramentos, de modo a validar as informações para a construção de uma nova proposta de classificação da avaliação do cumprimento das determinações e da implementação das recomendações.

As limitações deste estudo decorrem da falta de registro no TCE/SC sobre as decisões e os fundamentos utilizados para alterar as classificações no decorrer dos exercícios, bem como a deficiência da descrição de evidências que levaram a concluir pelo cumprimento ou não de algumas determinações, sem apresentar elementos que possibilitem avaliar o grau de melhoria no desempenho da atividade. Nesse caso, manteve-se a classificação anterior. Apesar da existência de diversas publicações sobre avaliação e monitoramento das políticas públicas brasileiras, a exemplo de Ceneviva e Farah (2012), Pinto e Gerhardt (2012) e Santos e Raupp (2015), poucos são os textos que tratam do monitoramento de auditorias operacionais, uma modalidade tão importante de avaliação de políticas públicas.

O artigo está organizado a partir desta introdução, seguida por um breve panorama sobre auditoria operacional, que conceitua a atividade. A terceira seção comenta a auditoria operacional no Brasil e em Santa Catarina e a seção 4 trata do processo de monitoramento das auditorias operacionais, bem como de sua classificação. A quinta seção aborda as mudanças de classificação realizadas pelo TCE/SC nos monitoramentos e a sexta seção discorre sobre o grupo focal e a nova proposta de classificação. Por fim, apresenta-se a conclusão.

2. BREVE PANORAMA SOBRE AUDITORIA OPERACIONAL

As auditorias de desempenho, como se entende hoje, tiveram início na Europa, Austrália e América do Norte, nas décadas de 1970 e 1980, criando raízes em muitas democracias e instituições de auditoria, observando-se a avaliação da eficiência dos gastos e da promoção de bons resultados (Lonsdale, 2011). Shand e Anand (1996) consideram que os movimentos para avaliação de programas ou auditoria de eficiência começaram no final dos anos 1960 e início dos 1970, nos Estados Unidos da América (EUA), seguidos pela Austrália, em 1979, Noruega, em 1980, e Reino Unido, em 1983.

Segundo Pollitt, Girre, Lonsdale e Summa (2008), a motivação para a realização das auditorias operacionais veio dos extensivos programas de reforma da administração pública, que tinham o objetivo de modernizar, tornar mais eficiente e, em alguns casos, diminuir o tamanho geral do aparato estatal.

O desenvolvimento desse tipo de auditoria, nos vários continentes, gerou diferentes nomenclaturas. Além do termo auditoria de desempenho (performance auditing), adotado sobretudo nos países de origem anglo-saxã, utiliza-se o termo auditoria de gestão (auditoría de gestión), principalmente nos países latinos (Rocha & Quintiere, 2013). O Tribunal de Contas Europeu, por sua vez, adotou em língua portuguesa o termo auditoria de resultado (União Europeia [UE], 2015). No Brasil, o termo auditoria operacional foi adotado pelos auditores federais de controle externo do TCU para descrever o trabalho de auditoria cujo objetivo específico é de melhoria das operações examinadas (Oliveira, 1996).

Dessa forma, ainda hoje, as entidades fiscalizadoras superiores (EFS) do Canadá, dos EUA, do Reino Unido, da União Europeia (EU) e da Austrália adotam diferentes nomenclaturas e objetivos para as auditorias operacionais. Entretanto, respeitando as diferenças culturais e jurídicas de cada país, a Organização Internacional de Entidades Fiscalizadoras Superiores (International Organization of Supreme Audit Institutions -INTOSAI) tem contribuído para a uniformização das definições e dos objetivos das auditorias operacionais, por meio da publicação das Normas Internacionais das Entidades Fiscalizadoras Superiores (International Standards of Supreme Audit Institutions - ISSAI).

Nesse sentido, a definição de auditoria operacional mais recente da INTOSAI está publicada na ISSAI 300 (International Organization of Supreme Audit Institutions [INTOSAI], 2015, p. 2), que a descreve como o “exame independente, objetivo e confiável que analisa se os empreendimentos, sistemas, operações, programas, atividades ou organizações do governo estão funcionando de acordo com os princípios da economicidade, eficiência e efetividade¹ e se há espaço para aperfeiçoamento”.

A ISSAI 300 (INTOSAI, 2015) estabelece uma série de princípios e procedimentos a observar na realização de uma auditoria operacional. Dentre os princípios gerais, observa-se o estabelecimento do objetivo, da abordagem, dos critérios, do risco, da comunicação, das habilidades requeridas, do julgamento e ceticismo profissional, do controle de qualidade, da materialidade e da documentação necessária.

A ISSAI 300 destaca, ainda, a observância dos princípios relacionados ao processo de auditoria operacional, que envolve o planejamento, a execução da auditoria, a elaboração do relatório e o monitoramento.

Quanto ao monitoramento, Yetano (2014) discorre sobre a importância desse processo após os esforços para a realização da auditoria. Cita que, na Alemanha e no Reino Unido, é comum haver um processo de monitoramento para verificar se as recomendações decorrentes das auditorias operacionais foram implementadas; dessa forma, cria-se certa pressão para que a organização auditada adote as reformas propostas.

3. AUDITORIA OPERACIONAL NO BRASIL E EM SANTA CATARINA

Segundo Cunha (1997), o primeiro dispositivo legal que previu a realização de auditoria operacional na administração pública federal brasileira foi o Decreto n. 93.874 (1986), que atribuía ao Sistema de Controle Interno do Poder Executivo o papel de examinar os atos da gestão, com o propósito de certificar a exatidão e a regularidade das contas e de comprovar a eficiência e a eficácia na aplicação dos recursos públicos.

Corroborando essa tendência, a Constituição Federal de 1988 (CF/1988) atribuiu aos órgãos de controle a competência para a realização de auditorias operacionais, a fim de verificar se os recursos públicos foram aplicados de forma eficiente, econômica e eficaz.

O TCU foi pioneiro, na década 1980, com a realização de auditorias operacionais, em consonância com a tendência internacional. Posteriormente, em 1995, com o Projeto de Capacitação em Avaliação de Programas Públicos, em parceria com a Fundação Getulio Vargas, com a universidade Virgínia Polytechnic Institute, dos EUA, e com a National Academy of Public Administration, dos EUA, inauguraram-se novos métodos de avaliação de programas e projetos governamentais. O trabalho foi consolidado no Manual de auditoria de desempenho (TCU, 1998), que serviu de referência para diversos órgãos governamentais do país (Mendonça, 2005).

Posteriormente, aprovou-se a primeira revisão do Manual de auditoria de desempenho (TCU, 1998), que passou a ser denominado Manual de auditoria de natureza operacional (TCU, 2000). E em 2010 se aprovou sua segunda revisão, alterando a denominação para Manual de auditoria operacional (TCU, 2010).

No Brasil, um fator importante que contribuiu para a difusão das auditorias operacionais nos tribunais de contas (TCs) estaduais e municipais foi o processo de reestruturação promovido pelo Programa de Modernização do Controle Externo dos Estados e Municípios Brasileiros (PROMOEX), que teve apoio do Banco Interamericano de Desenvolvimento (BID).

Esse processo de modernização dos TCs teve origem na crise financeira de 1997 e 1998, obrigando o Brasil a pedir socorro financeiro ao Fundo Monetário Internacional (FMI) e a desvalorizar o câmbio. Segundo Loureiro e Abrucio (2004), o governo precisou fazer um rigoroso ajuste fiscal e propôs ao Congresso Nacional uma lei que assegurasse o equilíbrio das contas públicas, sendo, desse modo, aprovada a Lei de Responsabilidade Fiscal (LRF) - Lei Complementar n. 101 (2000).

Assim, coube aos TCs brasileiros a responsabilidade de fiscalizar os pressupostos da LRF, surgindo a necessidade de sua modernização tecnológica e reestruturação interna, tendo em vista a valorização de sua função fiscalizatória (Loureiro, Teixeira, & Moraes, 2009). Assim, nasceu o PROMOEX, com o objetivo de fortalecer institucionalmente e modernizar os TCs pelo incremento da eficácia, eficiência e efetividade das ações de controle e dos mecanismos de articulação social (Brasil, 2006).

Nessa esteira, o Projeto de Desenvolvimento de Técnicas de Auditoria de Natureza Operacional do TCU, iniciado em abril de 1998, realizou 47 auditorias operacionais até 2004 (Albuquerque, 2006), sendo que as primeiras trataram de aspectos administrativos e as seguintes buscavam avaliar programas de governo, com ênfase no exame da qualidade da prestação dos serviços e na sua capacidade de contribuir para a solução dos problemas sociais. Posteriormente, com o Projeto de Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social (Cerds), o TCU adotou como prioridade o exame da promoção da equidade e redução da pobreza.

Em Santa Catarina, o TCE/SC iniciou a realização de auditorias operacionais em 2002, com a promoção do curso de Auditoria de Gestão no Setor Público, que capacitou 92 auditores fiscais de controle externo no período de 2002 a 2004, os quais realizaram 20 auditorias como trabalho de conclusão do curso. Contudo, no período de 2004 a 2006 foram realizadas apenas 2 auditorias operacionais pelas diretorias técnicas do TCE/SC.

Nesse sentido, com o objetivo de aumentar essa participação, em 2007 a corte de contas catarinense criou uma diretoria com a competência de realizar auditorias operacionais, dentre outras.

Ainda no exercício de 2007, por meio do PROMOEX, o TCU capitaneou uma capacitação em auditoria operacional que envolveu quase todos os TCs brasileiros. Esse evento contou com a participação de quatro representantes do TCE/SC, que replicaram a capacitação para os demais servidores que faziam esse tipo de fiscalização à época. Como resultado dessa capacitação, na sequência, os TCs brasileiros realizaram uma auditoria operacional em conjunto, sob a coordenação do TCU. Essa prática da realização de auditorias conjuntas ocorreu nos anos seguintes, aumentando a profissionalização dos auditores fiscais envolvidos e o interesse das cortes de contas nesse tipo de auditoria (Fleischmann, 2015).

No período de 2004 a 2015, o TCE/SC realizou 48 auditorias operacionais, as quais podem ser segregadas nas áreas de abrangência apresentadas no Gráfico 1.

Dessas 48 auditorias realizadas, apenas 14 foram arquivadas até o final de 2015, após a realização de 2 ou 3 monitoramentos, os quais foram devidamente julgados pelo plenário do TCE/SC.

Gráfico 1
Área de abrangência das auditorias operacionais realizadas de 2004 a 2015

4. O PROCESSO DE MONITORAMENTO DAS AUDITORIAS OPERACIONAIS

A ISSAI 300 (INTOSAI, 2015) estabelece que os auditores devem monitorar os achados e as recomendações de auditorias anteriores, sempre que for apropriado. O monitoramento deve ser realizado adequadamente, a fim de prestar retorno ao Poder Legislativo, se possível, com as conclusões e os impactos de todas as ações corretivas relevantes.

A INTOSAI (2015)acrescenta que o monitoramento encoraja as entidades auditadas e outros usuários dos relatórios a levar o procedimento a sério, além de proporcionar aos auditores lições úteis e indicadores de desempenho.

Os procedimentos de monitoramento da auditoria devem assumir a forma de “exames limitados” (UE, 2015), ou seja, restringir-se aos apontamentos da auditoria inicial, bem como devem avaliar em que medida a entidade auditada deu respostas às constatações e às recomendações do órgão fiscalizador.

Ribeiro, Lopes, Pederneiras, Silva e Mulatinho (2010) descrevem que, ao final da auditoria, o gestor deve elaborar um plano de ação que sirva de base para a realização dos monitoramentos. Acrescentam, ainda, que devem ser realizados 2 ou 3 monitoramentos para cada auditoria, encerrando-se o processo em aproximadamente 24 meses, após a publicação da decisão do TC, quando será elaborado o relatório final de impacto da auditoria.

Em relação à periodicidade recomendada para a realização do monitoramento, o TCU defende que não se deve demorar muito para sua realização, para não perder a expectativa de controle e que não vale a pena monitorar a atividade por muito tempo, pois segundo a experiência do U.S. Government Accountability Office (U.S. GAO), a maior parte das deliberações é implementada até três anos após a realização da auditoria (TCU, 2010). Por outro lado, o Tribunal de Contas Europeu (UE, 2015) estabelece que é normal o monitoramento acontecer 2 ou 3 anos após a publicação do relatório de auditoria.

A ISSAI 3000 (INTOSAI, 2004) prescreve que o relatório de monitoramento deve ser documentado e as informações pontuais apresentadas de modo objetivo e independente. O TCU (2010) estabelece que deve ser um documento autônomo, dispondo de informações suficientes para o entendimento do tema sem que seja necessário ler o relatório de auditoria ou de monitoramentos anteriores.

Entretanto, a INTOSAI (2004) faz uma ressalva: o monitoramento não deve ser restrito à implantação das recomendações, devendo direcionar seus esforços para verificar se o responsável tratou de forma adequada os problemas e se foram corrigidas as deficiências indicadas.

Após os procedimentos de coleta de evidências, segundo o Manual de auditoria operacional (TCU, 2010), a equipe deve se posicionar em relação ao grau de implementação das recomendações, utilizando a classificação apresentada no Quadro 1.

Quadro 1
forma de classificação das recomendações segundo o grau de implementação

Nessa sistemática, especialmente na descrição da classificação “parcialmente cumprida”, observa-se prevalência das informações prestadas pelo gestor sobre as evidências identificadas no monitoramento. Desse modo, aumenta-se o risco de auditoria, como observado por Santos e Raupp (2015), pois a informação gerada manualmente pelas áreas-fins responsáveis pela prestação do bem ou serviço, devido ao receio de estarem sendo monitoradas, acaba sendo manipulada a fim de parecer mais eficiente e eficaz.

Por fim, apesar do Manual de auditoria operacional (TCU, 2010) não descrever a diferença entre determinação e recomendação², ele faz uma distinção na classificação para o monitoramento, devendo-se substituir os termos “implementada” e “em implementação” por “cumprida” e “em cumprimento”, quando se tratar de determinação.

5. AS MUDANÇAS OCORRIDAS NA CLASSIFICAÇÃO DOS MONITORAMENTOS REALIZADOS PELO TCE/SC

Para cada auditoria operacional, o TCE/SC realiza, pelo menos, dois monitoramentos para verificar o cumprimento de suas deliberações. Houve casos de processos que sofreram o terceiro monitoramento, mediante requisição da equipe de auditoria que realizou o segundo monitoramento ou do relator do processo. Entretanto, em ambos os casos, a solicitação ocorre em virtude do baixo cumprimento da deliberação e da importância dos achados de auditoria.

Para o exercício dessa atividade de fiscalização, os manuais de auditoria operacional do TCU sempre foram o documento basilar das avaliações da corte de contas catarinense. Nesse sentido, os primeiros monitoramentos foram classificados utilizando suas premissas.

Contudo, ao longo do tempo, alguns itens foram questionados pelos auditores fiscais de controle externo e relatores mais atentos, como, por exemplo, o Relatório de Instrução DAE 9/2012 (Estado de Santa Catarina, 2012a), que trata do segundo monitoramento da auditoria operacional realizada no Sistema de Tratamento de Esgoto (Estações de Tratamento de Esgoto - ETE) Insular de Florianópolis. Ao final do último monitoramento, avaliou-se que a determinação 6.2.1.2 - tratar o esgoto de acordo com as normas ambientais e o manual da ETE - foi classificado como “em cumprimento”.

Essa conclusão estava em consonância com os pressupostos estabelecidos pelo TCU, pois houve uma melhoria no tratamento do efluente, considerando que, na auditoria (em 2004), existiam 7 parâmetros de análises laboratoriais fora do padrão estabelecido na norma ambiental (sólidos sedimentáveis, pH, óleos e graxas, fósforo total, nitrogênio total, coliformes totais e coliformes fecais), enquanto no segundo monitoramento foram apenas 3.

Entretanto, por se tratar do último monitoramento, questionou-se uma posição da equipe de auditoria sobre o cumprimento ou não da determinação proferida pelo plenário do TCE/SC, considerando que o descumprimento da legislação ambiental, que serviu de base para a determinação, poderia ensejar a aplicação de multa. Nesse sentido, não se utilizou mais a expressão “em cumprimento” no último monitoramento, apenas no primeiro, o que, pode-se inferir, levou à diferença observada no cumprimento dos parâmetros de análise.

Mesmo nas recomendações, não se utilizou mais a classificação “em implementação” no último monitoramento. Cita-se, como exemplo, o primeiro monitoramento da mesma auditoria operacional, constante do Relatório n. 020/2010 (Estado de Santa Catarina, 2010a). Nesse caso, identificaram-se fissuras e vazamentos na estrutura dos tanques de aeração. Considerando a gravidade e a premência da situação, o TCE/SC fez novas recomendações para a solução do problema. No segundo monitoramento ocorrido em 2012, o órgão responsável pela atividade havia feito uma avaliação das fissuras e a contratação de uma empresa de impermeabilização para seu tratamento, o que solucionou os vazamentos. Lançou, ainda, um procedimento licitatório para contratação de empresa de sondagem e de patologia da estrutura de concreto armado, sem sucesso, pois nenhuma interessada compareceu ao certame.

Na sequência, a Companhia Catarinense de Águas e Saneamento (Casan) assinou com a Universidade Federal de Santa Catarina (UFSC) um termo de cooperação técnico-científica de avaliação dos estados de degradação e diagnóstico das manifestações patológicas da estrutura de concreto da unidade de aeração da ETE Insular, sendo que até o final do procedimento fiscalizatório não havia sido concluído este último serviço. Nesse sentido, o último monitoramento da auditoria operacional classificou esse item como “em implementação”. Entretanto, como já observado, não é adequado utilizar essa classificação no último monitoramento, devendo ser classificado como “parcialmente implementada”, por considerar que o gestor promoveu melhorias, mas ainda não atendeu, por completo, à recomendação.

As alterações de classificação não se limitam ao último monitoramento, como se observa a seguir. No monitoramento da auditoria operacional que avaliou a atividade de fiscalização ambiental sob responsabilidade da Fundação do Meio Ambiente (Fatma), realizada em parceria com o Batalhão da Polícia Militar Ambiental (BPMA), no primeiro monitoramento (Estado de Santa Catarina, 2010b) a determinação 6.2.1.2 - para que fosse disponibilizado pelo menos uma máquina fotográfica por equipe de plantão - foi considerada “parcialmente cumprida”. A classificação levou em consideração a informação do gestor que havia comprado os equipamentos e a evidência de que a quantidade de equipes de plantão sem máquina fotográfica era igual à encontrada na auditoria.

Nesse mesmo processo, a determinação 6.2.1.15 - fazer constar no processo administrativo de fiscalização ambiental cópia da guia oficial de recolhimento da multa - foi classificada da mesma forma no primeiro monitoramento, “parcialmente cumprida”. Entretanto, na auditoria foi constatado que nos 32,9% dos processos analisados não constava a guia de emissão de multa, enquanto que no primeiro monitoramento foram apenas 14%. Assim, independentemente do gestor ter informado que implementou as determinações, observa-se que a determinação 6.2.1.2 deveria ser classificada como “não cumprida”, pois não houve nenhuma melhoria de desempenho no período, e a determinação 6.2.1.15 deveria ser classificada como “em cumprimento”, considerando que houve melhoria no indicador analisado, apesar de não atender à legislação em sua plenitude.

O terceiro item desse processo que acabou por gerar outra mudança de entendimento ocorreu na classificação dos itens 6.2.2.1, 6.2.2.2, 6.2.2.8 e 6.2.2.14, que foram considerados “implementados” no primeiro monitoramento e “não implementados” no segundo (Estado de Santa Catarina, 2013a). Esse fenômeno ocorreu devido aos itens serem considerados de cumprimento continuado ou periódico, tal como o item 6.2.2.2 - elaborar campanha e material para divulgar os canais de denúncias existentes e ampliados.

Nesse caso, a implementação não é estática, que ocorre apenas uma vez, mas cíclica, devendo ocorrer ano após ano. Assim, considerou-se que houve cumprimento em um primeiro momento e no segundo não, uma vez que o gestor não repetiu a ação. Entretanto, após a provocação dos pares, passou-se a considerar o cumprimento periódico, quando atendido no primeiro monitoramento, como “em implementação”, ressaltando a necessidade de manutenção daquela boa prática nos próximos exercícios. Dessa forma, no último monitoramento, se o gestor repetir a ação, classifica-se como “implementada”, caso contrário, como “parcialmente implementada”, em consideração ao cumprimento do primeiro monitoramento.

Outra celeuma ocorreu com referência ao Relatório de Instrução DAE 21/2013 (Estado de Santa Catarina, 2013b) - segundo monitoramento da auditoria operacional que avaliou o serviço de transporte escolar público prestado pelo município de Bom Jardim da Serra-SC, que classificou como parcialmente cumprida a determinação 6.2.1.6 - providenciar cintos de segurança em condições de uso para os veículos próprios que realizam o transporte escolar.

No primeiro monitoramento (Estado de Santa Catarina, 2012c), observou-se que, dos 6 veículos próprios que realizavam o transporte de escolares, 5 não dispunham de cinto de segurança em condições de uso em todos os bancos. Posteriormente, no segundo monitoramento, apenas 1 veículo ainda permanecia em situação irregular. Considerando a melhora significativa nesse item, a equipe classificou como parcialmente atendida.

Contudo, novamente houve questionamento sobre a adequabilidade da classificação, uma vez que não caberia ao tribunal atestar o cumprimento parcial de dispositivo legal, haja vista que a legislação deve ser cumprida em sua plenitude.

A partir daí, adotou-se uma postura mais rígida em relação às determinações, classificando-as como “em cumprimento” no primeiro monitoramento apenas quando houvesse uma melhora significativa no desempenho e no último monitoramento se exige o pleno atendimento para classificar a determinação como “cumprida” - caso contrário, classifica-se como “não cumprida”.

Entretanto, essa postura mais rígida se refletiu diretamente no indicador de cumprimento das determinações de cada monitoramento. Mesmo assim, ela atende a um bem maior, pois algumas determinações que têm por objetivo regularizar um procedimento administrativo, por exemplo, o controle da frequência da jornada de trabalho dos servidores de forma diária e em meio eletrônico, que aparentemente pode ser mais um artifício burocrático, acabam por acobertar a prática de descumprimento da jornada de trabalho.

A título de exemplo, pois essa auditoria ainda não foi encerrada e não faz parte da amostra, cita-se a auditoria operacional que avaliou os serviços prestados pelo Hospital Infantil Joana de Gusmão (Estado de Santa Catarina, 2012b). Essa fiscalização analisou de forma combinada o registro de frequência dos médicos cirurgiões com os registros de produtividade no centro cirúrgico e o cumprimento das escalas de plantão. O procedimento de auditoria identificou profissionais que receberam por 216 horas trabalhadas, sendo 80 horas de contrato de prestação de serviços, mais 80 horas de plantão e 56 horas de sobreaviso. O profissional não registrou sua frequência no sistema de controle e teve produtividade de 12 horas no ambulatório e 6 horas e 20 minutos no centro cirúrgico; portanto, não fez jus à remuneração de mais de R$ 15.000,00 percebida.

O primeiro monitoramento dessa auditoria operacional foi objeto do Relatório de Instrução DAE 18/2014 (Estado de Santa Catarina, 2014) - que adotou essa nova postura mais rígida. Contudo, apesar do responsável informar que todas as determinações e recomendações estavam resolvidas, após o procedimento de monitoramento, concluiu-se que 9% das determinações estavam “em cumprimento” e 91% “não cumpridas”. Esse baixo cumprimento motivou a equipe de auditoria a sugerir a aplicação de multa aos responsáveis, em especial, pela gravidade dos fatos e a possibilidade da geração de prejuízo ao erário público. Porém, a sugestão não foi acolhida pelo relator do processo, que considerou precipitado aplicar multa no primeiro monitoramento de auditoria operacional.

De fato, as alterações propostas e consolidadas na classificação das auditorias operacionais realizadas pelo TCE/SC são mais claras e objetivas do que as considerações previstas no Manual de auditoria operacional (TCU, 2010). Além disso, atribuem maior relevância às evidências da melhoria de desempenho da atividade, em detrimento das informações prestadas pelo gestor público, que nem sempre representam a situação encontrada no monitoramento.

Em resumo, levando em consideração a prática dos monitoramentos de auditoria operacional realizadas pelo TCE/SC, elaborou-se a classificação da prática de avaliação das determinações e das recomendações proferidas pelo TCE/SC apresentada no Quadro 2.

Quadro 2
classificação da avaliação do cumprimento das determinações e da implementação das recomendações observadas no tce/sc

Considerando que a classificação do Quadro 2 foi implementada paulatinamente, houve necessidade de reclassificar alguns itens, especialmente os monitoramentos mais antigos. Dessa forma, avaliou-se que as 14 auditorias operacionais arquivadas pela corte de contas catarinense envolveram 101 determinações, sendo que 5 foram consideradas prejudicadas ao final do processo. Também foram realizadas 204 recomendações, das quais 6 foram consideradas prejudicadas. Dessa forma, a nova classificação das 96 determinações e 198 recomendações válidas apresentaram os resultados ilustrados nos gráficos 2 e 3 quanto ao seu cumprimento/implementação.

Gráfico 2
Cumprimento das determinações após o último monitoramento

Gráfico 3
Implementação das recomendações após o último monitoramento

Levando em conta o que foi avaliado, arredondando os valores e juntando as determinações e recomendações, observa-se que os processos de auditoria operacional encerrados apresentam aproximadamente 60% de cumprido/implementado, 15% de parcialmente cumprido/implementado e 25% de não cumprido/implementado. Provavelmente, com a adoção de uma postura mais rígida em relação ao cumprimento das determinações, esse cenário deve mudar nas próximas auditorias a encerrar, aumentando o índice de não cumprida, ao passo que diminui a parcela de determinações classificadas como cumpridas.

Destaca-se, como boa prática, que quase todos os relatórios de monitoramento dispõem de quadro síntese e representação gráfica sobre o cumprimento das determinações e da implementação das recomendações. Ademais, ressalta-se que, nos relatórios mais recentes, houve uma padronização da representação gráfica, servindo-se das três cores universalmente utilizadas nos semáforos, sendo o verde indicativo de cumprida/implementada, o amarelo para parcialmente cumprida/implementada e o vermelho para não cumprida/implementada.

Verifica-se que a adoção de coloração universal para representação gráfica facilita a interpretação do leitor, de modo a evitar equívocos por parte do público-alvo.

6. APRESENTAÇÃO AOS AUDITORES FISCAIS E A NOVA PROPOSTA DE CLASSIFICAÇÃO

Em 21 de julho de 2016, reuniram-se na sede do TCE/SC, os 10 auditores fiscais de controle externo que trabalham diretamente na instrução de processos de auditoria operacional e seus monitoramentos, para participar de uma apresentação com o objetivo de discutir o resultado da pesquisa.

O grupo não chegou a um consenso, em especial devido à variedade de situações postas e à combinação de resultados. Além disso, percebeu-se uma dúvida quanto à classificação do último monitoramento, se ele deveria posicionar-se em relação ao período de todo o monitoramento ou apenas ao lapso entre o monitoramento anterior e o atual.

Nesse sentido, observou-se que o segundo monitoramento classificava todo o período, abstendo-se de emitir opinião quanto ao período de referência. Provavelmente, caso se classificasse o lapso entre o monitoramento anterior e o atual, talvez alguns itens fossem considerados “cumpridos” ou “não cumpridos”, podendo até ser classificados como “parcialmente cumpridos”. Por outro lado, da forma como foram redigidos os monitoramentos (período entre a auditoria e o último monitoramento), prevalece uma avaliação maior, que aborde o impacto da fiscalização, e não necessariamente o período avaliado.

Após a primeira apresentação, uma nova proposta foi desenvolvida, abordando a maior parte das situações e as possíveis combinações, seguida de uma exposição individual para os chefes de divisão e coordenadores de auditoria do tribunal. Depois de três rodadas de contribuições, a versão validada pelos participantes modifica o nome dos monitoramentos de números ordinais para intermediário e final, sendo que neste haveria a classificação do período ao qual faz referência (do monitoramento anterior até o atual) e a classificação adicional relativa ao impacto da auditoria, acrescentando uma coluna, que abrangeria todo o período do monitoramento, como sistematizado no Quadro 3.

Quadro 3
Nova proposta de classificação da avaliação do cumprimento das determinações

A nova proposta de classificação foi aplicada na mesma amostra, de modo a avaliar o resultado do monitoramento final e o impacto da auditoria, com os resultados apresentados nos gráficos 4 e 5.

Gráfico 4
Cumprimento das determinações em relação ao monitoramento final

gráfico 5
cumprimento das determinações em relação ao impacto da auditoria

Em relação aos gráficos 5 e 6, verificou-se que a nova classificação propiciou a classificação “em cumprimento” no monitoramento final, sendo que os mesmos itens passaram a ser reclassificados como “parcialmente cumprida” em relação ao impacto da auditoria.

Além disso, observa-se que houve redução de 9,7% em relação às determinações consideradas “não cumpridas”, em especial, pela possibilidade de classificar a estagnação ou a leve piora no desempenho, como “em cumprimento” no monitoramento final.

Também ocorreu uma redução da ordem de 4,1% em relação às determinações consideradas cumpridas, sendo reclassificadas como “em cumprimento” ou “parcialmente cumpridas”. Essa característica decorre da recomendação ter sido originalmente considerada “cumprida”, ainda que não tivesse plenamente atendida.

Quanto às recomendações, a nova classificação corresponde à representação dos gráficos 6 e 7.

Gráfico 6
Implementação das recomendações após o último monitoramento

Da mesma forma que na avaliação das determinações, houve uma redução das recomendações consideradas “implementadas” (4,4% e 4%) e “não implementadas” (2,8% e 3%), com o respectivo acréscimo das recomendações consideradas “em implementação” ou “parcialmente implementada”.

Apesar da nova classificação ser mais precisa em relação as possíveis situações encontradas, a experiência do auditor ainda é necessária para lidar com a subjetividade de algumas situações. Por exemplo, na recomendação para recompor as equipes da Estratégia Saúde da Família (ESF) e a substituição de seus componentes por afastamentos ou licenças prolongadas. O relatório de auditoria cita que 95,83% das equipes estavam incompletas, seguidas por 83,3% no monitoramento intermediário e 76,7% no final, sendo assim, concluiu-se que a recomendação não foi atendida nos dois monitoramentos. De outra sorte, levando em conta os esforços do gestor, pois promoveu concurso público e processos seletivos para preenchimento das vagas, além da melhoria no indicador - apesar do alto índice de equipes com falta de integrantes, torna-se forçoso, ante a nova proposta, classificar a recomendação como “em atendimento”, no monitoramento final, e “parcialmente atendida” em relação ao impacto da auditoria.

Gráfico 7
Implementação das recomendações após o último monitoramento

Também se destaca os casos de estagnação, a exemplo do transporte escolar, no qual nenhum dos 8 ônibus do município tinha autorização do órgão de trânsito para o transporte de escolares na época da auditoria. Posteriormente, no monitoramento intermediário, 7 veículos dispunham da citada autorização, situação que persistiu no monitoramento final. Desse modo, pela nova proposta de classificação, manteve-se o status de “em cumprimento” no monitoramento final e de “parcialmente cumprida” para o impacto da auditoria. Assim, levou-se em consideração a melhoria significativa do cumprimento no primeiro monitoramento, bem como a estagnação na última avaliação. Ademais, considera-se importante descrever se o órgão instituiu algum tipo de ação de efeito prolongado, como, por exemplo, se além de promover capacitações foi instituída uma política de educação continuada.

A separação da classificação em monitoramento final e impacto da auditoria também possibilitou identificar situações que não eram percebidas. A título de exemplo, cita-se que, no primeiro monitoramento da avaliação no sistema de tratamento de resíduos sólidos urbanos do município de Itajaí-SC, classificou-se como atendida a exigência de que fosse refeito o isolamento (a cerca) para evitar a entrada de animais no aterro. No monitoramento final, apesar de não ter sido objeto de avaliação, considerou-se como atendida a recomendação. A partir da nova metodologia, classificou-se o monitoramento final como prejudicado, uma vez não houve a conferência, e o impacto da auditoria restou como atendido.

Percebe-se, na nova proposta de classificação, a intenção de reconhecer, de modo simples, os esforços do gestor público na resolução das proposições do TC, levando em conta a evolução da situação identificada na auditoria ou avaliada no monitoramento anterior. Cabe destacar a necessidade de refazer os procedimentos de auditoria, no monitoramento, para identificar se houve melhoria na atividade, não se baseando apenas em informações prestadas pelo jurisdicionado.

As recomendações seguiriam o mesmo raciocínio, exigindo apenas a melhoria do desempenho, ou seja, sem a necessidade de melhoria “significativa” para considerá-la “em implementação”. Mantém-se, também, a substituição do termo cumprido e suas variações por implementado e suas variações.

7. CONCLUSÃO

Decorrida mais de uma década desde o início da realização das auditorias operacionais no TCE/SC, vários programas e atividades relevantes já foram avaliados. Entretanto, o esforço para avaliar e monitorar suas deliberações não teve o mesmo estímulo para descrever seus procedimentos de auditoria e convertê-los em normas positivadas, o que é demonstrado pelas situações ocorridas na classificação da avaliação do cumprimento das determinações e da implementação das recomendações do tribunal nessas auditorias operacionais.

Dos fatos expostos, observa-se que a simples leitura e interpretação da forma de classificação sugerida no Manual de auditoria operacional (TCU, 2010) não abrange todas as situações enfrentadas pelo controle externo, em especial considerando que, muitas vezes, o gestor público informa que resolveu o problema, mas a deficiência persiste.

Por outro lado, da análise da evolução ocorrida na classificação atualmente adotada pelo TCE/SC, também sobressaem suas impropriedades, pois alguns itens foram considerados cumpridos, ainda que não tenham cumprido a legislação em sua plenitude, o que eleva sobremaneira o risco da auditoria emitir uma conclusão inadequada.

Como vantagem da nova classificação proposta se identifica a necessidade de descrever no relatório as evidências levadas em consideração para estimar o grau de implementação da recomendação, como, por exemplo, leve ou significativa melhora/piora no desempenho, bem como uma situação de estagnação. Para tanto, torna-se necessário criar indicadores, o que acaba por mitigar uma limitação identificada.

Ainda nesse sentido, sugere-se a inclusão de orientações quanto à descrição no relatório de monitoramento de soluções adotadas pelo gestor, diante dos desafios impostos, que tenham efeitos agravantes ou atenuantes na classificação dos resultados das auditorias operacionais.

Pode-se afirmar que o objetivo desta pesquisa foi atendido, pois, além de registrar as mudanças ocorridas na classificação do resultado das auditorias operacionais realizadas pelo TCE/SC, ainda se propôs uma nova classificação que leva em consideração o grau de implementação das recomendações e de cumprimento das determinações, propiciando melhor organização e definição das várias situações possíveis. Assim, evidencia-se a avaliação do impacto da auditoria e proporciona-se uma efetiva contribuição aos demais TCs que venham a promover essa discussão.

Futuros estudos podem aplicar a nova classificação proposta nos monitoramentos de auditorias operacionais realizados por outras cortes de contas, em especial por parte do TCU, a fim de aprimorar a metodologia e discutir pontos sensíveis, como considerar “em cumprimento” no monitoramento final quando houver estagnação ou leve piora no indicador de desempenho.

REFERÊNCIAS

• Albuquerque, F. F. T. (2006). A auditoria operacional e seus desafios: um estudo a partir da experiência do Tribunal de Contas da União(Dissertação de Mestrado). Universidade Federal da Bahia, Salvador, BA.
• Antero, S. (2008). Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo. Revista de Administração Pública, 42(5), 791-828.
• Brasil. (2006). Programa de Modernização do Sistema de Controle Externo dos Estados, Distrito Federal e Municípios Brasileiros - PROMOEX Brasília, DF: Ministério do Planejamento, Orçamento e Gestão.
• Ceneviva, R., & Farah, M. F. S. (2012). Avaliação, informação e responsabilização no setor público.Revista de Administração Pública, 46(4), 993-1016.
• Cunha, M. C. M. S. (1997). Auditoria operacional no setor público federal. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, 2(2), 47-52.
• Decreto Decreto n. 93.874, de 23 de dezembro de 198 6. (1986). Dispõe sobre os sistemas de administração financeira, contabilidade e auditoria, e de programação financeira, organiza o sistema de controle interno do poder executivo, e dá outras providências. Brasília, DF.
• Estado de Santa Catarina. (2013). Resolução TC n. 79/2013: dispõe sobre a fiscalização por meio de auditoria operacional realizada pelo Tribunal de Contas do Estado de Santa Catarina Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina. Recuperado de http://www.tce.sc.gov.br/sites/default/files/leis_normas/resolucao_n_79-2013_consolidada.pdf
  » http://www.tce.sc.gov.br/sites/default/files/leis_normas/resolucao_n_79-2013_consolidada.pdf
• Estado de Santa Catarina. (2010a). Relatório n. 20/2010: primeiro monitoramento da auditoria operacional realizada no Sistema de Tratamento de Esgoto Insular de Florianópolis Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina. Recuperado de http://www.tce.sc.gov.br/sites/default/files/1o_relatorio_monitoramento_ete_insular_3.pdf
  » http://www.tce.sc.gov.br/sites/default/files/1o_relatorio_monitoramento_ete_insular_3.pdf
• Estado de Santa Catarina. (2010b). Relatório n. XXX/2010: primeiro monitoramento da auditoria operacional na atividade de fiscalização ambiental de responsabilidade da Fundação do Meio Ambiente (Fatma) Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina. Recuperado dehttp://www.tce.sc.gov.br/sites/default/files/relatorio_Monitoramento_FATMA_BPMA_fiscalizacao_0.pdf
  » http://www.tce.sc.gov.br/sites/default/files/relatorio_Monitoramento_FATMA_BPMA_fiscalizacao_0.pdf
• Estado de Santa Catarina. (2012a). Relatório de instrução DAE 9/2012: segundo monitoramento da auditoria operacional realizada no Sistema de Tratamento de Esgoto Insular de Florianópolis Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina . Recuperado de http://www.tce.sc.gov.br/sites/default/files/relatorio%20de%20impacto%20ete%20Insular.pdf
• Estado de Santa Catarina. (2012b). Relatório de instrução DAE 10/2012: avaliação dos serviços prestados pelo Hospital Infantil Joana de Gusmão Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina . Recuperado dehttp://www.tce.sc.gov.br/sites/default/files/Relatorio_Auditoria_Operacional_HIJG_0.pdf
  » http://www.tce.sc.gov.br/sites/default/files/Relatorio_Auditoria_Operacional_HIJG_0.pdf
• Estado de Santa Catarina. (2012c). Relatório de instrução DAE 22/2012: segundo monitoramento da auditoria operacional no serviço de transporte escolar público prestado pelo município de Bom Jardim da Serra Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina. Recuperado dehttp://www.tce.sc.gov.br/sites/default/files/Relatorio_monitoramento_Transporte_Escolar_Bom_Jardim_da_Serra_0.pdf
  » http://www.tce.sc.gov.br/sites/default/files/Relatorio_monitoramento_Transporte_Escolar_Bom_Jardim_da_Serra_0.pdf
• Estado de Santa Catarina. (2013a). Relatório de instrução DAE 17/2013: segundo monitoramento da auditoria operacional na atividade de fiscalização ambiental de responsabilidade da Fundação do Meio Ambiente (Fatma) Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina . Recuperado dehttp://www.tce.sc.gov.br/sites/default/files/Segundo%20e%20%C3%BAltimo%20monitoramento%20fiscaliza%C3%A7%C3%A3o%20ambiental.pdf
  » http://www.tce.sc.gov.br/sites/default/files/Segundo%20e%20%C3%BAltimo%20monitoramento%20fiscaliza%C3%A7%C3%A3o%20ambiental.pdf
• Estado de Santa Catarina (2013b). Relatório de instrução DAE 21/2013: segundo monitoramento da auditoria operacional no serviço de transporte escolar público prestado pelo município de Bom Jardim da Serra Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina. Recuperado dehttp://www.tce.sc.gov.br/sites/default/files/Relatorio_segundo_monitoramento_Bom_Jardim_da_Serra_0.pdf
  » http://www.tce.sc.gov.br/sites/default/files/Relatorio_segundo_monitoramento_Bom_Jardim_da_Serra_0.pdf
• Estado de Santa Catarina. (2014). Relatório de instrução DAE 18/2014: primeiro monitoramento da auditoria operacional para avaliação dos serviços prestados pelo Hospital Infantil Joana de Gusmão Florianópolis, SC: Tribunal de Contas do Estado de Santa Catarina . Recuperado de http://www.tce.sc.gov.br/sites/default/files/Relat%C3%B3rio%20Primeiro%20Monitoramento%20Hospital%20Infantil_HIJG_Dezembro.pdf
  » http://www.tce.sc.gov.br/sites/default/files/Relat%C3%B3rio%20Primeiro%20Monitoramento%20Hospital%20Infantil_HIJG_Dezembro.pdf
• Fleischmann, R. S. (2015). Auditoria operacional: avaliação da eficiência de centros cirúrgicos de quatro hospitais públicos catarinenses. In Anais do 1oCongresso Internacional de Controle e Políticas Públicas. Belo Horizonte, MG.
• International Organization of Supreme Audit Institutions. (2004). ISSAI 3000: las Normas Internacionales de las Entidades Fiscalizadoras Superiores - normas y directrices para la auditoria del rendimiento basadas en las Normas de Auditoría y la experiencia práctica de la INTOSAI Estocolmo, Suecia: Comité de Normas de Auditoría.
• International Organization of Supreme Audit Institutions. (2015). ISSAI 300: princípios fundamentais de auditoria operacional. In Tribunal de Contas da União. Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI): princípios fundamentais de auditoria (nível 3) Brasília, DF: Autor. Recuperado de https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A15D3169 CE015D56CC4DE61545
  » https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A15D3169 CE015D56CC4DE61545
• Lei Lei Complementar n. 101, de 4 de maio de 2000. (2000). Estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. Brasília, DF.
• Lonsdale, J. (2011). Introduction. In J. Lonsdale, P Wilkins, & T Ling. (Eds.). Performance auditing: contributing to accountability in democratic government (pp. 1-21). Cheltenham, England: Edward Elgar.
• Loureiro, M. R., & Abrucio, F. L. (2004). Política e reformas fiscais no Brasil recente.Revista de Economia Política, 24(1), 50-72.
• Loureiro, M. R., Teixeira, M. A. C., & Moraes, T. C. (2009). Democratização e reforma do Estado: o desenvolvimento institucional dos tribunais de contas no Brasil recente.Revista de Administração Pública, 43(4), 739-772.
• Mendonça, B. C. C. (2005). Auditoria operacional no âmbito do Poder Judiciário do Estado do Rio de Janeiro (Trabalho de Conclusão de Curso). Fundação Getulio Vargas, Rio de Janeiro, RJ.
• Oliveira, A. M. (1996). Controle e auditoria governamental com enfoque em auditoria operacional Brasília, DF: ESAF.
• Pinto, J. M., & Gerhardt, T. E. (2013). Práticas avaliativas na gestão da atenção básica à saúde: estudo de caso em Camaquã e Canguçu (RS).Revista de Administração Pública, 47(2), 305-326.
• Pollitt, C., Girre, X., Lonsdale, J., & Summa, H. (2008). Desempenho ou legalidade? Auditoria operacional e de gestão pública em cinco países (tradução de Pedro Buck). Belo Horizonte, MG: Fórum.
• Ribeiro, J. F., Filho Lopes, J E G., Pederneiras, M. M. M., Silva, A. J. M., & Mulatinho, C. E. S. (2010). Recomendações em auditoria operacional: uma prospecção de fragilidades, com base na inteligência competitiva.Revista de Administração da UFSM, 3(2), 191-204.
• Rocha, A. C., & Quintiere, M. M. R. (2013). Auditoria governamental. Uma abordagem metodológica da auditoria de gestão Curitiba, PR: Juruá.
• Santos, G. K., & Raupp, F. M. (2015). Monitoramento e avaliação de resultados dos programas governamentais delineados no PPA. Revista de Administração Pública, 49(6), 1429-1451.
• Shand, D; & Anand, P. (1996). Performance auditing in the public sector: approaches and issues in OECD member countries. In Organisation for Economic Co-Operation and Development. Performance auditing and the modernisation of government (pp. 57-78). Paris, France: Puma.
• Tribunal de Contas da União. (1998). Manual de auditoria de desempenho Brasília, DF: Secretaria de Auditoria e Inspeções.
• Tribunal de Contas da União. (2000). Manual de auditoria de natureza operacional Brasília, DF: Coordenadoria de Fiscalização e Controle.
• Tribunal de Contas da União. (2010). Manual de auditoria operacional Brasília, DF: Secretaria de Fiscalização e Avaliação de Programas de Governo. Recuperado de https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A14D8D5AA6014D8D8277322DA6
  » https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A14D8D5AA6014D8D8277322DA6
• União Europeia. (2015). Manual da auditoria de resultados Luxemburgo: Tribunal de Contas Europeu. Recuperado dehttp://www.eca.europa.eu/Lists/ECADocuments/PERF_AUDIT_MANUAL/PERF_AUDIT_MANUAL_PT.PDF
  » http://www.eca.europa.eu/Lists/ECADocuments/PERF_AUDIT_MANUAL/PERF_AUDIT_MANUAL_PT.PDF
• Yetano, A. (2014). La difusión de la auditoría operativa en el ámbito regional: un estudio comparado del Reino Unido, Alemania y España.Gestión y Política Pública, 23(2), 421-464.

• 1
  O TCU traduziu effectiveness do inglês para o português como “efetividade”. Entretanto, reconhece em nota de tradução que o “termo em inglês abrange dois conceitos diferentes na língua portuguesa: efetividade (conceito relacionado aos resultados) e eficácia (conceito relacionado ao grau de alcance das metas programadas)” (INTOSAI, 2015, p. 2). Apesar da INTOSAI utilizar o termo “eficácia” na publicação em língua espanhola, a definição em ambas as línguas abrange os dois sentidos (metas e resultados).
• 2
  Resolução TC n. 79/2013: dispõe sobre a fiscalização por meio de auditoria operacional realizada pelo Tribunal de Contas do Estado de Santa Catarina. “art. 5º. A decisão do Tribunal nos processos referentes à auditoria operacional poderá conter: I — determinações para correção de atos e procedimentos, quando constatada infração à norma legal, regulamentar ou contrato; II — recomendações visando ao aperfeiçoamento do objeto auditado, bem como à otimização da aplicação dos recursos públicos.”

Datas de Publicação

• Publicação nesta coleção
  Jan-Feb 2019

Histórico

• Recebido
  26 Set 2016
• Aceito
  18 Out 2018