Avaliação executiva de indicadores no governo do estado de Minas Gerais: análise da implementação de uma ferramenta de monitoramento e avaliação

Executive evaluation of indicators in Minas Gerais state government: implementation analysis of a monitoring and evaluation tool

ARTIGOS

Avaliação executiva de indicadores no governo do estado de Minas Gerais: análise da implementação de uma ferramenta de monitoramento e avaliação

Executive evaluation of indicators in Minas Gerais state government: implementation analysis of a monitoring and evaluation tool

Éber Gonçalves^I; Felipe Michel Santos Araújo Braga^II; Eder Sá Alves Campos^III

^IMestre em economia pela Universidade Federal de Minas Gerais (UFMG). Integrou a equipe da Unidade de Indicadores no Programa Estado para Resultados entre 2007 e 2010. Atualmente é empreendedor público no Escritório de Prioridades Estratégicas, no governo do estado de Minas Gerais. Endereço: Cidade Administrativa Presidente Tancredo Neves, Rodovia Prefeito Américo Gianetti, s.n., Edifício Gerais, 2ºandar – Serra Verde – CEP 31630-901, Belo Horizonte, MG, Brasil. E-mail: [e-mail]

IIGraduado em ciências econômicas pela UFMG e em administração pública pela Escola de Governo da Fundação João Pinheiro (FJP). Atualmente trabalha como especialista em políticas públicas e gestão governamental no Escritório de Prioridades Estratégicas no governo do estado de Minas Gerais. Endereço: Cidade Administrativa Presidente Tancredo Neves, Rodovia Prefeito Américo Gianetti, s/n, Edifício Gerais, 2ºandar – Serra Verde – CEP 31630-901, Belo Horizonte, MG, Brasil. E-mail: [e-mail]

IIIGraduado em administração pública pela Escola de Governo da FJP e em ciências econômicas pela Pontifícia Universidade Católica de Minas Gerais (PUC-MG). De 2007 a 2010 foi o coordenador da Unidade de Indicadores no Programa Estado para Resultados. Atualmente é o chefe de gabinete da Secretaria de Estado Extraordinária da Copa do Mundo e gerente do Programa Copa 2014 do governo do estado de Minas Gerais. Endereço: Cidade Administrativa Presidente Tancredo Neves, Rodovia Prefeito Américo Gianetti, s/n, Edifício Gerais, 13ºandar – Serra Verde – CEP 31630-901, Belo Horizonte, MG, Brasil. E-mail: [e-mail]

RESUMO

A Avaliação Executiva de Indicadores (AEI) é uma tecnologia criada pelo governo de Minas Gerais, por intermédio do Programa Estado para Resultados, para ser empregada na avaliação sistemática da qualidade dos indicadores monitorados no âmbito da gestão estratégica do estado de Minas Gerais. O instrumento consiste em 34 perguntas, reunidas em quatro eixos temáticos: produção dos dados, produção do indicador, conceito e metodologia, e uso e comunicação. Os quesitos avaliados estão associados aos atributos desejáveis aos indicadores, como clareza, relevância, adequação, tempestividade e especificidade. A metodologia desenvolvida foi aplicada na avaliação da carteira de indicadores de 2009, composta por 104 indicadores. A avaliação resultou na identificação das características positivas e das lacunas do processo de produção de cada indicador, referenciando o trabalho de consolidação da carteira de indicadores na gestão para resultados. A AEI agrega valor à atividade de monitoramento, incentivando o desenvolvimento de medidas adequadas dos resultados das políticas públicas e contribuindo para o fortalecimento do modelo de contratação de resultado na gestão mineira.

Palavras-chave: indicadores; monitoramento; avaliação; gestão para resultados.

ABSTRACT

The Indicators Executive Evaluation (AEI) is a methodology developed by the government of Minas Gerais, through the Program State for Results, to be systematically used to evaluate the quality of the indicators monitored in the strategic management of Minas Gerais. This tool consists in 34 questions, grouped in four thematic axes: Data Production, Indicator Production, Concepts and Methodology, and Use and Communication. Those attributes evaluated are associated with desirable indicator's characteristics, such as clarity, relevance, adequacy, timing and specificity. The methodology was applied to the set of indicators monitored in 2009 (104 indicators). The evaluation provided, for each indicator, the identification of gaps in the indicator production process, which was very useful to strengthen the portfolio of indicators. At last, this paper points out the value added by the AEI in the monitoring activity, encouraging the development of more appropriate measures for the public policies' results and helping to strengthen the performance-based contracting model of the State.

Key words: indicators; monitoring; evaluation; management for results.

1. Introdução

A demanda por ferramentas que contribuam para a institucionalização e o aperfeiçoamento das atividades de monitoramento é notadamente crescente. Esse é o caminho percorrido pelos governos que, comprometidos com a efetividade de suas ações, buscam a consolidação de seu sistema de monitoramento e avaliação (M&A). Na gestão para resultados em Minas Gerais vem sendo desenvolvida uma série de trabalhos com esse intuito. Entre os trabalhos mais recentes está a Avaliação Executiva de Indicadores (AEI), cuja implementação é analisada neste artigo.

A AEI é uma tecnologia criada pela Unidade de Indicadores do Programa Estado para Resultados, com o apoio da consultora Gita Busjeet, para ser empregada na avaliação da qualidade dos indicadores monitorados no âmbito da gestão por resultados do governo do estado de Minas. A ideia se baseou na metodologia desenvolvida por consultores do Banco Mundial junto ao Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval).

O instrumento consiste numa série de 34 perguntas diretas (em sua maioria do tipo "sim" ou "não", outras com a opção de resposta "sim, parcialmente"), que estão distribuídas em quatro eixos com pesos diferenciados: produção dos dados, produção do indicador, conceito e metodologia, e uso e comunicação. Com essas perguntas buscou-se a identificação da presença, ou ausência, das características desejáveis aos indicadores, tal como preconizado na literatura sobre o tema: Cream (Clear, Relevant, Economic, Adequate e Monitorable)e Smart (Specific, Measurable, Achiveable, Realistic e Timely).

Com esse instrumento procedeu-se à avaliação da carteira de indicadores finalísticos de 2009, ano de elaboração e experimentação da metodologia. Em seguida foi realizada a AEI 2010, em resposta ao objetivo inicial de fazer ponderações sucessivas a partir dessa tecnologia, com registro das lições aprendidas. A última realizada foi a AEI 2007, posteriormente, ano escolhido por ter sido o da criação do Programa Estado para Resultados. A carteira de 2008 não foi avaliada. Tanto a metodologia da avaliação como os resultados da AEI 2009, comparados de forma geral aos resultados da AEI 2007 e 2010, são apresentados nas seções subsequentes.

Este artigo é composto por esta introdução, seguida pela seção Gestão para resultados em Minas Gerais, que contextualiza o uso de indicadores no governo estadual. Na seção subsequente apresenta-se o marco teórico, com o referencial das propriedades desejáveis aos indicadores. Na quarta seção descreve-se a ferramenta AEI, suas origens e metodologia. A seção cinco traz os resultados da AEI 2009, primeiro exercício de implementação da tecnologia, enquanto a seção seis é composta pela breve comparação dos resultados encontrados nas AEIs 2007, 2009 e 2010. Por último, são feitas algumas considerações.

2. Gestão para resultados em Minas Gerais

A gestão para resultados levada a cabo em Minas Gerais é singular, principalmente por se tratar de uma adaptação das recomendações da literatura para o contexto político e econômico estadual.

Com base nas premissas de ajuste fiscal e modernização da administração pública, o estado de Minas Gerais instituiu, a partir de 2003, o Programa Choque de Gestão. Foi adotado o duplo planejamento no governo, associando metas de longo e de curto prazo. O planejamento de longo prazo se materializou no Plano Mineiro de Desenvolvimento Integrado (PMDI 2003-2020), elaborado pelo Executivo e aprovado pelo Legislativo, que continha a visão de futuro "tornar Minas Gerais o melhor estado para se viver".

Após a conquista desse ambiente de equilíbrio fiscal e revigoramento das práticas de planejamento, criaram-se condições para, a partir de 2007, a elaboração de uma nova versão do PMDI, introduzindo a orientação para resultados de modo mais robusto. O PMDI 2007-2023 abordou os objetivos estratégicos do governo por áreas de resultados. Esses objetivos foram traduzidos em indicadores com metas definidas para médio e longo prazo.

Portanto, o modelo atual de gestão estadual surgiu de uma concepção com forte orientação para resultados, mas sua execução não teve caráter fixo e inalterável. Pelo contrário, reconhece-se desde o início a necessidade de melhorias em busca da efetiva gestão por resultados no governo. A AEI é um fruto dessa procura. Antes de apresentar a metodologia e os resultados da avaliação, é pertinente fazer uma breve descrição do histórico recente do uso de indicadores pelo governo do estado.

O acompanhamento e o uso de indicadores na gestão para resultados em Minas Gerais tomaram vulto a partir de 2007, com a instauração do Programa Estado para Resultados.¹ Entre suas atribuições está a de ser o guardião dos resultados estabelecidos no PMDI e a de zelar pela qualidade dos registros dos indicadores utilizados no monitoramento desses resultados (Guimarães e Campos, 2009:10). O PMDI 2007-23 operacionalizou os objetivos do governo por meio de indicadores, chamados de indicadores finalísticos, que são acompanhados e monitorados pelo Programa Estado para Resultados, por intermédio da Unidade de Indicadores.

Os indicadores elencados no PMDI estavam num nível de desenvolvimento muito inicial. Entre os indicadores propostos havia alguns que eram apenas ideias de indicadores. Outros indicadores estavam conceitualmente definidos, mas não tinham sua primeira mensuração realizada. Alguns indicadores tinham outros problemas, tais como a ausência de uma série histórica consolidada, periodicidade superior à anual e defasagem muito grande na divulgação dos resultados. Para os indicadores em um estágio de desenvolvimento mais avançado, foram estabelecidas metas de médio e longo prazo (2011 e 2023).

Esses indicadores foram levados para os Acordos de Resultados 2007, primeiros contratos de gestão pactuados após a conclusão do PMDI 20072023. Para os Acordos de Resultados 2007 estabeleceram-se metas para o referido ano e transportaram-se as metas de 2011 que já constavam no PMDI. Assim, reproduziram-se nos Acordos de Resultados 2007 as lacunas dos indicadores do PMDI, tal como mostra a figura 1.

Percebe-se, portanto, que as atividades do Programa Estado para Resultados, no que diz respeito ao monitoramento, começaram com o desafio do aprimoramento da carteira de indicadores finalísticos para atender às necessidades da gestão para resultados, com metas anuais.

O problema da inadequação dos indicadores se refletiu na avaliação dos Acordos de Resultados 2007. Aproximadamente 32% dos indicadores pactuados não tiveram os resultados desse ano avaliados. Outros 9% foram apurados por meio de proxy, como mostra a figura 2.

Nos anos seguintes, foi feita então uma revisão da carteira de indicadores, terminada em julho de 2008, que culminou em um novo conjunto que "representou uma mudança significativa acerca da qualidade e robustez em relação ao quadro inicial, no que diz respeito à memória de cálculo e construção dessas estatísticas" (Guimarães e Campos, 2009:11). Essa maior qualidade e aderência aos requisitos do modelo de gestão dos Acordos de Resultados pode ser vista pelo aumento considerável de indicadores avaliados.

Percebe-se, ainda pela figura 2, que aumentou, ao longo dos anos, o número de proxies utilizadas, de modo a viabilizar a avaliação dos indicadores previstos no PMDI, mantendo o alinhamento com os objetivos estratégicos. Refletindo o avanço observado em 2008, a carteira de indicadores finalísticos sofreu poucas alterações em 2009.

Tendo alcançado a relativa adequação da carteira às necessidades da gestão em 2009, publica-se pela primeira vez o Caderno de Indicadores.² Este documento buscou "tornar pública a evolução experimentada no modelo de gestão por resultados, evidenciando seus limites, desafios e possibilidades" (Minas Gerais, 2009:9).

O Caderno de 2009 apresentou o conjunto de 104 indicadores finalísticos revisados e adequados ao monitoramento anual, distribuídos conforme a lógica estratégica de atuação do governo estadual, por áreas de resultados. A premissa foi que todos eles deveriam ser apuráveis anualmente, ainda que com alguma defasagem temporal, e deveriam estar alinhados à estratégia de longo prazo estabelecida no PMDI.

O conjunto de indicadores foi revisto e atualizado, como recomendado para cada negociação anual, subsidiando a construção da segunda edição do Caderno de Indicadores em 2010,³ composta por 105 indicadores. Reconhece-se a necessidade de aprimoramento contínuo do conjunto de indicadores, o que requer aprofundar o conhecimento sobre a carteira e estabelecer os parâmetros que definem o caminho para a melhoria. A AEI foi concebida com esse objetivo.

3. Referencial: propriedades desejáveis aos indicadores

A escolha e a manutenção de bons indicadores no portfólio da gestão para resultados é fundamental. Esse cuidado se justifica por figurarem os indicadores entre os principais instrumentos de acompanhamento dos resultados dos programas governamentais aos quais se articulam (MPOG, 2010:17). É importante que a escolha dos indicadores seja fundamentada e coerente com a recomendação da literatura. Diversas organizações buscaram definir quais parâmetros são desejáveis para um indicador. Entre essas diretrizes, destacaram-se aquelas associadas aos acrônimos Cream e Smart.

Atendem aos requisitos Cream, conforme Shiavo-Campo e Tommasi (1999), os indicadores que são: claros (precisos e inequívocos); relevantes (adequados ao tema e capazes de medir o que se pretende medir); econômicos (disponíveis a custo razoável); adequados (fornecem uma base suficiente para avaliar a performance do programa); e monitoráveis (passíveis de validação independente).

Indicadores Cream devem refletir os resultados de maneira direta. Eles devem ser capazes de medir o objetivo de forma suficientemente precisa, serem válidos teórica e praticamente, permitirem uma coleta de dados efetiva e serem sensíveis a mudanças nos resultados. Ao retratar os resultados, é desejável que sejam desagregados, permitindo comparações por unidades geográficas ou outras formas de agregação.

Já os requisitos Smart são relacionados a indicadores que são específicos, mensuráveis, atingíveis, relevantes e tempestivos (MPOG, 2010:18). Especificidade é a qualidade do indicador que não tem um escopo amplo ou genérico, portanto, não conduz a interpretações duvidosas ou à perda de foco, nem tem metas impossíveis de serem alcançadas pelas ações que compõem o programa. Mensurável é o indicador passível de ser medido, logo, ele pode ser acompanhado e monitorado. Atingível é o indicador cujas metas são realistas e viáveis, ou seja, passíveis de serem atingidas com os recursos humanos e materiais disponíveis, consideradas também as restrições típicas da administração pública.

Em relação às metas atingíveis, cabe frisar que elas devem ser, simultaneamente, pertinentes, realizáveis e desafiadoras. Estas características são prementes em um modelo de gestão para resultados (Gonçalves, Campos e Carvalho, 2010). Antes de tudo, é preciso ter clareza do que é uma meta factível e desafiadora. Deve-se buscar para cada indicador uma meta que combine o desafio, que motiva, e a factibilidade, que evita a desistência.

Por outro lado, um indicador é relevante se seu objetivo estiver associado a um problema considerado prioritário para a agenda governamental. Nesse caso, será alinhado às ações ou aos objetivos estratégicos elencados pelos órgãos setoriais ou pelo governo central. E o indicador será tempestivo se possuir prazos delimitados para ser aferido e for capaz de contribuir, em tempo hábil, com melhorias e aprimoramentos do programa avaliado ou com o processo de tomada de decisão.

Um indicador ótimo deveria, idealmente, atender todas essas diretrizes. Mas, na realidade, atenderá ao maior número possível. A realidade restringe as opções e impede que seja sempre implantado o modelo ideal. Na impossibilidade de se trabalhar com indicadores que possuem todas as características desejáveis, admitem-se os limitados. Por exemplo, algumas bases de dados e os indicadores delas derivados não permitem a desagregação conforme recomendado, ou não têm a abrangência desejada, ou, ainda que necessários e justificados, não são econômicos.

Um portfólio composto por indicadores ótimos, que atendem satisfatoriamente às características Cream e Smart, é fundamental para retratar a realidade, para responder à altura o desafio de sintetizá-la. O bem-estar social é mais complexo do que o modelo composto por indicadores que buscam re-sumi-lo. Esse sistema de estatísticas "deve, necessariamente, ser plural – porque nenhuma medida pode resumir algo tão complexo como o bem-estar dos membros da sociedade, nosso sistema de medição precisa abranger uma série de medidas diferentes" (Stiglitz, Sen e Fitoussi, 2010:12).⁴

A carteira de indicadores não pode pretender medir tudo, ou se tornaria ineficiente, por desperdiçar recursos, e ineficaz, por dispersar esforços e prejudicar o alcance dos resultados. Mas não pode deixar de medir o essencial, de reunir as informações que podem subsidiar a melhoria da tomada de decisão. Além disso, "as medidas devem ter significância, não devem ser operacionalizadas por obrigação ou imposição legal, mas por se constituírem ferramentas úteis a todo o ciclo de gestão das políticas públicas" (MPOG, 2010:21).

Tendo em vista esse referencial e a busca de solução do problema de fortalecimento do sistema de M&A, buscou-se o desenvolvimento da Avaliação Executiva de Indicadores, apresentada na seção seguinte.

4. A avaliação executiva de indicadores

As revisões para melhoria dos indicadores que compõem a carteira mineira deveriam ser balizadas por uma metodologia específica, padronizada e que pudesse ser aplicada periodicamente. A metodologia deveria expor as bases para o julgamento da qualidade dos indicadores, identificando suas forças e fraquezas, suas possibilidades e limitações. O resultado desse projeto é descrito nesta seção.

Em julho de 2009 foram elaborados os esboços iniciais do questionário e do Manual do Avaliador.⁵ Em novembro uma primeira versão desses documentos foi consolidada para a aplicação de um pré-teste. No pré-teste foram avaliados quatro indicadores.

A partir da experiência do pré-teste e das sugestões da consultora da avaliação, Gita Beker Busjeet, tanto o questionário como o manual do avaliador foram aprimorados para atender adequadamente aos objetivos da avaliação. As versões do manual e do questionário que viriam a ser utilizadas na avaliação foram concluídas em dezembro de 2009, data da primeira rodada de avaliação.

O questionário é composto por 34 quesitos que estão divididos em quatro eixos:

O número de quesitos em cada um dos eixos é distinto: 13 estão no eixo produção dos dados, seis na produção do indicador, 11 em conceito e metodologia, e quatro em uso e comunicação.

Os pesos dos eixos – e dos quesitos nos eixos – na avaliação geral do indicador também são diferentes e foram definidos pelos técnicos da Unidade de Indicadores a partir da análise de alguns critérios, tais como o número de quesitos e a relevância do eixo na experiência recente da gestão pública para resultados do governo de Minas.

Os problemas relacionados à fase de produção dos dados aparecem recorrentemente na atividade de monitoramento da Unidade de Indicadores, pois eles impõem limitações ao cálculo e acompanhamento dos indicadores. Por esse motivo, o eixo produção dos dados teve maior detalhamento. Isso está refletido no número de quesitos que o compõem e em seu peso relativo.

Ademais, os pesos dos quesitos nos eixos foram definidos com a utilização de metodologia de comparação par a par. A metodologia consiste na atribuição da importância de cada quesito na avaliação em relação a todos os outros. Um quesito pode ser considerado mais, igualmente, ou me-nos importante que outro. O quesito considerado mais (menos) importante que a maioria dos outros quesitos recebe maior (menor) peso. A aplicação da metodologia de comparação foi realizada pelos técnicos da Unidade de Indicadores ao longo de reuniões que subsidiaram a atribuição dos pesos relativos.

A avaliação foi executada por 10 técnicos da Unidade de Indicadores. Cada técnico avaliou o conjunto de indicadores sob sua responsabilidade de acompanhamento no âmbito da gestão para resultados do governo de Minas. O principal instrumento da avaliação foi o Manual do Avaliador,⁶ já mencionado.

Estabeleceram-se alguns procedimentos sequenciais na execução da avaliação. Inicialmente, cada técnico da Unidade de Indicadores respondeu o questionário, avaliando os indicadores pelos quais é responsável pelo acompanhamento. As perguntas foram respondidas a partir das informações disponibilizadas pelas instituições responsáveis nos documentos oficiais e nos sítios eletrônicos. Quando essas fontes não traziam as informações necessárias para responder os pontos do quesito, o avaliador fazia contato direto com os responsáveis, pessoalmente, por telefone ou por e-mail.

Não houve registro de dificuldades na obtenção das informações por contato direto, especialmente nos feitos com responsáveis nos órgãos estaduais. Os membros da equipe da Unidade de Indicadores já tinham um canal de comunicação estabelecido com os responsáveis pelos dados primários ou registros administrativos. Este canal foi estabelecido no acompanhamento sistemático dos resultados dos indicadores finalísticos.

Procurou-se dar mais ênfase na necessidade de se construir e consolidar o conhecimento sobre o indicador e menos no caráter avaliatório do trabalho. As dúvidas sempre eram colocadas em um tom ameno para evitar resistência por parte dos responsáveis.

As informações sobre as fontes secundárias foram obtidas quase que totalmente nos documentos já disponibilizados pelas instituições. Mesmo assim, algumas instituições receberam a visita técnica de componentes da Unidade de Indicadores com o intuito de ampliar o conhecimento já acumulado sobre as fontes de dados. Como exemplo, menciona-se a visita técnica feita ao Instituto Brasileiro de Geografia e Estatística (IBGE). Nesta visita foi aprofundado o conhecimento sobre os processos de produção da Pesquisa de Orçamentos Familiares (POF) e a Pesquisa Nacional por Amostra de Domicílios (Pnad).

As respostas de todos os quesitos para todos os indicadores foram redigidas de maneira sintética e consolidadas em uma planilha eletrônica padronizada. O objetivo dessa planilha foi reunir todas as informações relevantes para a atribuição da resposta do avaliador: sim; sim, parcialmente; não. Nessa planilha foram executados os cálculos de desempenho dos indicadores por eixo, por área de resultados e da carteira como um todo.

Após a avaliação preliminar de cada técnico, os resultados eram levados para o que se denominou workshop de avaliação. O workshop consistiu numa reunião de trabalho com participação de todos os técnicos da Unidade de Indicadores. Nessa reunião se repassava cada uma das respostas dadas pelos avaliadores. Foram realizados 10 workshops de avaliação. No workshop as respostas eram discutidas, rejeitadas ou apoiadas. Os técnicos saíam do workshop com as indicações de melhoria das respostas. Apesar de cansativas e desgastantes, essas reuniões, na percepção dos próprios avaliadores, foram extremamente importantes para o nivelamento conceitual e para a padronização das respostas. Na etapa seguinte, os avaliadores realizavam as adequações sugeridas no workshop. Em geral, essas adequações eram realizadas rapidamente (dois ou três dias). Em algumas ocasiões foi necessário fazer nova consulta aos documentos de referência, reforçar as evidências e até retomar o contato com os responsáveis pelos dados.

Com as adequações feitas, as respostas eram novamente consolidadas na planilha eletrônica pelo coordenador da avaliação. O coordenador também fazia nessa etapa uma revisão geral das respostas (formatação, padronização). Ele reunia as respostas dos técnicos, fazia uma nova leitura e crítica. Os problemas identificados nessa etapa eram resolvidos com cada um dos avaliadores. Concluída essa etapa, o resultado final foi submetido ao coordenador da Unidade de Indicadores para validação final. Em poucas situações houve necessidade de se retificar algum quesito após submissão para validação final. A avaliação foi considerada encerrada após a validação do responsável pela Unidade de Indicadores.

5. Resultados detalhados da AEI 2009

Conforme descrito na metodologia da avaliação, o indicador recebe uma nota igual a zero, 50 ou 100 em cada quesito. A nota do indicador é calculada por média aritmética ponderada. Já o resultado por grupo de indicadores, como por área de resultados, por eixo da avaliação ou o resultado geral da carteira é calculado por média aritmética simples do resultado dos indicadores.

A fim de explicitar o potencial e a contribuição efetiva da AEI, passaremos a discutir com mais detalhes os resultados da AEI 2009, elencados na tabela 1, por eixo e área de resultados. Observa-se que, numa avaliação de 0 a 100, o portfólio de indicadores finalísticos da gestão para resultados de Minas Gerais recebeu uma nota de 68,5 pontos. O eixo mais bem avaliado foi produção dos dados (75,6 pontos), seguido de conceito e metodologia (71,7), produção do indicador (63,8) e uso e comunicação (52,1).

A área de resultados com o conjunto de indicadores mais bem avaliado é educação de qualidade, com 79,6 pontos. Ela está 11 pontos acima da média geral e quatro pontos acima da nota de vida saudável, que aparece logo na sequência (75,4). Os sistemas de estatísticas dessas duas áreas são bastante desenvolvidos. São áreas de grande relevância social e, por consequência, de muito interesse dos estudiosos. Elas possuem bases de dados consolidadas e indicadores reconhecidos pelos profissionais da área de monitoramento e avaliação. Atribui-se a esses fatores a boa avaliação dessas duas áreas de resultados.

A melhor e a pior produção de dados foram verificadas nas áreas de resultado qualidade fiscal e qualidade e inovação em gestão pública, os pilares do estado para resultados: 90,2 e 54,8 pontos, respectivamente. Qualidade e inovação em gestão pública é também área de resultado com pior avaliação geral (57,0).

A diferença pode ser atribuída às características intrínsecas às atividades realizadas nessas áreas. Os dados fiscais possuem regulamentação legal e, por isso, são objeto de rigoroso controle, são padronizados por normas nacionais e auditados sistematicamente. Já o registro das informações atinentes à atividade de gestão pública só muito recentemente começou a receber maior cuidado. Por isso, os indicadores da área estão em um estágio de desenvolvimento muito inicial. O desafio de aprimorar os indicadores de gestão é ampliado quando se trata de outcomes, uma vez que essa é caracteristicamente uma área meio.

No eixo produção do indicador, destaque para a área de resultado investimento e valor agregado da produção, que obteve 69,3 pontos. Logística de integração e desenvolvimento e qualidade e inovação em gestão pública figuram com as piores notas nesse eixo, ambas inferiores a 60.

Desenvolvimento do norte de Minas, Jequitinhonha, Mucuri e Rio Doce (82,8) e educação de qualidade (82,4) são as áreas de resultado mais bem avaliadas no eixo conceito e metodologia. É importante ressaltar que a primeira é formada por indicadores das outras áreas, apenas com o recorte dessa região menos desenvolvida no estado, tais como educação e saúde. Como educação de qualidade e vida saudável são as duas áreas mais bem avaliadas, era de se esperar que Desenvolvimento do norte de Minas, Jequitinhonha, Mucuri e Rio Doce também fosse.

Uso e comunicação, eixo com pior nota geral, teve uma boa avaliação nas áreas de resultado educação de qualidade e qualidade fiscal. A primeira ficou acima dos 70 pontos. Já a segunda ficou muito próxima dessa nota. A pior avaliação nesse eixo foi na área rede de cidades e serviços, com 33,3 pontos.

As notas baixas do eixo uso e comunicação podem ser imputadas a duas causas principais: a ausência de ações de comunicação e o baixo reconhecimento do indicador, derivado da baixa qualidade medida pelos outros três eixos da avaliação. Considera-se que esta última seja a causa preponderante. Indicadores que não detêm as propriedades desejáveis mencionadas nos eixos anteriores e que, por isso, não possuem o reconhecimento dos profissionais da área que representam, dificilmente terão um uso efetivo e serão objetos de ações de comunicação.

Os indicadores também foram classificados em cinco categorias (níveis de maturidade) de acordo com a pontuação obtida na avaliação. O nível mais elevado de maturidade é o nível 1, denominado suficiente. Para pertencer a esta classe o indicador deve ter nota igual ou superior a 80.

O nível de maturidade imediatamente inferior é o moderado, do qual fazem parte os indicadores avaliados entre 70 e 80 pontos. Os indicadores na faixa entre 60 e 70 compõem o grupo dos indicadores com maturidade limitada. Na sequência estão os indicadores com nível de maturidade fraco e precário, cujas notas na avaliação variam entre 40 e 60 e entre 0 e 40, respectivamente.

A figura 5 mostra que a maior parte dos indicadores foi classificada pela AEI 2009 no nível de desenvolvimento moderado (37,5%). Apenas 19,2% dos indicadores pertencem ao nível considerado suficiente. Esse percentual é inferior ao de indicadores do nível fraco: 23,1%.

Outro exercício realizado com os resultados da AEI 2009 consistiu na identificação do potencial de melhora da qualidade da carteira. Esse exercício pode ser feito sob dois cenários: 1. mantendo-se os mesmos indicadores, ou 2. trocando-se os indicadores por outros.

No primeiro, levantam-se os pontos que, sob a atuação dos responsáveis ou dos técnicos da Unidade de Indicadores, podem ser melhorados em cada indicador da carteira. Ou seja, identificam-se quais quesitos poderiam, com o trabalho direcionado da Unidade de Indicadores, ter a resposta convertida dos tipos "não" ou "sim, parcialmente" para "sim".

No entanto, nem todos os elementos estão sob a gestão dos responsáveis ou da Unidade de Indicadores. Duas situações exemplificam o segundo cenário. As lacunas metodológicas não podem ser suprimidas mantendo-se o indicador na carteira. Isso ocorre porque a alteração na metodologia significa, em primeira instância, a adoção de outro indicador. Ademais, muitos indicadores são calculados com fontes de dados secundárias e, por isso, suas características não podem ser alteradas pelas equipes citadas. Por exemplo, cita-se o caso de um indicador cuja fonte de dados é secundária e esses só são disponibilizados com mais de um ano de defasagem. Dificilmente se poderá estabelecer uma ação para reduzir esse tempo, por não estarem os responsáveis por ela submetidos à autoridade do governo estadual.

A figura 6 ilustra o resultado geral e nos quatro eixos, bem como o potencial de melhora de cada um deles. Na parte inferior das colunas apresentam-se os pontos obtidos em cada eixo. A parcela de pontos no realce intermediário da coluna corresponde ao potencial de melhoria, mantendo-se os mesmos indicadores na carteira. Já a parte superior, destacada no interior da área tracejada, representa o espaço no qual as ações de melhoria não estão sob a gestão da Unidade de Indicadores pelos motivos já explicitados.

Observa-se que o eixo uso e comunicação é o que tem, relativamente, maior possibilidade de melhora. Dado que sua avaliação ficou em quase 52% e que todas as lacunas desse eixo podem ter alguma intervenção da Unidade de Indicadores, existe um potencial real de melhoria de 48%.

O eixo produção do indicador, com uma lacuna equivalente a 36%, também apresenta um grande potencial de melhora. Importante destacar que esse eixo está em grande parte sob a responsabilidade direta da Unidade de Indicadores. Assim, sugere-se um direcionamento da Unidade na solução dos problemas identificados nesse eixo, o que pode resultar em uma melhora sensível da qualidade dos indicadores.

Os outros dois eixos já apresentam algum espaço no qual os indicadores não podem ser aperfeiçoados, caso a opção seja mantê-los na carteira: 5% em produção dos dados e 23% em conceito e metodologia.

Com esses resultados e exemplos evidencia-se que a AEI é mais do que uma simples avaliação. É um valioso instrumento gerencial. De maneira abrangente, a AEI vem auxiliar a gestão de indicadores a definir sua estratégia para o aperfeiçoamento da carteira. Além disso, de maneira mais específica, ela revela os pontos que devem ser trabalhados em cada um dos indicadores no plano de ação.

Mais importante do que a nota ou a classificação obtida pelo indicador é a identificação dos pontos que podem ser melhorados. Com esse intuito foi preparado um plano de ação para cada indicador, um documento que descreve de maneira sintética os resultados gerais da avaliação do indicador, elaborado pelos avaliadores após a etapa de validação.

O documento contém apenas duas páginas para cada indicador, frente e verso (^Apêndice). Os itens de identificação são mostrados no topo da primeira página. São apresentados o nome do indicador, órgão e pessoa responsável, nota geral obtida na avaliação, classificação de maturidade e objetivo. O resultado obtido é ilustrado por um pequeno gráfico que traz a nota obtida nos quatro eixos. O corpo da primeira página do plano de ação traz ainda as considerações gerais sobre a performace, uma descrição sucinta dos aspectos positivos e das lacunas do indicador em cada um dos eixos da avaliação. Pro-curam-se destacar os aspectos determinantes da nota obtida pelo indicador, positivos ou negativos.

O plano de ação também se contitui em um espaço para se propor ações para melhoria dos aspectos considerados deficientes. É importante mencionar que nem todos os aspectos são passíveis de ações de melhoria. Podem-se citar os problemas relacionados à metodologia de cálculo do indicador. Se a metodologia de cálculo é considerada inadequada para atender ao objetivo proposto para o indicador, então essa lacuna só poderá ser resolvida com alteração da metodologia, o que significaria a substituição do indicador. A sugestão da metodologia de cálculo adequada estará presente no plano de ação no quadro de recomendações.

6. Resultados comparados das AEIs 2007, 2009 e 2010

A figura 7 traz o resultado geral das AEIs 2007, 2009 e 2010, por área de resultados. Observa-se que, numa avaliação de zero a 100, o portfólio de indicadores finalísticos da gestão para resultados de Minas Gerais recebeu uma nota de 54,3 na AEI 2007, 68,5 na de 2009 e 74,0 na de 2010. O crescimento aponta que, em relação ao conjunto de quesitos que compõem a avaliação, houve melhora para todas as áreas de resultado. A área de resultado com melhor avaliação dos indicadores em 2010 foi educação de qualidade, já a pior foi inovação, tecnologia e qualidade.

Cumpre observar algumas limitações acerca da melhora absoluta ao longo dos anos. É preciso salientar que a AEI 2007, por exemplo, foi realizada em 2010, portanto, com um período significativo de defasagem, que aumentou a dificuldade de reunir evidências que justificassem respostas "sim" para alguns dos quesitos. Além disso, como mencionado anteriormente, um percentual elevado, de 32% dos indicadores previstos para 2007, não foi avaliado. Destarte, a diferença de nível entre a AEI 2007 e a AEI 2009 não é devida apenas a ganhos de produtividade e capacitação na gestão de indicadores, mas também à mudança na composição da carteira, que alinha objetivos ideais a indicadores de mensuração factível.

Outro destaque refere-se ao curto período compreendido entre a realização da AEI 2009 e a AEI 2010, menos de seis meses, quando o ideal seria um ano. Os resultados da AEI 2009, reunidos nos planos de ação, não puderam ser utilizados para a contratação dos Acordos de Resultados de 2010. Recomendações derivadas da avaliação de 2009, aptas a ampliar a melhoria observada entre a AEI 2009 e a AEI 2010, serão discutidas com os responsáveis pelos indicadores nos órgãos estaduais, com a expectativa de aperfeiçoamento da organização, da segurança e da facilidade de manuseio das bases de dados, por exemplo, com reflexos esperados para a AEI 2011.

A tabela 2 demonstra como foi a distribuição por eixos para a nota geral da carteira de indicadores. O número absoluto representa a nota acumulada em cada eixo e, entre parênteses, apresenta-se o percentual da nota obtida em relação à nota máxima de cada eixo.

Percebe-se, pela análise da tabela 2, que houve ganhos em todos os eixos, de 2007 a 2010, exceto em conceito e metodologia. Os quesitos que formam cada eixo estão descritos no ^Apêndice.

A produção dos dados recebeu maiores notas graças à melhora substancial em todos os quesitos, exceto o relacionado à possibilidade de desagregação por unidade geográfica, que permaneceu praticamente constante.

A produção do indicador teve o maior ganho acumulado ao longo dos anos. Por se tratar do eixo sob a responsabilidade direta da equipe que realizou a avaliação, foram reunidos esforços para aumentar as notas dos indicadores, com a efetiva realização das recomendações derivadas das avaliações executivas. Além disso, de 2009 para 2010, foi possível promover mudanças pontuais, como a incorporação de checagens sistematizadas da produção dos indicadores, verificação que gerou maior organização das memórias de cálculo e dos documentos de descrição dos indicadores, por exemplo. Entre a AEI 2009 e a AEI 2010 o maior ganho foi resultado do quesito associado à checagem e verificação do cálculo do indicador, que aumentou em quatro pontos a nota final da carteira.

O eixo conceito e metodologia teve pequena queda ao longo das AEIs. Isso porque indicadores ideais, do ponto de vista metodológico, presentes no conjunto previsto para 2007, foram substituídos em 2009 e 2010 por indicadores com qualificação metodológica relativamente menor, mas passíveis de acompanhamento, enquanto os indicadores abandonados não o eram.

A nota de uso e comunicação aumentou bastante de 2007 para 2009, permanecendo constante entre 2009 e 2010. Supõe-se que a incorporação dos indicadores finalísticos na agenda governamental os colocou em evidência, embora ainda haja muito espaço para melhorar: na tabela 2 é possível notar que o eixo teve aproximadamente 50% da sua nota potencial máxima (7,7 pontos em 15).

7. Considerações finais

O desafio que se segue à realização da AEI é o planejamento das ações de feedback aos responsáveis pelos indicadores. É certo que cada responsável será visitado pelo técnico da Unidade de Indicadores, que apresentará o resultado da avaliação. O técnico fará as explicações sobre os resultados e ouvirá as considerações do responsável. Além disso, o responsável receberá o Manual do Avaliador e o plano de ação para que possa ser consultado.

Entende-se que o acesso ao Manual do Avaliador pelos responsáveis é de fundamental importância para o processo de aperfeiçoamento dos indicadores.

O manual descreve cada uma das características desejáveis aos indicadores, tem uma função didática e pode ser consultado no processo de elaboração dos indicadores das instituições.

Mas a implementação das melhorias propostas nos planos de ação não deve ser realizada de maneira padronizada. Cada instituição tem uma dinâmica própria de funcionamento. Os órgãos públicos estão em estágios diferentes, com respeito à apropriação do conhecimento sobre as fontes de dados, gerenciamento da informação e metodologia de indicadores. Neste sentido, propõe-se que a agenda de execução das ações de melhoria seja definida caso a caso.

Outros fatores também precisam ser levados em conta nesse planejamento. Basicamente dois critérios devem ser considerados para a definição das prioridades na execução das melhorias: o resultado da avaliação e a importância da área do ponto de vista da gestão estratégica. Se os indicadores de uma determinada área de resultados, tida como prioritária no planejamento estratégico do governo, tiverem uma avaliação ruim, indubitavelmente essa área deve receber primazia no planejamento da execução dos planos de melhoria. Nesse sentido, a AEI é um instrumento que contribui para dar foco ao trabalho realizado pela unidade responsável pelo acompanhamento dos indicadores.

A AEI vem, portanto, fortalecer a atividade de monitoramento exercida pela Unidade de Indicadores. A figura 8 ilustra como ela se insere no ciclo de procedimentos anuais da unidade. No primeiro trimestre, a equipe de técnicos se dedica à apuração dos valores fechados do ano anterior e, simultaneamente, faz a avaliação das metas pactuadas nos Acordos de Resultados. Concluída essa etapa, a Unidade de Indicadores trabalha na publicação do Caderno de Indicadores, cujo conteúdo é o conjunto de indicadores pactuados no ano anterior e com metas definidas para o ano corrente.

A AEI 2009 também foi realizada no primeiro trimestre 2010. No entanto, como a pactuação de indicadores e metas geralmente ocorre no final do ano (out./dez.), os indicadores de 2010 já tinham sido pactuados quando AEI 2009 foi concluída. Não existiu um intervalo de tempo para que as ações sugeridas a partir da avaliação da carteira de indicadores de 2009 fossem executadas para o aprimoramento dos indicadores pactuados para 2010.

Por esse motivo, a partir de 2010 a AEI passa a ser realizada entre maio e junho, como mostra a figura 8. Após a conclusão da AEI será iniciada a execução das melhorias sugeridas nos planos de ação (período jul./set.). As melhorias implementadas serão aproveitadas na etapa de negociação e pactuação de indicadores e metas para o ano seguinte. Com isso espera-se que os indicadores pactuados ganhem em qualidade e, por consequência, sejam mais bem avaliados pela AEI do ano seguinte.

A AEI propiciou um diagnóstico objetivo da carteira de indicadores utilizada no modelo de contratualização da gestão para resultados em Minas Gerais. Entre outras informações, o diagnóstico trouxe uma análise do potencial de melhoria de cada indicador. A avaliação possibilitou a sistematização dos critérios que devem conduzir a seleção dos indicadores, criando uma memória institucional que reúne as informações relevantes sobre seus atributos, antes tacitamente acumuladas pelos responsáveis por seu monitoramento.

A AEI resulta ainda na ampliação da transparência e na diminuição da assimetria de informação existente entre executores e gestores dos programas governamentais pela publicação dos atributos considerados desejáveis aos indicadores. A AEI contribui para o amadurecimento da gestão pública baseada em evidência: o uso de indicadores cujo mérito é discutido de forma objetiva e replicável. Além disso, tem potencial utilidade para outros governos estaduais e de outras esferas, tornando possível o benchmarking e homogeneizando os ganhos com a gestão de indicadores.

A Unidade de Indicadores já realizou a avaliação da carteira de indicadores 2010. Os documentos da AEI já foram disponibilizados aos interessados e, em breve, os resultados serão divulgados. A partir de então, o trabalho de aperfeiçoamento da carteira será feito, agora de maneira tecnicamente orientada.

Artigo recebido em dez. 2010 e aceito em jul. 2011.

• BECHELAINE, Cinthia Helena de Oliveira. A gestão pública por resultados no estado de Minas Gerais: um estudo de caso sobre o Programa Estado para Resultados. Monografia (graduação) Escola de Governo de Minas Gerais, Fundação João Pinheiro, Belo Horizonte, 2009.
• GONÇALVES, Éber; CAMPOS, Eder Sá Alves; CARVALHO, Florence Fiuza de. Análise e reflexão sobre metodologias para avaliação de metas de indicadores de impacto na gestão pública para resultados. CONGRESSO CONSAD DE GESTÃO PÚBLICA, III. Anais... Brasília: Consad, 2010.
• GUIMARÃES, Tadeu Barreto; CAMPOS, Eder Sá Alves. Gestão por Resultados em Minas Gerais: análise crítica do arranjo incremental de monitoramento e avaliação. ENCONTRO DA ANPAD, XXXIII, 2009. São Paulo: Anpad, 2009.
• MINAS GERAIS. Secretaria de Planejamento e Gestão. Acordo de Resultados, 1ªEtapa, Sistema de Planejamento e Gestão. Belo Horizonte: Seplag, 2009.
• MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Secretaria de Planejamento e Investimento Estratégicos. Indicadores de programas: guia metodológico. Brasília: Ministério do Planejamento, mar. 2010.
• SCHIAVO-CAMPO, Salvatore; TOMMASI, Daniel. Managing government expenditure. Manila, Philippines: Asian Development Bank, 1999.
• STIGLITZ, Joseph E.; SEN, Amartya; FITOUSSI, Jean-Paul. Report by the Commission on the Measurement of Economic Performance and Social Progress. 2009. Disponível em: <www.stiglitz-sen-fitoussi.fr >. Acesso em: 4 ago. 2010.

Apêndice

1

O Programa Estado para Resultados foi criado pela Lei Delegada nº112, em 25 de janeiro de 2007. O acompanhamento dos indicadores finalísticos é feito pela Unidade de Indicadores. Para saber mais sobre o Programa Estado para Resultados ver Guimarães e Campos (2009) e Bechelaine (2009).

2

Disponível em: <

www.estadopararesultados.mg.gov.br/index.php/sala-conhecimento/cat_ view/29-documentos-do-programa>.

3

Disponível em: <

www.estadopararesultados.mg.gov.br/index.php/sala-conhecimento/cat_ view/29-documentos-do-programa>.

4

Tradução própria. Original em inglês.

5

O formato do manual do avaliador construído para a AEI foi inspirado nos guias do Program Assessment Rating Tool (Part) do governo americano. Mais informações em: <

www.whitehouse.gov/omb/expectmore/part.html>.

6

Disponível em: <

www.estadopararesultados.mg.gov.br/index.php/sala-conhecimento/doc_download/81-avaliacao-executiva-de-indicadores>.

Datas de Publicação

• Publicação nesta coleção
  14 Dez 2011
• Data do Fascículo
  Dez 2011

Histórico

• Aceito
  Jul 2011
• Recebido
  Dez 2010