Avaliação, informação e responsabilização no setor público

Evaluation, information and responsiveness in public sector

Evaluación, información y rendición de cuentas en el sector público

Avaliação, informação e responsabilização no setor público

Evaluación, información y rendición de cuentas en el sector público

Evaluation, information and responsiveness in public sector

Ricardo Ceneviva^I; Marta Ferreira Santos Farah^II

^ICentro Brasileiro de Análise e Planejamento

^IIFundação Getulio Vargas

RESUMO

O presente artigo discute o papel que os sistemas de avaliação de políticas públicas e programas governamentais podem desempenhar no aperfeiçoamento de mecanismos de controle da gestão pública. Procura-se verificar se a implantação de sistemas de avaliação contribui para reduzir a assimetria de informações entre cidadãos e políticos e entre políticos e burocratas. São discutidos os casos do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) e do Sistema de Monitoramento e Avaliação (SMA) do Programa Estadual de Doenças Sexualmente Transmissíveis e Aids (DST/Aids), do mesmo estado. A análise desses casos sugere que os sistemas de avaliação podem contribuir para uma maior transparência da gestão pública e para a responsabilização dos agentes públicos pelos resultados das políticas e programas governamentais, mas que o grau com que avanços nessa direção ocorrem relaciona-se não apenas com características próprias da avaliação — particularmente com as formas de apresentação e de divulgação dos dados da avaliação —, mas também com a dinâmica dos atores envolvidos na gestão da avaliação e no processo de formulação e implementação da política pública considerada.

Palavras-chave: avaliação de políticas públicas; informação; responsabilização; accountability; controle social.

RESUMEN

En este artículo se discute el papel que los sistemas de evaluación de políticas públicas y programas gubernamentales pueden desempeñar en la mejora de los mecanismos para el control de la administración pública. Tratamos de verificar como la aplicación de los sistemas de evaluación ayuda a reducir la asimetría de información entre los ciudadanos y los políticos, y entre políticos y burócratas. Se discuten los casos del Sistema de Evaluación del Desempeño Escolar del Estado de São Paulo (Saresp) y del Sistema de Monitoreo y Evaluación (SMA) del Programa Estatal de Enfermedades de Transmisión Sexual y Sida (ETS/Sida) del mismo estado. El análisis de estos casos sugiere que los sistemas de evaluación pueden contribuir a una mayor transparencia en la gestión pública y rendición de cuentas de los funcionarios públicos por los resultados de las políticas y programas gubernamentales, pero el grado en que los avances se producen en este sentido se relaciona no sólo con características de la evaluación (en particular con las formas de presentación y difusión de los datos de evaluación), también con la dinámica de los actores que participan en la evaluación y gestión en la formulación e implementación de políticas públicas consideradas.

Palabras clave: evaluación de las políticas públicas; información; rendición de cuentas; control social.

ABSTRACT

The main purpose of this paper is to analyze the effects of standardized systems of policy evaluation on government transparency and official's accountability. More specifically it discusses the impact of program evaluation and program assessment systems in the promotion of increasing levels of information transparency and the enhancement of mechanisms of accountability in the Public Sector. The exam of Saresp (Scholl Assessment System of São Paulo State) and the Monitoring and Evaluation System of Sexually Transmitted Diseases (STD) and Aids program in the same State suggests that evaluation systems have a positive impact on transparency and accountability, but that this impact is related not only to characteristics of the policy evaluation systems — particularly to the pattern its data and results are presented to the public — but also to the participation of stakeholders in the evaluation process and in the public policy itself.

Key words: public policy evaluation; information; accountability; social control.

1. Introdução

A redemocratização do Brasil em meados dos anos 1980 impulsionou a incorporação pela agenda de pesquisa das ciências sociais de questões relativas à transição do regime autoritário para a democracia e à institucionalização democrática¹ no país. Nas décadas seguintes, novos temas foram integrados à agenda de pesquisa, entre os quais se destaca o relativo à "qualidade da democracia". Dessa ótica, floresceu uma extensa — e bastante heterogênea — literatura que põe em evidência a relação entre a qualidade das ações do governo e os controles e incentivos a que estão submetidos os governantes e a burocracia.

Guillermo O'Donnell (1998) foi certamente um dos primeiros a relacionar as vicissitudes da consolidação democrática — ou, mais especificamente, o desenvolvimento de uma modalidade delegativa de democracia — na América Latina ao que denominou déficit de accountability dos sistemas políticos que se erigiam na região. Seu juízo tinha como base a observação de que o restabelecimento da competição eleitoral não era suficiente para assegurar um controle satisfatório da atuação de governantes e demais decisores políticos.

Embora a accountability tenha se tornado um tópico relevante na agenda de pesquisa das ciências sociais nos últimos anos, os trabalhos produzidos, como foi observado por Fernando Abrucio e Maria Rita Loureiro (2005:75), têm se ocupado, tradicionalmente, da matéria na perspectiva do controle: o controle das ações dos governantes em relação ao programa de governo, ou em relação à corrupção, ou ainda em relação à preservação dos direitos dos cidadãos (Ferejohn, 1999; Maravall, 1999; Stokes, 1999). Alguns estudos passaram a analisar também a questão da responsabilização dos agentes públicos a partir de suas intersecções com a reforma do Estado. Essas análises procuram examinar como o aprimoramento das instituições estatais pode contemplar, ao mesmo tempo, a melhoria do desempenho das políticas e dos programas governamentais e a maior transparência e responsabilização dos burocratas e governantes (Przeworski, 1998; Clad, 2000; Abrucio e Loureiro, 2005).

A literatura que trata dos processos de reforma do Estado, sob influência da chamada nova economia institucional (cf. Schneider e Doner, 2000), salienta a importância da criação de novos mecanismos de controle das ações do poder público a partir de dois argumentos básicos: a deficiência do processo eleitoral como mecanismo de responsabilização dos governantes e o papel fundamental que os instrumentos de fiscalização e controle democrático podem desempenhar na qualidade da gestão pública. Dessa ótica, duas formas de controle democrático não eleitoral, em especial, têm sido destacadas: os mecanismos de controle social e os mecanismos de controle da administração pública pelos resultados das políticas e dos programas governamentais.

A responsabilização por resultados em particular, segundo essa literatura, estrutura-se basicamente por meio da avaliação ex post das políticas públicas, ou seja, avalia-se para determinar a relevância das políticas; a realização dos objetivos programados e seus impactos. Nesse sentido, a avaliação de políticas e programas governamentais é vista não apenas como um instrumento de gestão, mas sobretudo como um meio para aferir o desempenho das políticas e programas e para estabelecer os parâmetros para a prestação de contas da burocracia e dos governantes. Como foi assinalado por Caiden e Caiden (2001:80), "o monitoramento e a avaliação não foram apenas ornamentais nem tiveram uma significação incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais das mudanças".

A literatura referente às tendências recentes na avaliação de programas e políticas públicas, por sua vez, também inclui, entre as razões para se realizarem estudos de avaliação, o problema do desempenho e da accountability (Ospina Bozzi, 2001; Faria, 2004). Segundo Weiss (1997), no governo, esses estudos estão diretamente ligados à questão da efetividade, da eficiência, da accountability e, mais amplamente, do desempenho da gestão pública.

Se, por um lado, nota-se uma convergência entre esses dois ramos da literatura no que se refere às motivações e aos objetivos da avaliação e seu papel como mecanismo de accountability, por outro, percebe-se uma escassez de estudos empíricos acerca da relação entre avaliação de políticas públicas, promoção de maior transparência administrativa e responsabilização dos agentes públicos. Assim, embora a literatura procure aproximar os conceitos de avaliação e accountability, estão longe de ser claras as condições (políticas, institucionais e administrativas) que sustentam essa relação.

No presente artigo, procura-se discutir o papel que estudos e pesquisas de avaliação de políticas públicas e programas governamentais podem desempenhar na criação ou no aperfeiçoamento de mecanismos de accountability na gestão pública. Mais especificamente, analisam-se as relações entre o fortalecimento da função e da capacidade avaliadora do governo e a promoção de níveis crescentes de difusão de informação e a criação de mecanismos de accountability.

Procura-se verificar se a implantação e a institucionalização do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) e do Sistema de Monitoramento e Avaliação (SMA) do Programa Estadual de Doenças Sexualmente Transmissíveis e Aids (doravante DST/Aids) têm contribuído para o aperfeiçoamento dos mecanismos de responsabilização dos agentes públicos — sejam governantes ou burocratas — por seus atos ou omissões na condução das políticas e dos programas governamentais.²

O objetivo do artigo é, portanto, analisar empiricamente, a partir de uma perspectiva comparada, se (e sob quais condições) a implantação do Saresp e do Sistema de Monitoramento e Avaliação do Programa Estadual de DST/Aids tem concorrido para a promoção de níveis crescentes de transparência e responsabilização de representantes políticos ou burocratas incumbidos de tais programas. Busca-se investigar se a introdução desses instrumentos de avaliação tem propiciado uma maior difusão de informações e contribuído para a adoção ou o aperfeiçoamento de procedimentos de prestação de contas e responsabilização, associados ao estabelecimento de meios de controle externo na gestão dessas políticas e programas no estado de São Paulo. Procura-se examinar a abrangência da difusão da informação gerada pela avaliação, os atores e grupos de interesse que têm acesso às avaliações, e ainda a qualidade da informação gerada, em termos de clareza e inteligibilidade. Secundariamente, o artigo procura analisar o papel e o uso dos sistemas de avaliação no planejamento e na gestão das políticas públicas, verificando se tais sistemas de avaliação de fato fornecem elementos e informações para o desenho de novas intervenções ou para o aprimoramento das políticas e dos programas em curso. O artigo discute, assim, a dupla promessa da avaliação de políticas públicas implícita no debate político e acadêmico recente: por um lado, a de que a avaliação apoiaria a tomada de decisões, subsidiando o processo de (re)formulação e implementação de políticas, para se alcançarem as metas estabelecidas e melhorar o desempenho da administração pública; por outro, a de que a avaliação, ao permitir mensurar desempenho e alcance de metas, promoveria a prestação de contas e a responsabilização da burocracia e dos representantes políticos responsáveis pela condução das políticas governamentais.

Diferentemente da literatura que sugere uma associação automática entre transparência das informações governamentais e prestação de contas e accountability, este trabalho sugere que a transparência relaciona-se com a prestação de contas, mas não necessariamente com a responsabilização dos agentes públicos (governantes ou burocratas). O artigo procura mostrar que a transparência é uma condição necessária, porém não suficiente, para a responsabilização das autoridades e de organizações públicas. O artigo destaca ainda não haver tampouco uma relação automática entre avaliação e promoção de transparência.

A análise dos casos selecionados sugere que a institucionalização de sistemas permanentes de avaliação de políticas públicas e programas governamentais pode ser um instrumento valioso na ampliação da geração de informações sobre a ação governamental, de transparência, de prestação de contas do desempenho das organizações públicas e de responsabilização de seus agentes. Os resultados indicam, porém, que o êxito da avaliação de políticas públicas como um mecanismo de controle democrático passa, necessariamente, por duas condições: a difusão e a transparência das informações geradas com base nas avaliações e a incorporação de regras e procedimentos de fiscalização via participação social.

2. Metodologia

Neste artigo, são analisadas de maneira comparada as contribuições que a implementação e a posterior institucionalização do Saresp e do SMA do programa de DST/Aids têm trazido para o incremento da transparência administrativa e para o estabelecimento ou a ampliação de mecanismos de responsabilização dos agentes públicos (sejam eles burocratas ou representantes políticos) incumbidos da política de educação fundamental e do programa de DST/Aids no estado de São Paulo. Como se argumentou anteriormente, a literatura que sugere uma relação direta entre a implantação de sistemas de avaliação de políticas públicas e o aumento da transparência e da responsabilização dos agentes públicos (Banco Mundial, 1997; OECD, 1998; Bresser-Pereira, 1998) é de cunho normativo e não se vale de estudos empíricos ou pesquisas sistemáticas que demonstrem, ou mesmo que descrevam, quais são, com efeito, as condições e as variáveis sobre as quais se apoia essa (suposta) relação entre avaliação e accountability.

Diante da escassez de trabalhos que tratem do tema a partir de uma abordagem empírica, a investigação em que se baseia o presente artigo teve um caráter exploratório, tendo como objetivo o desenvolvimento de hipóteses e proposições a respeito da relação entre avaliação e accountability. Esse foi o principal motivo que fundamentou a seleção do estudo de caso como estratégia de pesquisa. Para uma análise exploratória de determinado fenômeno social e de seu contexto, os estudos de casos afiguram-se como a estratégia mais apropriada (cf. Yin, 2005; Shavelson e Townes, 2002).

Outro aspecto metodológico relevante a se destacar consiste no fato de tanto o Saresp como o SMA do programa de DST/Aids serem analisados no âmbito deste trabalho como políticas públicas em si e não apenas como uma etapa do ciclo de políticas públicas (do policy cycle). Em geral, a avaliação é tratada como a "última etapa" do ciclo de políticas públicas, destinada a estimar os resultados da política ou programa, após a implementação. Neste artigo, a implantação dos sistemas de avaliação de políticas é examinada como uma política pública per se, cuja análise, portanto, deve incorporar todos os elementos de investigação de uma política.

Optou-se por essa abordagem por se entender que tanto a implementação do Saresp como a do SMA seguiram as etapas de qualquer política ou programa governamental — a de introdução da questão na agenda política, a de formulação da política ou do programa e a de implementação. O esforço fundamental que guiou a coleta e posterior análise dos dados foi justamente a tentativa de reconstrução dessa trajetória das políticas de avaliação, bem como das estratégias dos vários atores interessados durante esse percurso e, finalmente, do resultado desse processo, isto é, dos sistemas de avaliação de fato implementados.

Ainda no que se refere à definição dos casos a serem estudados, optou-se deliberadamente pela seleção de dois casos extremos. Assim, a escolha do Saresp e do SMA do programa de DST/Aids não se deu em bases aleatórias ou de tipicidade, mas, ao contrário, fez-se com base em interesses teóricos nos casos que, por se tratarem de casos limites, poderiam contribuir melhor para o desenvolvimento da hipótese do trabalho. A hipótese aqui defendida é de que a ampliação da transparência administrativa e a responsabilização dos agentes públicos — governantes ou burocratas — relacionam-se com: (i) características próprias da avaliação, sobretudo com as formas de apresentação e divulgação dos dados e dos resultados das avaliações, mas dependem também (ii) da atuação dos atores interessados em sua gestão e nas políticas públicas a que se referem os sistemas de avaliação.

Com base nessa hipótese foram selecionados casos que atendessem as seguintes condições:

1. Sistemas de avaliação de políticas ou programas públicos permanentes e institucionalizados. Assim, excluíram-se estudos e pesquisas de avaliação conduzidos pouco frequentemente ou sem periodicidade regular.

2. Sistemas de avaliação que fossem, metodologicamente, semelhantes um ao outro, principalmente no que concerne ao objeto da avaliação (avaliação de resultados), ao agente avaliador (avaliação externa) e ao uso da avaliação (avaliação formativa³) (Chen, 1996; Cohen e Franco, 1992). Os dois casos avaliados adequam-se às condições enunciadas. Trata-se de avaliações de resultados, conduzidas ou supervisionadas, parcialmente pelo menos, por agentes externos e que se prestam explicitamente, embora não exclusivamente, ao uso formativo.

3. A política ou programa avaliado deveria, necessariamente, gozar de um caráter suprapartidário, no sentido de não se constituir como uma bandeira eleitoral de nenhum partido ou grupo político, mas dispor de status de "política de Estado", isto é, ser estável e consolidada. Por essa razão, privilegiaram-se políticas sociais não focalizadas, isto é, universais, pois assim minoram-se os conflitos advindos do uso e da manipulação das avaliações para fins eleitorais.

4. Finalmente, deu-se preferência a políticas ou programas governamentais que partilhassem de elementos comuns em seus arranjos institucionais. Assim, ambos os casos são de responsabilidade do governo estadual de São Paulo e nos dois casos intervêm conselhos estaduais — de saúde e educação, respectivamente — como órgãos consultivos e de controle.

Contudo, é necessário notar que os modelos de financiamento, as relações entre as diferentes esferas de governo e, principalmente, a atuação dos atores interessados nas políticas são bastante contrastantes e, como se comentará adiante, parecem exercer um papel decisivo nos efeitos das avaliações em termos de visibilidade das informações e na responsabilização dos agentes governamentais.

Os casos do Saresp e do SMA do programa de DST/Aids foram, enfim, selecionados, pois, durante a etapa inicial da pesquisa, uma análise preliminar dos casos sugeriu que esses programas não apenas atendiam aos critérios apresentados anteriormente, mas se caracterizavam como casos extremos no que se refere às informações divulgadas e ao envolvimento dos atores interessados nestas políticas públicas, aspectos que, segundo a hipótese norteadora da pesquisa, teriam consequências relevantes no que tange ao aumento da transparência administrativa e à responsabilização dos agentes públicos ligados à gestão das políticas avaliadas.⁴

Seguindo a tradição do campo de estudo de políticas públicas, considerou-se, em primeiro lugar, o exame das propostas — os objetivos explicitamente assinalados dos sistemas de avaliação — para, em seguida, tratar-se das medidas efetivamente implementadas; isto é, do funcionamento real dos sistemas de avaliação. Para tanto, optou-se por trabalhar com dois conjuntos de elementos que se figuram capitais para a análise de sistemas de avaliação, a saber: atores e instituições. Os aspectos centrais que dizem respeito à análise dos atores interessados nas políticas de educação básica e DST/Aids são aqueles relacionados à apropriação e ao uso das informações geradas com base nas avaliações e o uso dado a essas informações pelos diferentes atores envolvidos e à sua influência sobre a forma como as informações são organizadas e divulgadas. Como é destacado pela literatura,⁵ informações referentes ao desempenho das agências e dos órgãos governamentais podem constituir-se em recursos poderosos para o estabelecimento de procedimentos de cobrança, prestação de contas e responsabilização de governantes e burocratas.

Quanto às instituições, tanto formais quanto informais, deu-se relevo às diferenças no desenho das políticas de avaliação por se entender que esse constitui um fator que afeta o acesso às informações por grupos específicos, tais como usuários, representantes políticos ou burocratas.

Uma rápida revisão dos trabalhos a respeito do tema revela que a accountability é um conceito cujos contornos são bastante imprecisos; no entanto, há certo consenso de que se refere, basicamente, ao controle e à responsabilização dos agentes públicos (cf. Mainwaring; Welma, 2003). Adota-se neste artigo uma noção de accountability bastante abrangente, que compreende os mecanismos de controle e fiscalização do poder público, sejam eles institucionais ou não institucionais. Porém, diferentemente da literatura que associa de modo automático transparência das informações governamentais à prestação de contas e à accountability, no âmbito deste trabalho, entende-se que o acesso à informação é uma condição necessária, porém não suficiente, para a responsabilização das autoridades e das organizações públicas. A responsabilização dá-se apenas mediante a incorporação de normas, regras e mecanismos aptos a punir os agentes públicos.

Mais precisamente, a transparência governamental é uma condição sine qua non para o funcionamento dos mecanismos de responsabilização, já que, de fato, esses mecanismos de controle e fiscalização são fortemente condicionados pela transparência e pela visibilidade das ações do poder público. Noberto Bobbio, não por acaso, define o regime democrático como o governo do visível, no qual nada deve permanecer escondido, pois não se pode controlar aquilo que não se conhece ou se mantém escondido. Em suas palavras, "Como o governo poderia ser controlado se se mantivesse escondido?" (Bobbio, 1992:87, apud Abrucio e Loureiro, 2005:84). Contudo, embora se afigure como uma condição necessária, a transparência dos atos públicos não é, por si só, suficiente para assegurar a responsabilização dos governantes e dos burocratas por seus atos e omissões no exercício do poder público. Para tanto, é necessário haver, como se destacou anteriormente, mecanismos capazes de imputar sanções aos ocupantes de cargos públicos, mesmo que indiretamente, por meio do Poder Judiciário.

Com base na discussão precedente, optou-se no presente artigo por uma operacionalização da accountability em duas dimensões distintas e complementares, a saber: (i) transparência dos atos governamentais ou, nos casos analisados, a difusão da informação gerada com base nas avaliações e (ii) ativação de mecanismos de responsabilização política dos agentes públicos. Com base nessa operacionalização bidimensional do conceito de accountability, o estudo procurou verificar a divulgação e a visibilidade que as informações procedentes dos sistemas de avaliação têm alcançado, bem como observar os grupos ou atores que têm se apropriado de tais informações e investigar o impacto dessa apropriação sobre o curso de ação desses grupos ou atores. Por outro lado, procura-se examinar a efetivação e o aprimoramento dos mecanismos de prestação de contas e responsabilização dos agentes públicos que respondem pela política de educação básica de São Paulo e pelo programa de DST/Aids do estado.

Emprega-se aqui uma perspectiva orientada pela teoria do agente-principal para análise das relações entre políticos, burocratas e cidadãos ou usuários.⁶ Com base na investigação de Przeworski (1998) e Przeworski e colaboradores (1999), entre outros, argumenta-se que a difusão de informações decorrentes da avaliação de políticas e programas públicos pode se constituir num importante mecanismo para minorar o problema da assimetria de informações que permeia a relação de políticos e burocratas ou a de cidadãos e políticos. Contudo, a literatura analisada⁷ aparentemente não dedicou muita atenção a dois outros tipos de relações que se percebem na gestão pública, especialmente na gestão das políticas sociais em países federativos, e que se mostraram de grande relevância nos casos da política de educação básica e do programa de DST/Aids do estado de São Paulo. Trata-se das relações entre os cidadãos ou usuários desses serviços e os burocratas responsáveis por sua gestão e das relações entre diferentes níveis da burocracia ou entre burocratas de diferentes esferas de governo.

Enfim, neste artigo procura-se examinar não apenas como as relações entre cidadãos e políticos ou burocratas e políticos foram modificadas pela introdução dos sistemas de avaliação, mas também como o estabelecimento desses sistemas alterou as relações entre os cidadãos e a burocracia responsável pelas políticas avaliadas e a relação entre os diferentes níveis da burocracia ou entre burocratas de diferentes esferas governamentais envolvidos na política de educação básica e no programa de DST/Aids no estado de São Paulo.

3. Características principais dos programas de avaliação analisados

Tanto o Saresp como o SMA foram concebidos com a finalidade de subsidiar o aprimoramento das políticas governamentais em curso, ou seja, são avaliações essencialmente formativas. Como as avaliações foram concebidas e postas em prática com o propósito básico de auxiliar a equipe do programa em sua tarefa de aprimorá-lo e fortalecê-lo, o público original dessas avaliações são as próprias equipes da Secretaria de Educação e da Secretaria de Saúde responsáveis pela gestão das políticas de educação básica e do programa de Aids e outras DST do estado de São Paulo. No quadro a seguir são sintetizadas as principais características de ambos os programas de avaliação.

Uma diferença relevante entre os sistemas de avaliação diz respeito à forma de divulgação dos resultados. Os relatórios de apresentação de resultados e dados do programa de DST/Aids destacam-se pela ampla e quase irrestrita divulgação: podem, em geral, ser acessados pela internet e são bastante didáticos, de leitura fácil e compreensíveis a todos aqueles familiarizados com o vocabulário da área, o que facilita a apropriação das informações e seu uso não apenas por gestores públicos, mas também pelas OSC (Organizações da Sociedade Civil) interessadas na gestão do programa. O relatório geral do Saresp, por sua vez — o único a que os pais de alunos e a sociedade em geral têm acesso⁸ —, limita-se a descrever os dados incluídos nos quadros, gráficos ou tabelas com escassas ou nenhuma análise e interpretação, o que dificulta a apropriação desses dados pelas famílias dos alunos ou pelo cidadão comum e seu uso para a cobrança das equipes escolares.

Um segundo ponto a ser considerado diz respeito ao agente avaliador, isto é, a quem avalia. No caso do programa de DST/Aids, a presença de um agente externo se deu sobretudo na construção da metodologia de monitoramento e avaliação. O Banco Mundial, que apoia financeiramente o programa de DST/Aids, exerceu um papel decisivo na inclusão da avaliação como um dos elementos centrais do próprio programa. A participação do Banco continua a se fazer sentir por meio de uma avaliação externa do conjunto do programa de DST/Aids, o que inclui uma avaliação da avaliação. No entanto, a avaliação contínua do programa é predominantemente interna, conduzida pela própria equipe do programa. O SMA é hoje coordenado pela Assessoria Técnica de Monitoramento e Avaliação, órgão da coordenação do Programa Nacional (do Ministério da Saúde), responsável por sua formulação e implementação, pelo treinamento da rede de avaliadores dos programas subnacionais, pela consolidação dos dados dos programas subnacionais e pela publicação dos relatórios.

No Saresp, a avaliação é externa. Anualmente, é realizada uma licitação e contratada uma consultoria externa responsável pela formulação das provas, pela correção dos testes de conteúdo (a redação e as perguntas dissertativas são corrigidas pelos próprios professores) e pela elaboração dos relatórios finais.

Quanto ao foco dos sistemas de avaliação, ambos procuram aferir resultados. Contudo, enquanto o Saresp avalia o rendimento dos alunos e o contexto das escolas, isto é, as características socioeconômicas do corpo discente — e de suas famílias — e os aspectos de gestão escolar que influenciam este rendimento, o SMA do programa de DST/Aids avalia resultados e recursos (disponibilizados e executados) dos programas.

No que se refere ao uso das informações obtidas pelas avaliações, tanto o Saresp como o SMA do Programa de DST/Aids adotam um enfoque centrado no uso da informação para o aprimoramento do programa (avaliação formativa). O Saresp reveste-se de um aspecto de avaliação de diagnóstico que procura mapear os pontos fortes e fracos da educação no estado e, dessa forma, subsidiar a tomada de decisões da Secretaria de Educação e de seus órgãos centrais. Já o SMA é orientado para a identificação do cumprimento de metas e ações por parte dos programas locais e está inextricavelmente ligado à descentralização do programa de DST/Aids no Brasil e à necessidade de aprimorar a capacidade de gestão e planejamento dos programas subnacionais, como será discutido adiante.

Discute-se, a seguir, como a adoção dos sistemas de avaliação afetou a transparência e o controle da gestão do Programa Estadual de DST/Aids e da política de educação básica do estado de São Paulo.

4. SMA do programa de DST/Aids do estado de São Paulo

4.1 Descentralização e articulação entre atores

A Portaria nº 2.313 de dezembro de 2002, publicada pelo Ministério da Saúde, traz o marco legal e administrativo que guiou o processo de descentralização e desconcentração do Programa Nacional de DST/Aids, a chamada Política de Incentivo para estados e municípios. As duas principais alterações trazidas pela portaria foram a adequação do financiamento dos programas municipais e estaduais ao procedimento padrão do Sistema Único de Saúde (SUS), o financiamento fundo a fundo e a normatização dos instrumentos de planejamento e programação de metas dos programas subnacionais por meio dos Planos de Ações e Metas (PAM).

O financiamento fundo a fundo estabelece repasses do Fundo Nacional de Saúde (FNS) para uma conta específica do Programa Estadual (ou municipal) de DST/Aids dentro do Fundo Estadual (ou municipal) de Saúde. Essa medida fortaleceu — política e administrativamente — os coordenadores do programa estadual, conferindo-lhes maior autonomia de gestão operacional dos programas dentro da estrutura da Secretaria de Saúde (do estado ou município). A padronização dos instrumentos de planejamento e programação de ações e metas visava aperfeiçoar os processos de gestão das políticas públicas para HIV/Aids e outras DST e permitir o monitoramento e o acompanhamento sistematizados das ações de enfrentamento da epidemia nas três instâncias de governo.

Essa nova metodologia de planejamento para as ações locais de combate à Aids e às DST não apenas procurou aprimorar a gestão dos programas subnacionais e capacitar os gestores locais em planejamento focalizado em metas, mas também contribuiu para uma maior aproximação das Organizações da Sociedade Civil (OSC) com as burocracias das Secretarias de Saúde. A Portaria nº 2.313 que instituiu os PAM traz uma diretriz que instrui os coordenadores dos programas locais a promoverem a participação das OSC no processo de planejamento anual e no estabelecimento de metas e ações para o programa, principalmente no que diz respeito à aplicação de recursos para os projetos desenvolvidos em parceria com as OSC.

Outra mudança institucional que afetou sobremaneira a relação entre as OSC e a burocracia do Programa Estadual foi a transferência para a esfera estadual da responsabilidade pela seleção, pelo acompanhamento e pela avaliação dos projetos das OSC.⁹ De acordo com o modelo de financiamento anterior, essa atribuição cabia ao Programa Nacional, o que muitas vezes gerava conflitos entre os coordenadores locais e as OSC, pois, embora a atuação dessas organizações fosse, via de regra, local, seus projetos eram financiados e avaliados pela Coordenação Nacional, sendo esta também, por conseguinte, a esfera de governo à qual elas prestavam contas do andamento de seus projetos e à qual respondiam. Nesse sentido, a Portaria nº 2.313 contribuiu para a aproximação entre as OSC e os programas subnacionais, sobretudo os programas estaduais. Assim, a descentralização dos processos de seleção, do financiamento e da avaliação dos projetos de parceria gerou um maior envolvimento das OSC na gestão — que se traduziu também em maior fiscalização — e dos programas locais.

A descentralização do programa de HIV/Aids e outras DST dá-se, então, por meio da transferência de poder de decisão aos gestores municipais e estaduais sobre três áreas básicas de gestão dos programas, a saber: seleção e avaliação de projetos das OSC; planejamento, programação e monitoramento das metas e prioridades dos programas; e, por fim, gerenciamento dos recursos e controle dos gastos. A criação do SMA precisa ser entendida, portanto, nesse contexto, de descentralização das responsabilidades e ações de enfrentamento da epidemia e da adequação do programa ao modelo institucional do SUS.

Conforme explicitamente assinalado em seu documento de implantação, o SMA do programa de DST/Aids atende a três objetivos básicos: (i) gerar subsídios à retroalimentação do processo de programação dos PAM e à tomada de decisões pelos gestores de saúde federal, estaduais e municipais; (ii) acompanhar o cumprimento das pactuações realizadas nas Comissões Intergestores Bipartites (CIB) como requisito para a qualificação de estados e municípios à Política de Incentivo; e (iii) garantir a transparência no uso dos recursos financeiros e de verificação da capacidade de gasto dos gestores de saúde, sempre associada à qualidade da resposta local para o enfrentamento da epidemia (Ministério da Saúde, 2002).

Para tanto, o SMA acompanha a evolução de cinco eixos principais dos programas (nacional e locais): (1) metas programadas (PAM); (2) indicadores e índice composto de DST; (3) cumprimento dos acordos para tornar disponíveis insumos estratégicos (medicamentos para outras DST e Infecções Oportunistas e preservativos); (4) execução dos recursos financeiros (o que inclui o monitoramento dos recursos da Política de Incentivo repassados às organizações da sociedade civil); e, finalmente, (5) acompanhamento dos projetos de parcerias com organizações da sociedade civil.

4.2 SMA do programa de DST/Aids, transparência e accountability

A instituição do SMA do programa de DST/Aids possibilitou às autoridades políticas da Secretaria de Saúde um controle mais efetivo da burocracia responsável pela gestão do programa de DST/Aids. Como observado, a implantação da Política de Incentivo e, particularmente, a introdução do financiamento fundo a fundo fortaleceram os coordenadores do programa estadual, conferindo-lhes maior autonomia de gestão; por outro lado, a obrigatoriedade de apresentação dos resultados alcançados no ano ao Conselho Estadual de Saúde (CES), onde são comparados com as ações e metas programadas no PAM, criou um mecanismo de controle dos resultados do programa. Percebem-se aqui duas das principais diretrizes que orientaram a reforma do Estado: a ampliação da flexibilidade gerencial da burocracia e a criação de mecanismos de controle do desempenho da burocracia.

Se essa questão for analisada a partir de uma perspectiva da teoria do agente-principal em que o representante político — o secretário da Saúde, sobretudo — assume o papel de principal e a burocracia do Programa Estadual, o de seus agentes, nota-se que a implantação do SMA reduziu significativamente a assimetria de informações que limitava um controle mais efetivo da burocracia. Nesse sentido, a instituição do SMA estabeleceu um mecanismo de responsabilização da burocracia pelos resultados do programa de DST/Aids. Não apenas porque as informações obtidas por meio das avaliações possibilitam ao secretário da Saúde — o principal — cobrar a burocracia — seus agentes — por seu desempenho perante o programa, mas também porque o arranjo institucional no qual se insere o programa de DST/Aids — o SUS por meio de seus conselhos gestores e comissões intergovernamentais — e a atuação das OSC e demais associações de usuários do programa constrangem a burocracia a prestar contas de seus resultados periodicamente ao órgão de controle e participação social, o CES. Adicionalmente, o SMA também se revelou uma ferramenta de controle bastante valiosa à coordenação do Programa Nacional — a burocracia do Ministério da Saúde —, permitindo-lhe fiscalizar e monitorar o desempenho das burocracias dos programas subnacionais, sobretudo após a descentralização e a desconcentração do programa de DST/Aids promovidas pela Política de Incentivo.

Outro ponto que merece consideração refere-se às relações entre cidadãos e políticos e entre cidadãos e burocratas. Ou, mais especificamente, refere-se à relação entre as OSC e associações de pessoas portadoras de HIV/Aids e os agentes públicos responsáveis pela gestão do programa, sejam eles autoridades políticas ou burocratas. Grande parte dos relatórios e dos dados do SMA está disponível pela internet a qualquer cidadão que quiser consultá-los. No sítio do Programa Nacional, por exemplo, podem ser encontrados balanços do Plano de Ações e Metas para todos os anos, com informações sobre os resultados (programados e atingidos) nos cinco eixos principais do programa.

Além de integrar as informações globais do Programa Nacional, o SMA permite também o acompanhamento em nível local (dos municípios e estados), possibilitando às OSC ou às associações de pessoas vivendo com HIV/Aids cadastradas no programa a emissão de relatórios com o resumo das estimativas dos indicadores tanto para o Programa Nacional como também para os programas subnacionais. Nota-se assim que a instituição do SMA do Programa Estadual de DST/Aids possibilitou às OSC e às associações de usuários fazer um acompanhamento sistemático do desempenho das burocracias encarregadas da condução da política de Aids e outras DST no estado.

Finalmente, cabe destacar que a implantação do SMA, aliada à introdução da Política de Incentivo, trouxe uma mudança qualitativa no tipo de controle social posto em prática pelas OSC e pelas associações de pessoas vivendo com HIV/Aids. Antes da adoção dessas duas medidas, verificava-se um controle social ad hoc, isto é, o controle social caracterizava-se pelo ativismo político de grupos organizados em função de questões específicas e pontuais da política de Aids em São Paulo e no Brasil e, mais importante, a fiscalização dava-se ao largo das instituições de representação e controle social, os CES. A vocalização das demandas das OSC era exercida diretamente sobre as autoridades políticas e as burocracias das secretarias estaduais de Saúde e do Ministério da Saúde. Após a implantação da Política de Incentivo e do SMA, o percurso para a elaboração e aprovação dos PAM exige que, depois de elaborados, eles sejam apresentados e submetidos aos conselhos (estaduais ou municipais) de saúde, onde também devem ser discutidos e aprovados, para, então, serem submetidos à coordenação nacional do programa que, finalmente, o sanciona. Esse fluxo de aprovação trouxe a atuação das OSC para dentro das arenas institucionalizadas de controle e participação, os conselhos de saúde dos estados e municípios.

A partir da instituição dessas duas medidas, as OSC e demais associações de usuários do Programa passaram a participar ativamente das reuniões do CES, pois perceberam que esse havia se tornado uma instância decisiva para a gestão e, principalmente, para a fiscalização do programa. Ademais, a obrigatoriedade de apresentação das informações do SMA — referentes aos resultados alcançados no ano — aos conselhos (nacional, estaduais e municipais) de saúde, onde são cotejados com as ações e metas programadas, criou um mecanismo de controle dos resultados do programa. Ou seja, o arranjo institucional no qual se insere o SMA, assim como a atuação dos atores interessados na política de combate à Aids no Brasil têm contribuído para constranger a burocracia da Secretaria Estadual de Saúde (SES) e, mais especificamente, a coordenação do Programa Estadual de DST/Aids a manterem-se responsivas às demandas e às cobranças da sociedade civil organizada.

Com relação à responsabilização das autoridades políticas, é importante salientar que esta institucionalização do controle social passou a assegurar um controle mais efetivo de ações das autoridades da área de saúde com relação à política de combate à Aids e a outras DST no estado de São Paulo. No modelo anterior, o controle e a participação social, embora muito presentes, não pareciam garantir a responsabilização das autoridades políticas por suas ações ou omissões, já que o ativismo político e o controle ad hoc têm uma capacidade de sanção (legal ou simbólica) bastante limitada. O CES, por outro lado, é uma instância explicitamente concebida para controlar a atuação das autoridades políticas (e burocratas) e, mesmo não dispondo do poder de punir diretamente os agentes públicos, o Decreto federal nº 1.615/95 — que trata do Sistema Nacional de Auditoria (SNA) — faculta-lhe o acionamento de órgãos federais ou estaduais de auditoria (p. ex., Tribunais de Contas) e, mais importante, possibilita-lhe também o recurso ao Ministério Público. Ambos — os Tribunais de Contas ou o Ministério Público — podem atuar, nesse caso, como agentes de sanção dos Conselhos de Saúde.

Assim, as mudanças institucionais trazidas pela Política de Incentivo e pela implantação do SMA promoveram uma ruptura na forma em que se dava o controle social. Se antes se verificava um controle social ad hoc marcado pelo ativismo político das OSC pautado por questões pontuais e específicas da política de combate à Aids e às DST, a partir da introdução das medidas acima destacadas testemunhou-se uma institucionalização do controle social. As OSC passaram a atuar ativamente dentro do CES fiscalizando não apenas matérias e assuntos mais específicos e urgentes, como a distribuição de medicamentos e preservativos, mas também todo o processo de programação e execução dos planos anuais.¹⁰ A implantação do SMA — aliada à descentralização promovida pela Política de Incentivo — parece ter contribuído para proporcionar uma ampliação da responsabilização dos agentes públicos — representantes políticos ou burocratas — por suas ações ou omissões relativas à condução da política de combate à Aids no estado de São Paulo.

Em relação ao objetivo secundário deste artigo — verificar se os sistemas de avaliação estão fornecendo elementos e informações para o desenho de novas intervenções ou para o aprimoramento das políticas e dos programas em curso, isto é, se têm sido utilizados como uma ferramenta de gestão e planejamento das políticas —, a pesquisa revelou que, para a coordenação nacional do programa de DST/Aids — órgão do Ministério de Saúde —, o sistema de avaliação tem se mostrado um importante instrumento para monitorar o alinhamento das metas e ações dos programas subnacionais a seu plano estratégico. Como já assinalado, a implantação do SMA do programa de Aids e outras DST está vinculada à descentralização e à desconcentração do Programa Nacional.

Nesse sentido, o SMA afigura-se uma ferramenta de gestão valiosa para a coordenação nacional do programa, sobretudo na medida em que lhe permite acompanhar a execução das ações desenvolvidas localmente, seja com relação aos resultados alcançados, seja em função da conformidade desses resultados com as prioridades estabelecidas no plano nacional. Para os programas subnacionais, por outro lado, o SMA tem sido instrumento pouco útil na gestão dos programas, mas muito importante para capacitar os gestores locais em planejamento focalizado em metas e ações. Segundo se verificou, o SMA não é percebido como um instrumento de gestão proveitoso pelos gestores locais. Na visão desses, o sistema de avaliação ainda não está apto a captar corretamente os processos e produtos intermediários, críticos para o sucesso das ações e metas planejadas localmente, embora fique evidente na análise — ainda que não seja admitido pelos próprios gestores locais — que o SMA tem funcionado como uma ferramenta muito útil para capacitar esses gestores em planejamento focalizado em metas e ações, na razão que lhes permite cotejar sistematicamente as ações e as metas planejadas com os resultados alcançados (ou não) ao longo do período avaliado, o que, por sua vez, não apenas explicita os pontos fortes e fracos do desempenho dos programas, mas também funciona como um guia para o planejamento do ano subsequente.

5. O Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp)

5.1 Avaliação da qualidade do ensino e fatores contextuais

A Secretaria Estadual de Educação (SEE) criou e implantou o Saresp em 1996. A implantação do sistema de avaliação da rede estadual insere-se num quadro mais amplo de iniciativas que visavam reestruturar o papel do Estado, principalmente em relação a suas funções e atuação. Esse movimento de reformas, no campo educativo, possui dois grandes eixos: a descentralização da gestão da rede de ensino e a implantação de sistemas de avaliação das redes escolares (cf. Castro e Carnoy, 1997).

Com base na análise do Documento de Implantação do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (SEE, s.d.), é possível identificar dois objetivos básicos do Saresp. Em primeiro lugar, a implantação do sistema de avaliação visa ampliar o conhecimento do perfil dos alunos da rede pública de educação e fornecer aos professores da rede descrições dos padrões de desempenho alcançados pelo conjunto de alunos não com o objetivo de "avaliar" o aluno, mas com o objetivo de identificar o que o aluno é capaz de fazer nos distintos momentos de sua trajetória escolar (proficiência); com a finalidade de ponderar a qualidade e a equidade do ensino ministrado e, assim, subsidiar o trabalho a ser desenvolvido em sala de aula. Em segundo lugar, o levantamento de dados realizado pelo Saresp — que não se limita ao desempenho escolar — busca verificar os fatores contextuais e escolares que incidem na qualidade do ensino básico. Nesse sentido, é instrumento central para o aprimoramento da gestão do sistema educacional, na medida em que identifica os pontos críticos do ensino e possibilita à SEE, por meio de seus órgãos centrais e das Diretorias de Ensino, apoiar as escolas e educadores com recursos, serviços de orientação e capacitação. Por fim, o documento ordenador da implantação do sistema de avaliação inclui entre os objetivos da avaliação informar a sociedade e a "comunidade educacional" sobre o desempenho do sistema de ensino (SEE, s.d.:6-7).

A implantação do Saresp marca, seguramente, uma ruptura na forma de controle dos estabelecimentos de ensino pela SEE. O Saresp modificou sobremaneira o controle das escolas — e, particularmente, o monitoramento da atuação de seus professores e diretores —, que antes era exercido sobre o "processo" e, a partir de então, dá-se por mecanismos de aferição do desempenho escolar. A partir da implantação do Saresp, a capacidade dos educadores de atuar de maneira pouco responsiva com relação à Secretaria foi afetada pelos limites estipulados, previamente, mediante a adoção de Parâmetros Curriculares e, posteriormente, por meio de avaliações de rendimento escolar. Embora a SEE não reconheça essa função de controle do Saresp, o advento do sistema de avaliação escolar estabelece um fluxo de informações entre a SEE, as diretorias de ensino e as unidades escolares que permite à Secretaria e a seus órgãos centrais identificar os pontos fortes e os pontos fracos no desempenho dos estabelecimentos de ensino do estado, o que atribui ao sistema de avaliação caráter de um mecanismo de controle e monitoramento das unidades escolares, de seus professores e de suas práticas pedagógicas.

Se, antes, os estabelecimentos de ensino eram monitorados mediante a observância a priori e passo a passo de normas e procedimentos, após a instituição do Saresp, é criado um controle a posteriori do rendimento das escolas. Ou seja, enquanto no modelo prévio as escolas — seus professores e diretores — eram julgadas tão somente por seu respeito às regras e pelo que faziam constar nos relatórios, após a introdução do Saresp, embora continuem existindo controles administrativos, é estabelecida uma nova lógica de monitoramento das escolas baseada no rendimento das unidades escolares nos testes de avaliação.

5.2 Redefinição de mecanismos de controle internos ao sistema e limitado controle social

Quando se examina essa questão da perspectiva da teoria agente-principal, nota-se que a implantação do Saresp reduziu consideravelmente a assimetria de informações entre o principal (autoridade política) e seus agentes (professores e diretores), pois dotou o principal — o secretário de Educação e seu gabinete — de informações detalhadas sobre as consequências das ações de seus agentes — os educadores —, o que contribuiu para a adoção de uma fiscalização mais efetiva do desempenho dos estabelecimentos de ensino da rede pública estadual. Não obstante não se tenha estabelecido um sistema de controle por resultados stricto sensu da burocracia — já que as avaliações não têm consequências diretas para os indivíduos ou instituições —, as informações dos testes de avaliação têm subsidiado a Secretaria e seus órgãos centrais na tomada de decisão a respeito das políticas e programas para a educação básica no estado de São Paulo.

As relações entre os cidadãos e as autoridades políticas e entre os cidadãos e a burocracia escolar, no entanto, parecem ter sido alteradas muito marginalmente. Como já observado, embora a partir da adoção do Saresp se estabeleça um importante fluxo de informações entre as várias instâncias de ensino — escolas, diretorias de ensino e a própria SEE — que possibilita a identificação dos pontos críticos da educação e a reorientação das propostas pedagógicas no estado, não se logram os mesmos sucessos com relação à participação da comunidade — alunos e, sobretudo, seus pais — na gestão escolar. Mais especificamente, não se percebe sequer uma preocupação de dirigentes e profissionais das escolas com sua responsabilidade na prestação de contas a seus usuários mais próximos (os alunos e seus pais).

As formas de divulgação dos resultados dos testes do Saresp desenvolvidas até o presente têm se mostrado claramente insuficientes para informar as famílias dos alunos (e o público em geral) acerca do desempenho das escolas de seus filhos. Os familiares, bem como o conjunto da sociedade, não têm sido capazes de atribuir significado aos dados apresentados pelos relatórios. Consequentemente, alunos, seus familiares ou mesmo a sociedade como um todo não têm utilizado os resultados e as informações das avaliações para cobrar de professores, diretores ou demais agentes do poder público a melhoria na qualidade do ensino no estado de São Paulo.

O Relatório Geral do Saresp, publicado pela SEE, não permite comparações entre o rendimento de diferentes unidades escolares, entre as Diretorias de Ensino, ou mesmo entre as regiões do estado de São Paulo. Segundo a metodologia de divulgação dos dados do Saresp adotada pela SEE, as escolas — sejam elas da rede estadual, municipal ou privada — têm acesso aos dados de seus alunos, aos dados da rede à qual estão integradas e aos dados do universo das escolas avaliadas no estado. Mediante tal processo de divulgação, os estabelecimentos de ensino podem se posicionar com relação à rede à qual estão integrados e com relação ao universo das escolas do estado de São Paulo. De acordo com uma funcionária da FDE, órgão responsável pela divulgação dos resultados, essa estratégia de divulgação foi uma "escolha pedagógica que visava coibir a competição dentro do sistema público de educação".¹¹ Contudo, segundo Bitar e colaboradores (1998:19), esse procedimento objetiva também "evitar que as escolas se sintam ameaçadas" pela avaliação.

As famílias e a população em geral são informadas acerca dos resultados das avaliações escolares por meio desse mesmo Relatório Geral — distribuído a todas as escolas da rede — que se limita a descrever os dados incluídos nos quadros, gráficos ou tabelas, com escassas ou nenhuma análise e interpretação, supondo que eles sejam autoexplicativos. O potencial do Saresp como um instrumento de ampliação do controle social sobre as escolas tem sido bastante limitado em decorrência das formas de divulgação dos resultados das aferições. Ou seja, o déficit de responsabilização de representantes políticos e da burocracia educacional pelos resultados das avaliações parece, nesse caso, estar relacionado com o escasso acesso à informação por parte de pais e familiares de alunos acerca dos resultados das escolas do estado.

Novamente, quando se observa este ponto da perspectiva da teoria da agência, onde os cidadãos desempenham o papel de principal e as autoridades políticas (e os educadores), o de seus agentes, percebe-se que a implantação do Saresp pouco contribuiu para a redução da assimetria de informações que dá margem à atuação não representativa desses agentes. Vale repetir a esse respeito o raciocínio desenvolvido nas seções iniciais deste artigo: para fiscalizar e controlar as ações governamentais os cidadãos precisam, necessariamente, ter acesso à informação. O controle dos políticos e burocratas, para além dos períodos de eleição, encontra-se, nesse sentido, fortemente vinculado à visibilidade e à divulgação dos atos do poder público.

Enfim, a implantação do Saresp, se observada da ótica do controle democrático, tem se mostrado, por um lado, um importante recurso das autoridades educacionais do estado no monitoramento do rendimento dos estabelecimentos de ensino, de seus diretores, professores e suas práticas pedagógicas; por outro lado, entretanto, no que se refere ao controle dos agentes públicos — governantes ou burocratas —, as mudanças trazidas têm sido pouco expressivas. O escasso acesso dos cidadãos (pais e familiares de alunos, em especial) às informações dos testes de avaliação não tem permitido um acompanhamento pela sociedade das informações relativas à qualidade do ensino público. Diferentemente do que se verifica no caso do programa de DST/Aids, aqui os atores da sociedade civil — alunos e seus familiares — não têm sido capazes de se apropriar dos resultados das avaliações para cobrar os agentes públicos responsáveis pela condução das políticas e dos programas educacionais no estado.

Já com relação ao objetivo secundário do artigo, pode-se afirmar que a implantação do Saresp, diferentemente do que foi observado para o SMA do programa de DST/Aids, para o caso de governos subnacionais, põe em prática um importante fluxo de informações entre a SEE, as Diretorias de Ensino e as unidades escolares que passa a orientar a gestão de toda a política educacional do estado. Torna viável, por exemplo, o apoio individualizado às escolas com recursos, serviços e capacitação direcionados às carências detectadas nas avaliações.

Outro ponto relevante é que esse intercâmbio de informações entre escolas, Diretorias de Ensino e a Secretaria subsidia uma tomada de decisões mais bem informada por parte dos órgãos da administração central e, assim, agrega mais legitimidade às medidas propostas e implementadas pela Secretaria, conforme relatado pelos supervisores de ensino entrevistados. Retomando a questão básica deste trabalho, então, cabe notar que se o Saresp, por um lado, vem-se mostrando um instrumento efetivo de orientação das práticas pedagógicas das instâncias de ensino do estado — nominalmente, das escolas e das Diretorias de Ensino —, por outro lado, quando observado da perspectiva do controle democrático, seus resultados podem ser considerados bastante insatisfatórios. Não obstante tenha aumentado o controle que as autoridades do estado exercem sobre a burocracia dos estabelecimentos educacionais — professores e diretores, particularmente —, no que concerne às relações entre cidadãos e autoridades educacionais ou mesmo entre os cidadãos (pais de alunos especialmente) e professores ou diretores, as mudanças trazidas com a implantação deste sistema de avaliação são de pouca importância.

6. Considerações finais

A hipótese de trabalho aqui proposta — que a responsabilização dos agentes públicos está diretamente relacionada não apenas com características próprias do sistema de avaliação implementado, como as formas de apresentação e de divulgação dos dados das avaliações, mas também com a atuação dos atores interessados (stakeholders) — mostrou-se válida. Os resultados indicam, porém, que a atuação dos atores interessados é, em grande parte, ainda que não exclusivamente, uma função da incorporação de regras e procedimentos de fiscalização via participação social. Esses parecem ser os fatores preponderantes a constranger os agentes públicos tanto a prestar contas de suas ações como também a se responsabilizarem por essas ações (ou omissões) na condução das políticas e dos programas avaliados.

No Programa Estadual de DST/Aids, a institucionalização do controle social e a pluralidade de atores interessados envolvidos na gestão do programa — e na formulação e implantação do SMA — têm assegurado não somente a publicização dos relatórios e dos dados gerados a partir do Sistema de Monitoramento e Avaliação do Programa, mas também a responsabilização dos gestores do programa por seus resultados.

Já no caso do Saresp, que foi concebido e implantado de maneira bastante insulada pela burocracia da SEE, não se verifica o mesmo grau de visibilidade das ações governamentais e dos resultados dos testes de avaliação, o que tem impossibilitado o uso dessas informações para a prestação de contas e para cobrança das equipes escolares da rede pública de ensino básico.

A obrigatoriedade de apresentação das informações do SMA ao CES, onde são cotejadas as ações e metas programadas, assegurou o estabelecimento de um controle dos resultados do programa de DST/Aids e serviu também para aumentar o controle dos agentes públicos pelos cidadãos e usuários do programa. Numa palavra, a instituição do SMA — em boa parte, graças ao desenho institucional no qual se insere — garantiu e aperfeiçoou a fiscalização via participação social.

No caso do Saresp, por outro lado, embora a implantação do sistema de avaliação represente indubitavelmente um aprimoramento no controle das equipes escolares por parte da SEE e um instrumento de revisão da política por parte da Secretaria de Educação do Estado, a restrição do acesso às informações dos testes de avaliação limita o papel do Saresp a mera ferramenta gerencial — muito importante, com certeza — da política educacional paulista, sem qualquer consequência, porém, do ponto de vista do acompanhamento pela sociedade do desempenho do sistema educacional e do engajamento da população na cobrança da qualidade da educação básica no estado. Numa palavra, o Saresp restringe-se a instrumento de controle gerencial.

Essa diferenciação baseada na fiscalização via participação social possibilita a construção de uma analogia com as categorias de controle parlamentar da administração pública formuladas por McCubbins e Schwartz (1984). Segundo o modelo proposto pelos autores, há duas formas básicas de controle parlamentar. A primeira, denominada "Patrulha de Polícia", é similar às patrulhas de polícia genuínas, ou seja, comparativamente, é mais centralizada, ativa e direta. Nessa forma de controle, o Congresso, por iniciativa própria, seleciona e fiscaliza aleatoriamente programas e agências governamentais, buscando não só identificar e punir eventuais violações legais ou administrativas, mas sobretudo desencorajá-las e coibi-las.

A segunda categoria de controle parlamentar, denominada "Alarmes de Incêndio" — em analogia aos alarmes reais —, é comparativamente menos centralizada e não envolve tantas atividades diretas e diligências de fiscalização; ao contrário, em vez de selecionar "amostras" de decisões e medidas governamentais, o Congresso estabelece uma série de regras e procedimentos que possibilita aos cidadãos, aos grupos de interesse e à mídia fiscalizarem (muitas vezes, prospectivamente) a atuação do governo e das agências públicas, e interfere apenas quando algum "alarme" é acionado. Ou seja, quando detectada uma eventual falha ou violação, o Congresso age para corrigi-la ou sancioná-la.

Ainda que o presente artigo não trate do controle parlamentar, cabe observar que, tal como no controle via "Alarmes de Incêndio" de McCubbins e Schwartz, o controle do programa de DST/Aids apoia-se fundamentalmente na fiscalização via participação social. Assim, por exemplo, embora a avaliação do programa de DST/Aids seja uma avaliação interna, pois cabe aos gestores locais consolidar e informar os dados referentes aos programas de seu estado ou município ao sistema, as coordenações nacional e estadual do programa valem-se, não exclusivamente, mas em grande medida, da fiscalização das OSC e das associações de usuários do programa para assegurarem a fidedignidade dos dados informados.

Já no caso do Saresp, tal como nas "Patrulhas de Polícia", a fiscalização é extremamente centralizada na SEE e apoia-se largamente nas atividades diretas e na fiscalização dos órgãos da administração central da Secretaria, cuja atuação é fundamentalmente retrospectiva e limita-se à aplicação dos mecanismos de aferição do desempenho escolar. O Saresp representa, certamente, um aperfeiçoamento no controle das equipes escolares; porém, quando comparado ao sistema de avaliação do programa de DST/Aids, que foi capaz de incorporar mecanismos de fiscalização via participação social e aproximar os usuários das burocracias locais, mostra-se um instrumento de controle menos eficiente, pois, como assinalado, dada a ausência de consequências mais fortes das avaliações (para os indivíduos ou para as instituições), não se percebe sequer uma preocupação dos professores ou dirigentes escolares com sua responsabilidade na prestação de contas a seus usuários mais próximos: os alunos e seus familiares

Finalmente, vale assinalar, já a título de conclusão, que o êxito da avaliação de políticas públicas como um mecanismo de controle democrático passa, necessariamente, por duas condições: a primeira é a transparência dos atos do poder público. Como já enfatizado, a transparência e a visibilidade das ações governamentais são peças-chave para a accountability de maneira geral, porém sem fidedignidade e clareza das informações não há possibilidade de apropriação pelos cidadãos dos resultados das avaliações de forma a poderem cobrar os agentes públicos.

A segunda refere-se à incorporação de regras e procedimentos de fiscalização via participação social. A formulação e a implementação desse tipo de controle não podem se dar de maneira insulada pela burocracia; ao contrário, devem ser informadas e fiscalizadas pelas demandas da população — e pela sinalização de prioridades e comprometimento dos governantes, poder-se-ia acrescentar —, pois, de outro modo, a avaliação será, quando muito, uma ferramenta — muito importante, é verdade — de gestão da política ou do programa avaliado.

Artigo recebido em 28 abr. 2011 e aceito em 29 ago. 2011

Ricardo Ceneviva é pesquisador do Centro Brasileiro de Análise e Planejamento (Cebrap). E-mail: [e-mail].

Marta Ferreira Santos Farah é coordenadora do Curso de Mestrado e Doutorado em Administração Pública e Governo da Escola de Administração de Empresas da Fundação Getulio Vargas (FGV-Eaesp). E-mail: [e-mail].

• ABRUCIO, Luiz F.; LOUREIRO, Maria R. Finanças públicas, democracia e accountability. In: BIDERMAN, Ciro; ARVATE, Paulo (Org.). Economia do setor público no Brasil. Rio de Janeiro: Elsevier, 2005. p. 75-102.
• BANCO MUNDIAL. O Estado num mundo em transformação. Relatório sobre o desenvolvimento mundial. Washington, DC: World Bank, 1997.
• BARZELAY, Michael. The new public management: improving research and policy dialogue. University of California Press, 2001. (Wildavsky Forum Series, 3).
• BITAR, Hélia A. de F. et al. O sistema de avaliação de rendimento escolar de São Paulo: implantação e continuidade. Série Ideias, São Paulo, n. 30, p. 9-20, 1998.
• BOBBIO, Noberto. O futuro da democracia: uma defesa das regras do jogo. Rio de Janeiro: Paz e Terra, 1992.
• BRESSER-PERREIRA, Luiz C. Da administração pública burocrática à gerencial. In: BRESSER-PEREIRA, Luiz C.; SPINK, Peter (Org.). Reforma do Estado e administração pública gerencial. Rio de Janeiro: Editora Fundação Getulio Vargas, 1998. p. 237-270.
• CAIDEN, Gerald E.; CAIDEN, Naomi. Enfoques y lineamiento, la medición e la evaluación del desempeño en el sector público. Revista do Serviço Público, ano 52, n. 1, p. 25-55, 2001.
• CASTRO, Cláudio de M.; CARNOY, Martin. Como anda a reforma da educação na América Latina? Rio de Janeiro: Fundação Getulio Vargas, 1997.
• CHEN, Huey-Tsyh. A comprehensive typology for program evaluation. Evaluation Practice, v. 17, n. 2, p. 121-130, 1996.
• CLAD. La responsabilizacion en la nueva gestion pública latinoamericana Buenos Aires: Clad-BID, 2000.
• COHEN, Ernesto; FRANCO, Rolando. Evaluación de proyectos sociales. México: Siglo XXI, 1992.
• FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas. In: ENCONTRO ANUAL DA ANPOCS, XXVIII, 2004, Caxambu. Anais... 2004.
• FEREJOHN, John. Accountability and authority: toward a theory of political accountability. In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 131-153.
• LIMONGI, Fernando. Institucionalização política. In: MICELI, Sergio (Org.). O que ler na ciência social brasileira. São Paulo: Anpocs/Sumaré, 1999. v. 3, p. 101-156.
• MAINWARING, Scott; WELMA, Christopher (Ed.). Democratic accountability in Latin America. Oxford: Oxford University Press, 2003. (Oxford Studies in Democratization).
• MANIN, Bernard et al. Elections and representation. In: PRZEWORSKI, Adam; SOTOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy).
• MARAVALL, José M. Accountability and manipulation. In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 154-196.
• MCCUBBINS, Mathew D.; SCHWARTZ, Thomas. Congressional oversight overlooked: police patrols versus fire alarms. American Journal of Political Science, v. 28, n. 1, p. 165-179, 1984.
• Ministério da Saúde. Coordenação Nacional de DST/Aids. Sistema de Informações dos Centros de Testagem e Aconselhamento: manual de utilização. Brasília: Ministério da Saúde; 2002.
• O'DONNELL, Guillermo. Accountability horizontal e as novas poliarquias. Lua Nova, São Paulo, n. 44, p. 27-54, 1998.
• OECD. Organization for Economic Co-operation and Development. Best Practices guidelines for evaluation. Puma Policy Brief, n. 5, 1998.
• OSPINA BOZZI, Sonia. Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano. Revista do Serviço Público, ano 52, n. 1, p. 25-54, jan./mar. 2001.
• PRZEWORSKI, Adam. Sobre o desenho do Estado: uma perspectiva agent x principal. In: BRESSER-PEREIRA, Luiz C.; SPINK, Peter (Org.). Reforma do Estado e administração pública gerencial. Rio de Janeiro: Editora Fundação Getulio Vargas, 1998. p. 39-75.
• PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy).
• SCHNEIDER, Ben R.; DONER, Richard. The new institutional economics, business associations, and development. Brazilian Journal of Political Economy, v. 20, n. 3, p. 39-62, Jul./Sept. 2000.
• SCRIVEN, Michael. The methodology of evaluation. In: STAKE, Robert E. (Ed.). Curriculum evaluation. Chicago: Rand Mcnally, 1967. (American Educational Research Association Monograph Series on Evaluation, nş 1, p. 39-89).
• SEE. Secretaria de Estado da Educação de São Paulo. Documento de implantação do Saresp. s.d.
• SHAVELSON, Richard; TOWNES, Lisa (Ed.). Scientific research in education. Washington, DC: National Academy Press, 2002.
• STOKES, Susan. What do policy switches tell us about democracy? In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 98-130.
• WEISS, Carol H. How can theory-based evaluation make greater headway? Evaluation Review, v. 21, n. 4, p. 501-524, 1997.
• YIN, Robert K. Estudo de caso: planejamento e métodos. Porto Alegre: Bookman, 2005.

1

Tal agenda de pesquisa, compreendida sob a rubrica "institucionalização política", refere-se mais amplamente aos estudos sobre o autoritarismo, a transição democrática, a democratização e, finalmente, a governabilidade (cf. Limongi, 1999).

2

O artigo se baseia em pesquisa que analisou os programas de avaliação em estudo até o ano de 2005.

3

A avaliação formativa tem por objetivo principal fornecer informação aos responsáveis pela política ou programa, visando seu aprimoramento. Diferencia-se da avaliação somativa que se propõe a fornecer aos responsáveis pelo programa e a usuários e cidadãos informações que subsidiem o julgamento do valor ou mérito do programa, dando elementos para decisões relativas à sua continuidade (Scriven, 1967).

4

Evidentemente, estes resultados só puderam se confirmar com o seguimento da pesquisa. Contudo, ainda na fase de elaboração do projeto de pesquisa, uma análise preliminar dos casos já parecia apontar indícios fortes de que os casos em questão — Saresp e SMA do programa de DST/Aids — apresentariam resultados bastantes distintos.

5

A esse respeito ver, entre outros, Przeworski (1998) e Przeworski et al. (1999).

6

Sobre este tópico consultar Manin et al. (1999) ou Przeworski at al. (1999).

7

Apesar de a presente análise focalizar autores que se baseiam na perspectiva "principal-agente", tampouco outros autores que adotam diferentes abordagens teóricas parecem dar destaque às formas de controle e fiscalização que permeiam as relações entre cidadãos e burocratas ou entre os diferentes níveis e esferas burocráticas. Talvez uma exceção digna de nota seja Michael Barzelay (2001).

8

Na ocasião de realização da pesquisa. Posteriormente, o Saresp sofreu alterações substantivas quanto à forma de divulgação dos resultados.

9

Vale relembrar que a Portaria no 2.313 — que institui a Política de Incentivos — estabelece que 10% do total de recursos repassados à unidade federada devem ser destinados para o desenvolvimento de projetos em parceria das Secretarias Estaduais de Saúde (SES) com as Organizações da Sociedade Civil (OSC).

10

Vale observar que a institucionalização do controle social, que traz a atuação das OSC para dentro dos Conselhos de Saúde, não significou, em absoluto, um abandono do ativismo político das ONGs e de sua estratégia de mobilização e pressão junto às burocracias das Secretarias de Saúde ou do Ministério da Saúde, mas, ao contrário, é visto pelas próprias OSC e associações de usuários apenas como mais um mecanismo – muito importante, com certeza – de fiscalização da burocracia e dos decisores políticos.

11

Entrevista concedida aos autores.

Datas de Publicação

• Publicação nesta coleção
  30 Ago 2012
• Data do Fascículo
  Ago 2012

Histórico

• Recebido
  28 Abr 2011
• Aceito
  29 Ago 2011