Avaliação de programas sociais: balanço das experiências e contribuição para o debate

Avaliação de programas sociais: balanço das experiências e contribuição para o debate

Sonia Nahas de Carvalho

Socióloga, Chefe da Divisão de Estudos Especiais da Fundação Seade ([e-mail])

RESUMO

O artigo recupera as avaliações de programas sociais desenvolvidas pela Fundação Seade. Inicia-se com os pressupostos teóricos e metodológicos que orientam a atividade de avaliação de programas e recupera as principais experiências existentes, com ênfase nos aspectos metodológicos.

Palavras-chave: programas sociais; metodologias de avaliação.

ABSTRACT

This article revisits the evaluations of social programs elaborated by Fundação Seade. It takes as its starting point the theoretical and methodological assumptions that guide program evaluation, and addresses the principal prevailing experiences, with an emphasis on methodological aspects.

Key words: social programs; evaluation methods.

A avaliação de políticas públicas na Fundação Seade data de período recente e a experiência acumulada até o momento consiste na avaliação de programas sociais específicos para atender a demandas distintas e baseadas em orientações metodológicas heterogêneas. Apresentar essa experiência tem por propósito contribuir para a discussão do significado da avaliação no processo das políticas públicas e para o aperfeiçoamento de metodologias de avaliação, com ênfase nas políticas sociais. Os projetos de avaliação escolhidos foram: pós-ocupação de conjuntos habitacionais ofertados pela Companhia de Desenvolvimento Habitacional e Urbano – CDHU; Programa Jovem Cidadão: Meu Primeiro Trabalho, de coordenação da Secretaria Estadual do Emprego e Relações do Trabalho; Programa Telecurso 2000, executado pela Federação das Indústrias do Estado de São Paulo em parceria com o Ministério do Trabalho e Emprego; e os programas estaduais Atuação em Cortiços e Fábricas de Cultura, desenvolvidos pela CDHU e Secretaria da Cultura, com apoio financeiro do Banco Interamericano de Desenvolvimento.

Além de recente, a avaliação de programas sociais na Fundação Seade é uma atividade em processo de construção permanente com, pelo menos, dois sentidos complementares. O primeiro refere-se às metodologias de avaliação e consiste no aperfeiçoamento contínuo de modelos de análise, técnicas e instrumentos. O segundo define os objetivos que orientam a promoção dessa atividade que, mantendo-se técnica, destina-se ao aprimoramento das políticas sociais em seus propósitos de solucionar problemas e atender a carências. Com base nas experiências desenvolvidas e na literatura sobre o tema, alguns pressupostos vêm orientando a construção dessa atividade.

O campo mais geral de entendimento da avaliação pressupõe a noção de que políticas públicas consistem em processo contínuo de decisões, que se alteram permanentemente. Em realidade, "o objeto central da avaliação é o processo das políticas públicas. (...) Parece-nos mais apropriado, do ponto de vista empírico, e sem dúvida mais consistente com a proposição relativa à onipresença da política, ver o sistema das políticas públicas como um processo em fluxo (grifo nosso), que se caracteriza por constantes barganhas, pressões e contrapressões, e não raro por redefinições do próprio objeto das decisões". Dois aspectos devem ser destacados. "Um, o processo temporal da constante redefinição dos objetos em jogo, como produto de decisões anteriores. Outro, o processo pelo qual se altera a própria definição do que é ou não objeto de decisão política; ou seja, o processo pelo qual objetos antes congelados ou tidos como parâmetros não negociáveis deixam de sê-lo." (Lamounier, s.d.:3-4).

Se o sistema das políticas públicas é um processo em fluxo, por associação uma dada política pública não pode configurar-se como seqüência linear de etapas. De forma distinta de interpretações anteriores,¹ que tratavam as políticas públicas como etapas estanques e sucessivas de formulação, implementação e avaliação de decisões previamente tomadas, a abordagem que melhor expressa o quadro real das políticas públicas é as que a considera como processo contínuo de decisões que, se de um lado pode contribuir para ajustar e melhor adequar as ações ao seu objeto, de outro, pode alterar substancialmente uma política pública.

Consoante esse entendimento, a avaliação é parte constitutiva do processo da política pública. Ou seja, ele não é unicamente formulação e implementação de ações. A avaliação integra-se a esse processo como atividade permanente que acompanha todas as fases da política pública, desde a identificação do problema da política até a análise das mudanças sociais advindas da intervenção pública.

Se, na aparência, a formulação e a implementação de políticas ou programas são vistas como fases distintas, pois entendidas, respectivamente, como diagnóstico de problemas e propostas para sua solução e como execução de passos previamente definidos e organizados, em realidade elas não se distinguem tão facilmente. A própria implementação de ações é, e de fato assim ocorre, um constante (re)definir das decisões, recomendadas pela política em momentos anteriores de seu processo.

A avaliação, por sua vez, não se confunde com a seqüência final desse processo. "De princípio, é preciso frisar que a avaliação deve ser remetida strictu senso à noção de análise. Isso quer dizer que a avaliação se dá ao longo de todo o processo, seja na formulação, seja na implementação, ou mesmo nos impactos ou efeitos provocados pelas duas etapas anteriores" (Carvalho; Costa, 1986:8).

Integrar a avaliação ao processo das políticas públicas não significa, contudo, que ela deva ser promovida pelas agências responsáveis por sua implantação. Ao contrário, a posição que a avaliação ocupa no processo das políticas públicas é externa aos agentes gestores e executores e singular em face de seus propósitos. Semelhante aos estudos feitos em outras instituições, na Fundação Seade a avaliação de políticas públicas visa ajustar ou validar objetivos, metas e focos sociais, adequar os meios utilizados aos fins propostos, quantificar e qualificar o atendimento realizado e os benefícios gerados, identificar os impactos ou efeitos das ações nas condições de vida dos beneficiários diretos e indiretos. Diante desses objetivos, a avaliação distingue-se nas modalidades avaliação de processo e avaliação de impacto, estruturadas, em geral, em metodologias de análise comparada entre o "antes" e o "depois", entre o "proposto" e o "realizado" e entre "meios" e "fins".

A avaliação de processo visa acompanhar e avaliar a execução dos procedimentos de implantação dos programas e políticas e diferencia-se em avaliação de eficácia e de eficiência. O objeto central dessa modalidade é avaliar a adequação dos meios e recursos utilizados perante os resultados parciais ou finais, referenciados aos objetivos e metas propostos pela política ou programa. Ressalve-se, contudo, que avaliar processo não pode se confundir com monitorar programas, uma ferramenta de gerenciamento aplicada durante sua execução.

A avaliação de impacto é aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção pública, avaliando-se sua efetividade social. Dois pressupostos orientam a avaliação de impacto. O primeiro reconhece propósitos de mudança social na política em análise e, neste caso, faz sentido estruturar a investigação para mensurar seus impactos. O segundo pressuposto é o que estrutura a análise com base em uma relação causal entre a política ou programa e a mudança social provocada. Pode-se constatar empiricamente mudanças, proceder à sua diferenciação, à sua quantificação, etc. Contudo, para se analisar o impacto dessas mudanças, é preciso estabelecer a relação causa–efeito entre estas e a ação pública realizada por meio da política. Em suma, não basta constatar a ocorrência da mudança; é preciso provar que foi causada pelo programa.

Por fim, a avaliação é instrumental de análise para avaliar a eficiência, a eficácia – e, portanto, o processo da política ou programa – e a efetividade – ou seja, os impactos das ações promovidas pela política ou programa. Nessa perspectiva, a avaliação inscreve-se no campo das Ciências Sociais Aplicadas e se organiza e se desenvolve apoiada nos referenciais conceituais das diferentes Ciências Sociais. As abordagens podem ser da Microeconomia com conceitos como os da maximização de benefícios e minimização de custos, da Ciência Política apoiando-se na teoria dos conflitos e em conceitos como o da formação de arenas decisórias e das formas institucionais de governo, ou da Sociologia e os referenciais conceituais para a elaboração de diagnósticos, reconstrução de processos sociais, etc.

Como instrumental de análise, a avaliação vale-se também dos métodos próprios da pesquisa social. A sua escolha, contudo, não é aleatória nem mesmo predeterminada, pois o pressuposto é que seja conforme aos objetivos, explícitos e implícitos, estabelecidos pela política em análise. De acordo com Deutscher, citado por Figueiredo e Figueiredo (1986:109), "a escolha do método a ser utilizado decorre mais do objetivo da política ou programa sob observação e de seu escopo social do que da preferência intelectual do analista. O mais importante nessa discussão é o estabelecimento das conexões lógicas entre os objetivos da avaliação, os critérios de avaliação e os modelos analíticos capazes de dar conta da pergunta básica de toda pesquisa de avaliação: a política ou programa social sob observação foi um sucesso ou um fracasso?"

PÓS-OCUPAÇÃO DE CONJUNTOS DE HABITAÇÃO POPULAR

O estudo de pós-ocupação de conjuntos habitacionais, encomendado pela CDHU em 1999, estruturou-se com o propósito de contribuir para explicar a inadimplência nas unidades habitacionais, classificada em três tipos: financeira, de atraso no pagamento das prestações de financiamento habitacional; contratual, com a transferência do imóvel a outras famílias não mutuárias da CDHU; e condominial, de atraso no pagamento do condomínio. Tratava-se, portanto, de um projeto para avaliar intervenções públicas realizadas, com benefícios já concedidos ao público-alvo da política.

Os pressupostos para o estudo consideraram o modelo de solução única da política habitacional paulista no atendimento das necessidades da população de baixa renda. Esse modelo caracteriza-se pela provisão de casa própria, em conjuntos habitacionais, em geral de grande porte, destinada às famílias entre um e dez salários mínimos de renda familiar que assumem um contrato de financiamento por um período de 25 anos, passível de subsídio de acordo com a capacidade de pagamento das famílias.²

Diante de parâmetros uniformes e rígidos, o estudo investigou a existência de diferenciações no comportamento dos mutuários nos aspectos em que a política guarda alguma flexibilidade, qual seja, de sua implantação. Assim, para a escolha dos empreendimentos consideraram-se as alternativas de tipologia de edificação (casa ou apartamento) e de construção (por empreitada ou mutirão). Além dessas variáveis, tal escolha levou em conta a data de entrega do empreendimento: anterior e posterior a 1994.

Dois procedimentos foram adotados para a execução do projeto. O primeiro baseou-se na exploração de base de dados de fiscalização e cobrança, disponível na CDHU, que, contudo, mostrou-se inadequada em face de problemas de consistência e confiabilidade dos dados. O segundo procedimento consistiu na investigação em campo. Diante do conhecimento não sistematizado sobre o fenômeno da inadimplência, optou-se pela realização de estudos de caso, tendo sido escolhidos cinco empreendimentos habitacionais implantados no município de São Paulo a partir da combinação das variáveis tipo de edificação, tipo de construção e data de entrega.³

O desafio inicial para a investigação referiu-se à inadimplência contratual, uma vez que os mutuários originais – que haviam firmado contrato com a CDHU – não eram mais localizados e, portanto, não seria possível pesquisar as razões que os levaram à transferência do imóvel. Para superar esse desafio, as alternativas foram a de levantar informações indiretas, obtidas com os mutuários residentes, e a de identificar o perfil do novo mutuário, comparando-o ao mutuário original.

Os pressupostos para a análise da inadimplência definiram os temas de investigação, considerando-se as variáveis sociodemográficas, para classificação dos mutuários segundo as situações de adimplência, a participação em associações e na administração condominial, graus e níveis de satisfação com a moradia, o conjunto e o entorno urbano, e estrutura de despesas, identificados como parâmetros de qualificação dos empreendimentos e da população residente. Com a clareza de que dados quantitativos não seriam suficientes para se entender o fenômeno, dados qualitativos foram também coletados por meio de entrevistas estruturadas feitas com lideranças, síndicos e alguns moradores. O questionário, composto em perguntas fechadas, foi aplicado a todas as famílias residentes nos empreendimentos habitacionais selecionados.

A análise feita seguiu duas abordagens. Na primeira, o empreendimento foi a unidade de análise e se procurou apontar a especificidade de cada empreendimento em relação aos aspectos demográficos, socioeconômicos, de participação em associações e administração do condomínio, níveis de satisfação, estrutura de despesas e situações de adimplência contratual, condominial e financeira. A segunda abordagem considerou o domicílio como unidade de análise e buscou explicar as situações de inadimplência financeira, condominial e contratual a partir da análise do comportamento de variáveis socioeconômicas selecionadas. A inadimplência financeira foi também examinada considerando-se os "fatores de risco" à inadimplência dos mutuários. Assim, o risco à inadimplência (atraso superior a três meses) ou ao atraso no pagamento das prestações (atraso de até três meses) foi analisado tendo-se por referência o nível médio de renda domiciliar, a estrutura de despesas, a posição socioocupacional do chefe do domicílio e sua situação de trabalho e fatores não estritamente econômicos.

PROGRAMA JOVEM CIDADÃO: MEU PRIMEIRO TRABALHO

De iniciativa do governo do Estado de São Paulo e coordenado pela Secretaria do Emprego e Relações do Trabalho, o Programa Jovem Cidadão: Meu Primeiro Trabalho visa proporcionar, aos estudantes de 16 a 21 anos da rede pública estadual de ensino médio, a primeira oportunidade de experiência profissional no mercado de trabalho, preparando-os para o exercício da cidadania. O benefício oferecido consiste em aprendizado e prática profissional, de preferência em empresas do setor privado, concedendo-se aos jovens admitidos uma bolsa de, no mínimo, R$130.⁴ Decidida sua implantação, a execução do programa restringiu o atendimento aos alunos das escolas estaduais de ensino médio localizadas na Região Metropolitana de São Paulo, situação em que se encontra atualmente.

O projeto de avaliação desse programa pretendia construir uma metodologia e produzir indicadores destinados ao aperfeiçoamento e à aferição dos resultados obtidos. Alguns aspectos distinguem o processo desenvolvido. Em primeiro lugar, a participação da Fundação Seade deu-se desde a concepção inicial do programa, com a elaboração de metodologia para a classificação dos estudantes inscritos segundo carência social, destinada à escolha dos beneficiários do programa. A contribuição localizada nessa definição pode ser interpretada já como parte do próprio processo de avaliação e vista como recurso para auxiliar a identificação de instrumentos de implementação do programa.

A segunda característica refere-se à simultaneidade entre a implementação e a avaliação do programa. Esta começou ainda em 2000, poucos meses após o início do programa, e se estende até os dias atuais. Por decorrência, o foco principal da avaliação tem sido o de acompanhar e avaliar o processo de desenvolvimento do programa e se estrutura em torno de dois campos: analisar resultados à medida que o programa é executado; e identificar, qualificando, as atribuições de fato exercidas pelos agentes de implementação do programa em relação aos objetivos do programa.⁵ Para dar conta desse foco, a estratégia metodológica escolhida foi, de um lado, a de analisar os grandes números que mostram o desempenho quantitativo do programa e, de outro, de privilegiar a investigação dos principais atores, compreendendo mais intensamente os beneficiários finais, as empresas que aderiram ao programa, os monitores e as escolas parceiras na implantação do programa. Em face dos pressupostos da análise de avaliação, os instrumentos de coleta têm sido diversificados e adequados à natureza das informações requeridas, incluindo questionários, entrevistas estruturadas e grupos de discussão.

A análise dos resultados do programa segue dois procedimentos analítico-metodológicos distintos e complementares. O primeiro, destinado ao acompanhamento conjuntural, desenvolve-se mediante a exploração analítica de indicadores especialmente construídos com base no registro de alunos inscritos e de empresas.⁶ Editado na forma de boletins, esse acompanhamento foi mensal entre outubro/2000 e dezembro/2002, passando a ser trimestral em 2003. Ao final de cada ano, um novo produto é editado, consolidando-se a análise de desempenho do programa.

Como produto, os boletins atendem ao objetivo de disseminação do programa e, com isso, oferecem à sociedade meios para conhecer e controlar a ação pública. As possibilidades de realização desse propósito foram ampliadas em 2003 com a divulgação dos boletins na página da Fundação Seade na Internet.⁷

Já na perspectiva de seu conteúdo, os boletins expõem a evolução da inscrição de estudantes e da oferta e preenchimento de vagas, qualificada segundo dados gerenciais disponíveis como idade e sexo dos alunos inscritos, porte e setor de atividade das empresas, conclusão de estágio e motivos para a não-conclusão em relação às vagas preenchidas, bem como a distribuição espacial segundo as Diretorias de Ensino existentes na Região Metropolitana de São Paulo. A análise feita permite avaliar, de um lado, os rumos adotados pelos agentes de implementação do programa, sugerindo capacidades e recursos existentes para a colocação dos estudantes em uma vaga de estágio e, de outro, os efeitos que o comportamento do mercado de trabalho, com rebatimentos diferenciados no espaço metropolitano, possa ter sobre um programa como o Jovem Cidadão, que articula a geração de benefícios sociais à oferta de vagas para estágio pelo setor privado. Em suma, analisar o programa mediante os indicadores de desempenho apontados possibilita avaliar a extensão em que os objetivos e metas são realizados em relação ao atendimento do público-alvo.⁸

A avaliação do programa é também realizada com base em informações colhidas com os estudantes atendidos com uma vaga de estágio. Complementar à análise de desempenho, avalia-se, da ótica dos beneficiários, se o programa cumpre os objetivos de oferecer a oportunidade de prática e aprendizado profissional e de atender aos socialmente mais carentes dentre os estudantes inscritos. Para além dessas dimensões, a investigação com os estagiários contribui também para avaliar os efeitos imediatos produzidos sobre suas condições sociais e perspectivas futuras. Essa é uma dimensão que, apesar de se referir a efeitos sociais decorrentes da ação pública executada, não deve ser confundida com a avaliação de impacto.

Para atender a esses propósitos, os estagiários vêm sendo tratados segundo suas diferentes situações, que são múltiplas, de inserção no programa. Com a clareza de que todas essas situações ainda não foram investigadas, a avaliação já realizada restringiu-se aos estudantes que haviam sido bem-sucedidos de acordo com os objetivos do programa, ou seja, contemplados com uma vaga de estágio.⁹

Nas pesquisas realizadas adotaram-se procedimentos de investigação distintos, diante da natureza das informações que se queria levantar e do tratamento analítico a ser dado a elas. O primeiro procedimento destinou-se à análise comparada entre grupos de beneficiários distinguidos por tempo de estágio. Para cada grupo aplicou-se um questionário composto de perguntas comuns sobre características pessoais e familiares e diferenciadas por tempo de estágio quanto às características, expectativas e proveitos do estágio.¹⁰ As coletas foram realizadas em abril/2001, agosto/2001 e setembro/2002 e a análise foi desenvolvida da perspectiva da comparação dos segmentos de estudantes pesquisados. A partir da segunda coleta, a comparação foi também feita entre os grupos que passaram pelo programa nos diferentes momentos de coleta.

Vale destacar os principais indicadores elaborados. No que se refere ao perfil do estagiário, consideram-se os indicadores que identificam o grupo social atendido pelo programa. Em relação ao estágio oferecido, os indicadores são de dois tipos: os relacionados aos mecanismos operacionais do programa, como o pagamento em dia da bolsa-estágio e do vale-transporte e a duração da jornada diária de estágio; e os relacionados ao aprendizado, como treinamento recebido, atividades realizadas, nível de satisfação e relações construídas no ambiente de trabalho. A análise dos efeitos sobre as condições de vida e expectativas futuras é feita com base em indicadores que incluem as possibilidades de efetivação na empresa, melhorias para a vida escolar e relacionamento social e familiar, contribuições para escolhas profissionais e para a continuidade dos estudos.

O segundo procedimento de investigação visou levantar informações com ex-estagiários. Esse segmento era formado por jovens que concluíram o estágio entre oito e 12 meses da data de realização da pesquisa e foram escolhidos dentre os que haviam respondido às pesquisas de abril e agosto de 2001. Nesse caso, a proposta foi essencialmente qualitativa, pois se pretendia explorar e aprofundar aspectos fundamentais para o aprimoramento do programa. Por se tratar de um público composto por jovens, a técnica utilizada foi a de grupos de discussão, aplicando-se "dinâmicas que estimulam e facilitam a manifestação dos participantes, como simulações e jogos, tornando a pesquisa quase lúdica. Tais dinâmicas ajudam a atenuar dificuldades como inibição, timidez, desconfiança de determinados públicos. Isso é particularmente útil no caso de jovens, segmento que geralmente se caracteriza por falas lacônicas, em código, em especial diante de adultos." (Fundação Seade, junho 2002:2).

A utilização de métodos de investigação qualitativa no projeto de avaliação do programa justifica-se por sua adequação para captar dados de percepção dos beneficiários em relação aos benefícios obtidos, ao significado da experiência realizada e ao potencial do programa como componente de uma política para jovens, contemplando a oportunidade de contato com o mercado de trabalho e a construção da cidadania. Os resultados reforçaram os alcançados pelas pesquisas quantitativas anteriores, como o tipo de atividade mais freqüente desenvolvida pelos estudantes no estágio, permitiram aprofundar outros aspectos, como o dos efeitos do programa para a vida profissional e pessoal dos jovens, e identificar novas dimensões, como a possibilidade de existir discriminação de raça/cor e de sugestões para o aprimoramento do programa, como a revisão do período de seis meses para a experiência de estágio e a interrupção do atendimento público assim que concluída esta experiência.

Ao lado do beneficiário final, outro ator importante, podendo-se dizer estratégico, para o programa são as empresas ofertantes de vagas para estágio. Desde a sua concepção, o mecanismo de adesão das empresas ao programa é voluntário, com a restrição relativa ao número de vagas proporcional ao número de empregados da empresa. Com esse segmento, foram utilizadas duas técnicas de pesquisa. A primeira, aplicada no início de 2001, consistiu em questionário de autopreenchimento enviado por correio a todas as empresas participantes do programa. Além do retorno não ter sido alto (cerca de 33% do universo), as informações obtidas não foram suficientemente satisfatórias para uma análise que visava identificar a compreensão das empresas sobre o programa e os estagiários em treinamento, as condições de trabalho e os progressos alcançados em seu processo de formação. A crítica à época feita concluiu que o próprio instrumento de coleta – um questionário – não era adequado para atender a tais objetivos. Uma segunda técnica de pesquisa foi introduzida, com a coleta de dados qualitativos obtidos por meio de entrevistas estruturadas realizadas com empresas escolhidas segundo critérios predefinidos de classificação. Nesse caso, alcançaram-se resultados analíticos mais satisfatórios, que permitiram reconhecer a heterogeneidade de comportamento das empresas em relação ao programa e das razões para sua adesão, bem como qualificar a inserção do estagiário quanto a treinamento, aprendizagem e atividades desenvolvidas na empresa.

Por fim, a avaliação compreende também analisar o funcionamento do programa, tendo-se por "propósito identificar aspectos críticos e gargalos que se interpõem na atuação dos agentes envolvidos. É, normalmente, por meio desse tipo de análise que questões aparentemente minimizadas por exigências práticas ou mesmo encobertas por rotinas de trabalho se intensificam, adquirindo a relevância que em geral lhes cabe perante a realização dos objetivos do programa." (Fundação Seade, novembro 2002:3).

Para atender a esse propósito, foram investigados os agentes centrais no processo de implementação, quais sejam: o monitor, responsável pelo contato direto com a população-alvo do programa; e a escola, na figura do responsável pelo programa, elo na divulgação do programa e no apoio à inscrição dos alunos no programa. A pesquisa com esses agentes visou levantar informações qualitativas e se realizou por meio da aplicação de roteiros estruturados para entrevista.

Em relação aos monitores, são relevantes os indicadores de tempo de permanência na função e, em especial, de capacitação para compreender as implicações dos objetivos gerais do programa para a execução de suas atividades rotineiras e realização dos objetivos específicos de cada etapa de funcionamento. Quanto às condições infra-estruturais para o exercício das atividades, chamaram a atenção os indicadores de adequação dos espaços físicos de trabalho, a oferta de linhas telefônicas, de computadores e de acesso à Internet.

Quanto às escolas, a pesquisa permitiu apontar limites e problemas existentes, como a relação entre o número de estudantes inscritos e de vagas para estágio, descompasso que se acentua quando são considerados o perfil social da população-alvo e a localização da escola/residência do aluno no território metropolitano. A isso se somam o tipo e grau de participação ou envolvimento da escola no programa que pouco incorpora a facilidade que a escola oferece de contato diário com os estudantes.

TELECURSO 2000

A primeira avaliação do Telecurso 2000, como parte do Plano Nacional de Qualificação do Trabalhador – Planfor,¹¹ elaborado e coordenado pela Secretaria de Políticas Públicas de Emprego – SPPE do Ministério do Trabalho e Emprego – MTE, foi feita em 2000,¹² objeto de contrato com a Federação das Indústrias do Estado de São Paulo – Fiesp, entidade coordenadora do programa. No ano seguinte o programa foi novamente avaliado, considerando-se a execução de 2001. A oportunidade dessa experiência veio carregada de desafios, que permitiram acumular novos conhecimentos à Fundação Seade. Em breves palavras, tratava-se de um projeto de avaliação a ser executado em um prazo de apenas cinco meses, com coleta de dados em diferentes locais do território nacional e que pressupunha assimilar e aplicar a metodologia elaborada pelo MTE/SPPE, com definição das dimensões e dos procedimentos de avaliação.

Para a agência coordenadora do Planfor, programas precisam ser supervisionados e avaliados, atividades a serem realizadas com entidades ou equipes diferentes, pois se distinguem em dimensões fundamentais, como objetivos e foco. De acordo com o MTE/SPPE, a supervisão tem por objetivo "monitorar ou medir a eficiência"¹³ de um programa e constitui "ferramenta gerencial" que visa "orientar e corrigir o processo, durante a execução do programa, e apoiar ou aprimorar sua gestão". A avaliação, sempre externa aos agentes executores, focaliza-se na "mensuração da eficácia e da efetividade social de um programa",¹⁴ e constitui "subsídio para a política pública" para "orientar o aprimoramento metodológico e conceitual do Planfor e prestar contas à sociedade". Com propósitos diferentes, a supervisão desenvolve-se somente durante a execução das ações e a avaliação externa ocorre também após o término do programa, procedendo-se ao acompanhamento dos beneficiários (MTE, 2000:10).

Em face do foco proposto e dos objetivos visados, a metodologia de avaliação dos programas só poderia ser abrangente, compreendendo diferentes dimensões para se medir a eficácia e a efetividade social, assim identificadas: foco na demanda do mercado de trabalho; atendimento da população-alvo; adequação dos programas ofertados; adequação das entidades executoras; produtividade e custos; gestão da parceria (ou do PEQ); gestão do Planfor; impactos para os treinandos; e impactos como política pública.¹⁵

Essa metodologia, contudo, estruturou-se a partir dos Planos Estaduais de Qualificação – PEQs, de oferta de cursos de capacitação ou requalificação profissional de trabalhadores para que obtenham ou melhorem sua inserção no mercado de trabalho. Os cursos oferecidos restringem-se aos residentes de cada Estado brasileiro de atuação das Secretarias do Trabalho. O Telecurso 2000, por sua vez, diferencia-se dos PEQs por visar a elevação da escolaridade de jovens e adultos que não conseguiram concluir o ensino básico na idade adequada, oferecendo cursos de educação supletiva à distância. Assim, a despeito da influência que um maior nível de instrução possa ter para a inserção profissional dos indivíduos, reconhecia-se que esse não era um resultado a ser dimensionado de forma específica como o seria no caso de cursos de formação profissional. Além disso, o Telecurso 2000 compreendia a instalação de telessalas espalhadas por diferentes regiões brasileiras.

Em decorrência, adaptações e ajustes precisaram ser introduzidos. Em primeiro lugar, o projeto de avaliação definiu hipóteses de investigação e, por decorrência, procedimentos metodológicos, fontes e instrumentos de coleta orientados pelo objetivo do Telecurso 2000 de elevar a escolaridade da população. As análises baseadas em dados secundários deram prioridade à segmentação da população segundo o nível educacional em relação ao acesso ao ensino supletivo e ao grau de ensino concluído. E as análises dos dados primários foram feitas após a adequação dos instrumentos de coleta para investigar as percepções e efeitos em diferentes dimensões pessoais e sociais relacionadas à elevação da escolaridade.

A metodologia do MTE/SPPE sugeria também que a avaliação considerasse amostras representativas do universo de atendimento do programa. A dispersão nacional das telessalas, combinada a razões operacionais de custo e tempo para execução do projeto, forçou a introdução de um segundo ajuste na metodologia proposta. Para a avaliação de 2000, adotou-se, como critério, a combinação entre concentração espacial de telessalas e representatividade dos agentes parceiros da Fiesp, responsáveis regionais pela execução do programa. Para a de 2001, o critério foi o de realizar as pesquisas em outros locais e com outras entidades, distintos dos pesquisados em 2000.¹⁶

Se, por um lado, as escolhas feitas impediram que os dados para análise fossem representativos do universo de atendimento do Telecurso 2000, por outro, permitiram a investigação aprofundada e o melhor entendimento dos processos de implementação existentes. Além disso, a escolha de bases territoriais distintas para 2000 e 2001 permitiu acumular conhecimento sobre o programa, em decorrência da maior diversidade de situações e da ampliação da oportunidade de comparação entre os processos de implementação.

As dimensões consideradas para avaliação, por sua vez, demandaram esforços de investigação distintos quanto às fontes, procedimentos e instrumentos de coleta. Os dados de fonte secundária compreenderam os documentos contratuais, instrucionais e orientadores do Planfor e do Telecurso 2000, a base de dados da Pesquisa Nacional por Amostra de Domicílios (IBGE) e o Registro dos Alunos Inscritos no programa. Nos dois anos de avaliação enfrentaram-se dificuldades no manuseio dos dados cadastrais dos alunos do programa, decorrentes de problemas de preenchimento dos campos de informação sobre os inscritos, de conceituação das variáveis de caracterização dos mesmos, de atualização dos dados cadastrais e de ausência de controle da data de entrada das informações.¹⁷

A organização da coleta em fontes primárias foi precedida da identificação dos agentes de implementação do programa e de suas atribuições básicas, conformando um modelo de implantação, a priori construído, hierárquico e vertical no processo de tomada de decisões. A recuperação e confirmação desse modelo em campo considerou os agentes em todos os níveis da estrutura identificada, utilizando-se de instrumentos de coleta especificamente elaborados para atender aos propósitos de avaliar a eficácia e efetividade do Telecurso 2000.

Tendo-se por referência as atribuições dos agentes de implementação, foram realizadas entrevistas estruturadas com o propósito de verificar o cumprimento dos objetivos e metas do programa e de identificar o funcionamento quanto à existência de dificuldades na execução, às articulações entre agentes de níveis diferentes e às formas de relacionamento estabelecidas com a clientela potencial e efetiva. Considerados os dois anos de avaliação, a coleta qualitativa foi feita com a entidade de coordenação (Fiesp), os parceiros responsáveis, com atuação nacional (Fundação Roberto Marinho, Serviço Nacional de Aprendizagem Industrial – Senai, Confederação Nacional da Indústria e novamente a Fiesp), os parceiros organizadores, com atuação regional (Senai regionais, Instituto Superior de Administração e Economia da Amazônia e Viva Rio) e os parceiros executores, com atuação local, constituídos por associações comunitárias ou de moradores, órgãos públicos, sindicatos, cooperativas, etc. Ao lado destes, foram também entrevistados supervisores do programa e orientadores de aprendizagem.

Em relação aos beneficiários, a metodologia de avaliação recomendava a investigação com treinandos e egressos dos programas. O tempo de implantação do programa como parte do Planfor exigiu novas adaptações. A primeira foi a de ajustar a denominação treinandos – mais adequada para cursos de capacitação profissional – à real clientela do Telecurso 2000, ou seja, alunos de ensino supletivo de níveis fundamental e médio. A segunda adaptação decorreu do calendário de implantação do programa e de duração dos cursos, pois o Telecurso 2000 não dispunha de beneficiários que atendessem ao requisito de 90 a 180 dias após o término do curso e pudessem, assim, ser considerados egressos. Na avaliação de 2000, toda a clientela do programa freqüentava telessala. E para a de 2001 já se contava com pequena parcela de beneficiários com término de curso, porém em prazo inferior ao requerido para serem egressos. Alterando o foco de investigação para concluintes, posto que mais adequados à real situação, foi estruturado um novo grupo de pesquisa que considerou os efeitos imediatos produzidos com o término do curso sobre as condições pessoais e sociais dos beneficiários.

As informações levantadas nas diferentes fontes permitiram chegar a resultados analíticos sobre a eficácia e a efetividade social do Telecurso 2000, apresentados em relatório organizado segundo as dimensões de avaliação demandadas pela metodologia, não sem ajustes em relação às recomendações do Guia de Avaliação do Planfor.

A avaliação da eficácia do programa foi atingida, validando os procedimentos adotados para a captação e análise dos dados. Diferentemente da orientação do Guia de Avaliação de utilização de medidas de eficácia relacionadas à inserção no mercado de trabalho e níveis de renda, os indicadores utilizados para avaliar a eficácia do Telecurso 2000 representaram o esforço de se adequar à avaliação aos objetivos desse programa, dando-se ênfase a indicadores relativos à elevação ou recuperação da auto-estima e à formação básica e cidadã.

Complementar à análise da eficácia, a avaliação incluiu a análise da eficiência do programa. Ou seja, a avaliação do Telecurso 2000 não só procurou dar conta da análise sobre o cumprimento das metas físicas e financeiras solicitadas pelo Guia de Avaliação em capítulo específico sobre otimização de custos, como compreendeu também a exploração das condições organizacionais existentes dos agentes envolvidos e dos recursos físicos como parte da avaliação. A própria opção metodológica que privilegiou a investigação segundo agentes regionais/locais possibilitou um ganho analítico adicional que confirma o pressuposto de que a implementação não constitui mera etapa que operacionaliza decisões ou definições anteriores, tomadas na fase da formulação de programas. Não obstante o modelo vertical de implantação do Telecurso 2000, os agentes e as estruturas regionais/locais de implementação influenciam os resultados do programa, em decorrência de diferenças de recursos, dos mecanismos utilizados e das formas de articulação com outros agentes e de mobilização da população.

A avaliação da efetividade social do programa não foi plenamente atingida, mesmo se considerada a pesquisa com os concluintes em 2001. Ao lado de indicadores, também construídos para os alunos, relativos aos níveis de satisfação alcançados e do significado da elevação da escolaridade para sua vida pessoal, familiar e social, além da profissional, com os concluintes a ênfase recaiu sobre os indicadores de comparação entre as situações anterior e posterior à realização do curso quanto a renda, inserção profissional e alguns aspectos da vida familiar e social. Longe de se considerar tais indicadores como de impacto, porque não seria de fato possível, a comparação feita simplesmente mostrou as condições existentes em dois momentos e, somente por hipótese, estabeleceu-se alguma relação causal entre a situação então atual e as ações do programa.

A análise da efetividade social de um programa com objetivos como os do Telecurso 2000 compreendeu também o significado social da promoção de ações para a elevação do nível de escolaridade da população para a expansão da cidadania e como parte constitutiva de uma política pública de emprego e renda. Conforme as conclusões apresentadas, "a execução do Telecurso 2000 converge na direção dos objetivos do Planfor, expressando, de fato, avanço conceitual, ao integrar ações que visam elevar a escolaridade em uma política nacional de geração de emprego e renda". Um avanço identificado em três dimensões: "ao promover um bem público de caráter universal às populações que não tiveram oportunidade social de concluir a educação básica na idade adequada; ao propiciar a elevação do estoque de capital humano e, por conseguinte, aumento da produtividade da mão-de-obra e, portanto, aumento da competitividade da economia brasileira; e ao ampliar o escopo do sistema público de emprego para além de atividades de capacitação profissional e intermediação de mão-de-obra." (Fundação Seade/Fiesp, 2001:108).

ATUAÇÃO EM CORTIÇOS E FÁBRICAS DE CULTURA

Os programas Atuação em Cortiços e Fábricas de Cultura, promovidos pela CDHU e Secretaria Estadual de Cultura, respectivamente, são reunidos em um mesmo item devido a seguirem a mesma metodologia de elaboração e execução de projetos recomendada pelo Banco Interamericano de Desenvolvimento – BID, parceiro no financiamento. Para a Fundação Seade, essas experiências se diferenciam das anteriores em alguns aspectos que serão enfatizados.

Dispor dos recursos financeiros do BID é também estruturar projetos seguindo parâmetros razoavelmente rígidos, definidos em metodologia complexa e ampla, denominada metodologia do marco lógico.¹⁸ Em linhas gerais, a estruturação dessa metodologia parte da concepção de políticas públicas como processo e estabelece os recursos metodológicos que articulam a política pública, seus programas e projetos, e inter-relacionam o que seriam as etapas de um mesmo programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção. Segundo seus pressupostos, a avaliação é constitutiva e integrada ao próprio processo da política pública, programa e projeto. Para tanto, a ferramenta de base estrutura-se em forma de matriz – a matriz do marco lógico – de organização, de um lado, dos objetivos, indicadores, meios de aferição e fatores externos a influenciar os resultados do programa e, de outro, da especificação dos objetivos geral e específicos, componentes e atividades. Dentre os componentes, inclui-se, em geral, o desenvolvimento institucional, com atividades de fortalecimento institucional das agências de um programa e de definição e montagem de sistemas de acompanhamento e de avaliação.

A metodologia do marco lógico e a de avaliação do Planfor se distinguem pela forma como se relacionam ao programa que delas faz uso, com forte associação ao próprio momento de seu desenvolvimento e aplicação. Sem desconsiderar o fato de que desde sua origem haveria um componente de avaliação, a metodologia dos programas integrados ao Planfor só se definiu em momento posterior ao início da sua implantação. Se nessa forma de condução da política há um aspecto positivo de construção em processo da metodologia com a contribuição de diversos atores, não sem polêmicas, permanece também a sombra da dissociação entre a avaliação e as demais atividades dos programas. Apesar desse aspecto, tal metodologia se destaca pela clareza na distinção dos conceitos de avaliação e de monitoramento e das atividades requeridas para seu desenvolvimento, bem como na proposição de dimensões para avaliação, possibilitando resultados analíticos baseados em uma interpretação integrada do comportamento dos agentes, das atribuições das instâncias de implementação e da interação com as populações potencial e beneficiária.

Em relação à metodologia do Planfor, salientamos dois diferenciais da metodologia recomendada pelo BID.¹⁹ O primeiro reside no momento em que é montada a matriz do marco lógico, simultânea à fase de definição do projeto de intervenção e anterior ao início de sua implantação. Trata-se de um esforço que pode dar maior clareza aos objetivos do programa, dos instrumentos e recursos necessários e de antecipação, pelo menos teórica, dos riscos e oportunidades para atingir os resultados esperados. O segundo diferencial dessa metodologia é o esforço de fazer da avaliação parte, de fato constitutiva, do processo das políticas públicas. Ao introduzir, desde a montagem da matriz, requerimentos para o diagnóstico das condições existentes e a definição de critérios para intervenção, o modelo metodológico recomendado propõe as bases que integram a avaliação às demais ações de um programa. Uma integração que se constrói em duas direções. A primeira baseia-se na hipótese de que diagnosticar a realidade sobre a qual se pretende intervir já é parte da avaliação. E a segunda funda-se no suposto de que esse diagnóstico prévio é a condição para o acompanhamento das mudanças nas condições sociais gerais e dos beneficiários de um programa após iniciada sua execução e ao seu término. No atendimento desses requisitos é que se identifica a contribuição feita até o momento pela Fundação Seade para os programas Atuação em Cortiços e Fábricas de Cultura.

A parceria com a CDHU inicia-se com a colaboração técnica na montagem da matriz do marco lógico do programa, feita por técnicos da própria Companhia e do BID. Na continuidade do processo, a participação da Fundação Seade foi sistemática, com a realização de levantamentos, pesquisas e estudos de diagnóstico de cortiços. Em Santos, as atividades restringiram-se à coleta e análise socioeconômica dos cortiços identificados pela CDHU com base em mapeamento de uso do solo urbano já disponível. Em São Paulo, as atividades foram diversificadas e de maior extensão, compreendendo também a coleta e análise socioeconômica da população encortiçada, precedida por levantamento cadastral de uso do solo para identificação dos imóveis encortiçados. Essas atividades somente se realizaram após a definição dos parâmetros de estruturação da proposta de intervenção relativos às alternativas de solução, aos mecanismos de acesso da população e à escolha das cidades com a delimitação dos setores de intervenção.

As técnicas utilizadas para o levantamento cadastral e pesquisa socioeconômica seguem as usuais, à exceção dos procedimentos adotados para a identificação dos imóveis classificados como cortiços.²⁰ A relevância da experiência, porém, residiu sobretudo nos esforços para integrar as atividades desenvolvidas e os produtos elaborados às necessidades do programa, a fim de subsidiar as etapas subseqüentes de elaboração dos projetos para intervenção em um único setor, em Santos, e em nove setores delimitados em São Paulo.

Os dados cadastrais e socioeconômicos receberam tratamento georreferenciado, em formato Maptitude, contendo a identificação, lote a lote, do uso urbano. Nos lotes classificados como cortiços foram adicionados dados de caracterização física dos imóveis e socioeconômicos da população residente, além de fotos. Os dados socioeconômicos foram também analiticamente tratados com base em indicadores construídos para expressar o perfil sociodemográfico e educacional, as condições de renda e de inserção no mercado de trabalho, estrutura de despesas e comprometimento da renda, condições de moradia e avaliação da moradia atual. Dos resultados encontrados surpreendeu a elevada presença de famílias unipessoais, tendo sido objeto de análise mais aprofundada.²¹

A participação da Fundação Seade no programa Fábricas de Cultura, de implantação ainda não iniciada, foi posterior à definição de seu objetivo de "buscar a inserção social, familiar e cidadã de crianças e jovens socialmente vulneráveis mediante a promoção de atividades culturais", mas simultânea às definições dos instrumentos de intervenção e escolha das áreas de atuação.

Consoante a uma estratégia de intervenção localmente focalizada, mediante parcerias com entidades sociais existentes, reforma de instalações e construção de "fábricas de cultura" em distritos do município de São Paulo com concentração de população infantil e jovem e elevados índices de violência, o ingresso da Fundação Seade no projeto foi fundamental, pois atendeu aos requerimentos técnicos para a escolha das áreas para implantação do programa. Assim, com base em metodologia especialmente criada, a Fundação Seade elaborou o que se denominou índice de vulnerabilidade juvenil (IVJ), construído a partir das variáveis: taxa anual de crescimento populacional entre 1991 e 2000; percentual de jovens, de 15 a 19 anos, no total da população dos distritos; taxa de mortalidade por homicídio da população masculina de 15 a 19 anos; percentual de mães adolescentes, de 14 a 17 anos, no total de nascidos vivos; valor do rendimento nominal médio mensal, das pessoas com rendimento, responsáveis pelos domicílios particulares permanentes; e percentual de jovens de 15 a 17 anos que não freqüentam escola. Como resultado, foram classificados todos os distritos da capital segundo uma escala de 0 a 100 pontos, em que o 100 representa o distrito de maior vulnerabilidade, agrupados em cinco categorias. Do grupo cinco, com 19 distritos de maior vulnerabilidade juvenil, foram escolhidos os nove distritos para intervenção. ²²

Da mesma forma que as análises sobre os cortiços, a criação desse índice, integrando-o às necessidades do programa das Fábricas de Cultura, introduz a avaliação ao processo desses programas como atividade que também analisa e identifica as condições sociais existentes da população a ser objeto de intervenção pública. Seja com a coleta de dados para aprofundar e sistematizar o conhecimento da população, seja valendo-se do tratamento analítico e estatístico de dados, essas experiências são exemplos que podem contribuir para rever procedimentos, com a incorporação do uso adequado de dados e informações para fundamentar as decisões tomadas na definição de propostas de intervenção pública.

A continuidade das atividades previstas para a Fundação Seade atende às demandas do programa Fábricas de Cultura de estruturação de sistemas de acompanhamento e avaliação. Ao lado da própria criação desses sistemas, segundo uma concepção que incorpora variáveis de gestão física e financeira do programa, essas atividades incluem a elaboração de instrumentos de cadastro dos agentes do programa – beneficiários, entidades sociais e educadores de arte – e a realização de coleta domiciliar e análise de dados socioeconômicos das nove áreas previstas para intervenção, acrescidas de uma décima, definida para acompanhamento e controle das mudanças sociais provocadas pela ação pública.²³ Como resultado, essas atividades possibilitarão construir, na linguagem do BID, a "linha de base" do programa, seja com o diagnóstico social prévio dos distritos, seja com o cadastramento dos agentes à medida que ingressam no programa, condição técnica necessária para o acompanhamento e avaliação na fase intermediária de execução, final e após 12 meses de término do programa, previsto para quatro anos.

CONSIDERAÇÕES FINAIS

As avaliações das ações públicas de provisão habitacional, intervenção em cortiços, oferta de educação supletiva a distância, estágio para estudantes de ensino médio e atividades culturais para populações socialmente vulneráveis, mostram singularidades e regularidades que se somam às reflexões sobre metodologias de avaliação, em particular no campo das políticas sociais e sobre o lugar da avaliação no processo das políticas públicas. No lugar da síntese dessas experiências, dois ou três pontos devem ser colocados a título de conclusão.

O primeiro parte da constatação de fragilidade dos critérios utilizados no registro e armazenamento dos dados dos programas públicos, dificultando e, por vezes impossibilitando seu acompanhamento e avaliação. Quadro semelhante ao que enfrentamos na utilização dos dados cadastrais no estudo de pós-ocupação habitacional e na avaliação do Telecurso 2000, os analistas de políticas públicas sistematicamente também se deparam, dificultando a avaliação de processo, além de, muitas vezes, comprometer o acompanhamento gerencial dos programas.

Provocar a discussão para promover mudanças desse quadro pressupõe dois referenciais: de ordem conceitual, relativo ao entendimento do significado da "informação" no processo das políticas públicas; e ordem operacional, referente aos instrumentos que organizam os dados para que possam ser recuperados segundo unidades de análise padronizadas e com recortes temporais adequados. Assim, coletar dados, que se materializam na forma de cadastros ou registros de naturezas distintas (inscrições, ações executadas, metas físicas, metas financeiras, resultados apresentados, etc.), não pode ser confundido com produzir informações. Estas requerem procedimentos de coleta, como a definição conceitual das variáveis, regras de consistência, com padronização e sistematização dos dados. Além disso, recuperar informações exige procedimentos ágeis para que se possa acompanhar a execução de programas e identificar os problemas em seu processo de implementação. Portanto, dispor de indicadores de acompanhamento e, se possível, organizados em sistemas estruturados por variáveis estratégicas à avaliação de processo, é dispor de instrumental que permita introduzir ajustes para adequar metas originalmente propostas, rever procedimentos de execução, mobilizar novos recursos ou redirecionar recursos alocados, dentre outros mecanismos que venham a contribuir para ampliar a eficácia e a eficiência de políticas ou programas públicos.

A metodologia de acompanhamento e avaliação proposta pelo BID e o registro informatizado de inscritos e empresas do Jovem Cidadão são subsídios à revisão de conceitos e de procedimentos que podem conduzir à transformação de dados em informações. E se, além disso, o propósito for o de tornar a avaliação atividade constitutiva do processo das políticas públicas, é preciso avançar nas discussões para a estruturação de sistemas de informações para o acompanhamento e a avaliação das políticas públicas.²⁴

O segundo ponto é menos um questionamento e mais um reforço do fato de que a atividade de avaliação se realiza pela utilização de diferentes métodos da pesquisa social. De acordo com Figueiredo e Figueiredo (1986:109), os estudos de avaliação podem incluir "a pesquisa de populações por amostragem, a análise de dados agregados (também chamada de contabilidade social), a análise de conteúdo e a observação participante." Na avaliação de um programa ou política específica, contudo, não são todos os métodos de pesquisa social que devem ser utilizados; ao contrário, a sua escolha é feita por adequação aos objetivos da política ou programa em análise, aos objetivos da avaliação e, algumas vezes, à especificidade do público beneficiário. Diante dos propósitos da avaliação e do programa, os estudos do Programa Jovem Cidadão incluem a análise dos dados do programa, a pesquisa censitária de grupos de estagiários, entrevistas estruturadas e grupos de discussão, por se considerar a necessidade de informações qualitativas aprofundadas e pelo fato de o público jovem ser mais refratário a entrevistas individuais. E a avaliação do Telecurso 2000 incluiu a percepção do pesquisador dos ambientes regionais diferenciados decorrentes do modelo de sua implantação.

Por fim, a última questão reconhece que a posição ocupada pela avaliação situa-se na fronteira entre a produção de conhecimentos e a sua aplicação prática para o aperfeiçoamento do sistema das políticas públicas, notadamente no campo das sociais.²⁵ Os estudos realizados permitem identificar distinções, por vezes conflituosas, de conceitos fundamentais à atividade de avaliação, com repercussões operacionais, e sugerem o aprofundamento das noções de eficiência, eficácia e efetividade na avaliação de políticas públicas e, de forma correlata, de resultados, efeitos, mudanças e impactos. Em um outro plano, essa questão também diz respeito às prioridades das modalidades de avaliação a serem desenvolvidas no interesse das próprias prioridades da ação pública. Para tanto, é oportuno o questionamento de Vilmar Faria (2002:76) ao colocar que "mais importante talvez do que a avaliação de impacto seja a avaliação de processo de uma política à medida que ela vai sendo desenvolvida".

NOTAS

Este artigo é o resultado do trabalho coletivo de pesquisadores, analistas e funcionários da Fundação Seade e, em especial, dos técnicos da Divisão de Estudos Especiais. Agradecemos em particular a Lilia Belluzzo e Stella Christina Schrijnemaekers que leram versões preliminares.

• BANCO Interamericano de Desarrollo. Una herramienta de gestion para mejorar el desempeño de los projectos S.l. 1997.
• CARVALHO, S.N. de; COSTA, V. da. Problemas da análise de políticas públicas: formulação, implementação e avaliação. Trabalho apresentado na X REUNIÃO ANUAL DA ANPOCS. Campos do Jordão/SP, 1986.
• SÃO PAULO (Estado). Decreto n║ 44.860, de 27 de abril de 2000. Instituição do Programa Jovem Cidadão: Meu Primeiro Trabalho.
• FARIA, V. Políticas públicas e governabilidade: desafios teóricos e práticos. In: FAUSTO, A. (Org.). Desenvolvimento e integração na América Latina e no Caribe: a contribuição das Ciências Sociais. Brasília: IPRI/Funag/Flacso/Ministério da Cultura, 2002. p.65-81.
• FIGUEIREDO, M.F.; FIGUEIREDO, A.C. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise & Conjuntura, Belo Horizonte, v.1, n.3, p.107-127, set./dez. 1986.
• FUNDAÇÃO SEADE/CDHU. Programa de Atuação em Cortiços: Levantamento cadastral e pesquisa socioeconômica. Município de São Paulo, maio 2003.
• _______ . Definição de metodologia de acompanhamento e avaliação do Programa de Atuação em Cortiços û PAC, mar. 2002.
• _______ . Análise da regularidade de ocupação das unidades habitacionais comercializadas na Capital e Grande São Paulo. Relatório final Contrato Seade/CDHU, fev. 2000.
• _______ . Análise da regularidade de ocupação das unidades habitacionais comercializadas na Capital e Grande São Paulo. Relatório de andamento Contrato Seade/CDHU, dez. 1999.
• FUNDAÇÃO SEADE/FIESP. Avaliação Externa do Programa Telecurso 2000. Relatório Final Contrato Seade/Fiesp, jan. 2002.
• _______ . Avaliação Externa do Programa Telecurso 2000. Relatório Final Contrato Seade/Federação das Indústrias do Estado de São Paulo, jan. 2001.
• FUNDAÇÃO SEADE/SERT. Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório de análise II: Pesquisa qualitativa com escolas que aderiram ao PJC. Contrato Seade/Sert, dez. 2002a.
• _______ . Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório IV: Pesquisa quantitativa com estagiários de setembro de 2002. Contrato Seade/Sert, dez. 2002b.
• _______ . Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório de análise III: Pesquisa qualitativa com monitores do PJC. Contrato Seade/Sert, nov. 2002.
• _______ . Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório V: Pesquisa quantitativa com estagiários de abril e agosto de 2001. Contrato Seade/Sert, set. 2002.
• _______ . Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório VII: Pesquisa qualitativa com ex-estagiários. Contrato Seade/Sert, jun. 2002.
• _______ . Avaliação do Programa Jovem Cidadão: Meu Primeiro Trabalho. Relatório II: Perfil e avaliação das empresas. Contrato Seade/Sert, mar. 2001.
• INSTITUTO POLIS/OIT. Organização Internacional do Trabalho. Construção de indicadores de avaliação de programas sociais: sistematização a partir dos programas sociais desenvolvidos pelas prefeituras de Santo André e São Paulo e pelo Governo do Estado de São Paulo. Relatório final jun. 2003.
• LAMOUNIER, B. Análise de políticas públicas: quadro teórico-metodológico de referência. s.d. Mimeografado.
• MINISTÉRIO DO TRABALHO E EMPREGO. Plano Nacional de Qualificação do Trabalhador: guia de avaliação. Brasília, 2000. (Série Referenciais de Planejamento).

1

. Essas interpretações foram, em especial, desenvolvidas pelas Ciências da Administração que, nas primeiras fases da produção das políticas públicas, assumiram posição de preponderância por sua natureza agregadora dos vários conhecimentos necessários à consecução de atividades burocrático-organizacionais. Ver Carvalho e Costa (1986).

2

. Ao seu lado, o governo do Estado de São Paulo promove iniciativas de outra natureza, como a urbanização de favelas, recuperação de áreas de mananciais e, no período mais recente, de recuperação de cortiços em grandes centros urbanos. Contudo, a escala dessas intervenções está muito distante da oferta de novas unidades habitacionais que continua sendo predominante.

3

. O atendimento do critério data de entrega ficou parcialmente prejudicado em face de o predomínio da produção de moradias no município de São Paulo ter ocorrido somente em período mais recente.

4

. Ver Decreto estadual nº 44.860, 27 abr. 2000.

5

. Cabe observar que, em seu desenho original, a proposta de avaliação elaborada incluía também o esforço de investigação dos impactos diretos e indiretos sobre a população beneficiária. Como se verá, a avaliação restringiu-se aos efeitos produzidos sobre os beneficiários do programa.

6

. O gerenciamento do programa é feito pela Companhia de Processamento de Dados do Estado de São Paulo – Prodesp e os dados são organizados em duas bases: de alunos inscritos e de vagas ofertadas.

7

. Ver

<

www.seade.gov.br>.

8

. Ao longo desse período, vários aperfeiçoamentos foram introduzidos nos boletins como resultado do diálogo com os gestores do programa e de ajustes na base gerencial dos dados de inscritos e empresas.

9

. No momento de elaboração deste artigo, nova pesquisa estava em andamento, considerando-se os estudantes inscritos no programa no mesmo período e encaminhados para uma vaga de estágio, distinguidos em alunos admitidos em estágio e que não foram aceitos para estágio.

10

. O procedimento de coleta é o autopreenchimento, para o que tem sido fundamental a parceria com a Coordenadoria de Ensino da Grande São Paulo, da Secretaria Estadual da Educação, que se responsabiliza pela distribuição e pelo retorno dos questionários.

11

. O Plano Nacional de Qualificação do Trabalhador foi, em sua origem em 1995, estruturado para ser implementado por meio de Planos Estaduais de Qualificação (PEQs), executados pelas Secretarias Estaduais do Trabalho e parcerias regionais ou nacionais firmadas para projetos ou estudos específicos. À medida que era implantado, outras parcerias foram sendo estabelecidas com heterogeneidade de ações, como a firmada com a Fiesp para oferecer ensino supletivo de níveis fundamental e médio para jovens e adultos.

12

. O processo de avaliação estruturado pelo MTE/SPPE compreendeu, até 1999, somente os Planos Estaduais de Qualificação. A partir de 2000, os programas das parcerias foram incorporados a esse processo.

13

.

Eficiência é "entendida como grau de aproximação entre o previsto e o realizado, em matéria de treinandos, carga horária, abrangência espacial e setorial, aplicação de recursos, etc." (MTE, 2000:8).

14

.

Eficácia "se expressa pelo benefício das ações de educação profissional para os treinandos, traduzido em obtenção ou manutenção de trabalho, geração ou elevação de renda, ganhos de produtividade e qualidade, integração ou reintegração social". E

efetividade social diz respeito aos "impactos do Planfor como política pública, do ponto de vista mais amplo das populações, comunidades ou setores focalizados" (MTE, 2000:8).

15

. Para a avaliação de 2001, o Guia de Avaliação do Planfor redefiniu algumas dimensões de avaliação sem, contudo, os seus objetivos e parâmetros básicos.

16

. Em 2000, a pesquisa foi feita nos municípios da região metropolitana, exceto a capital, e do interior do Estado de São Paulo e do Estado do Rio de Janeiro, e nas cidades de Manaus/AM e Campina Grande/RN e, em 2001, nas cidades de São Paulo e Sorocaba e em cidades das Regiões Norte e Nordeste.

17

. O esforço do MTE/SPPE de montagem do Sistema de Informações Gerenciais sobre Ações de Emprego (Sigae), apesar de bastante abrangente em relação aos programas executados, não incluía o Telecurso 2000 no período em que foi feita a avaliação.

18

. Ver Banco Interamericano de Desarrollo, 1997.

19

. Não é nosso propósito discutir a metodologia do marco lógico, que contém outras vantagens e mesmo desvantagens, e nos ativemos exclusivamente à identificação de alguns aspectos e à forma como se tem dado a participação da Fundação Seade.

20

. Ver Fundação Seade/CDHU, maio de 2003.

21

. Com base na metodologia do marco lógico, a Fundação Seade desenvolveu também projeto que detalha a metodologia de avaliação para o Projeto Setorial Pari, no município de São Paulo, correspondente à primeira fase de implantação do programa.

22

. A metodologia para a criação do IVJ e os resultados obtidos estão disponíveis na página da Fundação Seade na Internet <

www.seade.gov.br>.

23

. Essa pesquisa vale-se da experiência acumulada pela Fundação Seade com a Pesquisa de Condições de Vida (PCV), realizada desde 1990, orientada para a investigação das condições de pobreza da população urbana.

24

. Complementar, com perspectivas de integração, à montagem desses sistemas somam-se os cadastros únicos de beneficiários potenciais implantado pelo governo federal em 2001, articulado aos programas sociais de transferência de renda e em elaboração pelo governo do Estado de São Paulo, com o Cadastro Pró-social.

25

. Ou, como propôs Vilmar Faria (2002), de reestruturação do sistema das políticas sociais às condições socioestruturais do período mais recente.

Datas de Publicação

• Publicação nesta coleção
  16 Set 2004
• Data do Fascículo
  Dez 2003