Acessibilidade / Reportar erro

Avaliação de políticas públicas de segurança alimentar e combate à fome no período de 1995-2002: 1 - Abordagem metodológica

Evaluation of public policies for food security and hunger control in Brazil, 1995-2002: 1 - Methodological framework

Resumos

Descrevem-se a adaptação e aplicação de uma metodologia multidimensional baseada na tríade estrutura-processo-resultado ao contexto da avaliação de programas de segurança alimentar e combate à fome. Segundo a proposta, o estudo da estrutura analisa os instrumentos físicos e discursivos dos programas; a dimensão processo, as atividades e intervenções desenvolvidas e a dimensão resultado, além da cobertura, focalização e controle social, poderia contemplar os efeitos das intervenções sobre a segurança alimentar e nutrição dos beneficiários. A metodologia foi empregada para avaliar programas implementados no Brasil no período de 1995-2002. Além disso, foi realizado um estudo de caso em 45 municípios da Bahia, envolvendo pesquisa documental, entrevistas com informantes-chave e pesquisa domiciliar em 1.750 famílias de baixa renda no interior e 760 famílias na capital. Espera-se que os resultados contribuam para a discussão sobre os fatores facilitadores e os obstáculos que são enfrentados no nível local para a implementação de programas dessa natureza, tanto quanto para o desenvolvimento metodológico no campo da avaliação de políticas de alimentação, nutrição e combate à fome.

Segurança Alimentar e Nutricional; Avaliação de Programas e Projetos de Saúde; Programas de Nutrição


The authors describe the adaptation and application of a multidimensional methodology based on structure-process-outcome for evaluating food security and hunger control programs. According to the proposal, study of the structure dimension analyzes the programs' material and discursive instruments; the process dimension focuses on the activities and interventions; and the outcome dimension includes coverage, targeting, and social control, and also potentially the effects of the interventions on the beneficiaries' food security and nutrition. The methodology was used to evaluate programs implemented in Brazil from 1995 to 2002. A case study was also done including 45 municipalities in the State of Bahia, involving documental research, interviews with key informants, and a household survey including 1,750 low-income families in the rural area and 760 in the capital city. The results are expected to contribute to the discussion on facilitating factors and obstacles at the local level for the implementation of such programs, and to methodological development in the field of food security, nutrition, and hunger control policies.

Food Security; Program Evaluation; Nutrition Programs


ARTIGO ARTICLE

Avaliação de políticas públicas de segurança alimentar e combate à fome no período de 1995-2002. 1 – Abordagem metodológica

Evaluation of public policies for food security and hunger control in Brazil, 1995-2002. 1 – Methodological framework

Sandra Maria Chaves dos SantosI; Leonor Maria Pacheco SantosII

IEscola de Nutrição, Universidade Federal da Bahia, Salvador, Brasil

IIDepartamento de Nutrição, Universidade de Brasília, Brasília, Brasil

Correspondência Correspondência: L. M. P. Santos Departamento de Nutrição, Universidade de Brasília. Campus Universitário Darcy Ribeiro, Brasília, DF 70910-900, Brasil leopac@unb.br

RESUMO

Descrevem-se a adaptação e aplicação de uma metodologia multidimensional baseada na tríade estrutura-processo-resultado ao contexto da avaliação de programas de segurança alimentar e combate à fome. Segundo a proposta, o estudo da estrutura analisa os instrumentos físicos e discursivos dos programas; a dimensão processo, as atividades e intervenções desenvolvidas e a dimensão resultado, além da cobertura, focalização e controle social, poderia contemplar os efeitos das intervenções sobre a segurança alimentar e nutrição dos beneficiários. A metodologia foi empregada para avaliar programas implementados no Brasil no período de 1995-2002. Além disso, foi realizado um estudo de caso em 45 municípios da Bahia, envolvendo pesquisa documental, entrevistas com informantes-chave e pesquisa domiciliar em 1.750 famílias de baixa renda no interior e 760 famílias na capital. Espera-se que os resultados contribuam para a discussão sobre os fatores facilitadores e os obstáculos que são enfrentados no nível local para a implementação de programas dessa natureza, tanto quanto para o desenvolvimento metodológico no campo da avaliação de políticas de alimentação, nutrição e combate à fome.

Segurança Alimentar e Nutricional; Avaliação de Programas e Projetos de Saúde; Programas de Nutrição

ABSTRACT

The authors describe the adaptation and application of a multidimensional methodology based on structure-process-outcome for evaluating food security and hunger control programs. According to the proposal, study of the structure dimension analyzes the programs' material and discursive instruments; the process dimension focuses on the activities and interventions; and the outcome dimension includes coverage, targeting, and social control, and also potentially the effects of the interventions on the beneficiaries' food security and nutrition. The methodology was used to evaluate programs implemented in Brazil from 1995 to 2002. A case study was also done including 45 municipalities in the State of Bahia, involving documental research, interviews with key informants, and a household survey including 1,750 low-income families in the rural area and 760 in the capital city. The results are expected to contribute to the discussion on facilitating factors and obstacles at the local level for the implementation of such programs, and to methodological development in the field of food security, nutrition, and hunger control policies.

Food Security; Program Evaluation; Nutrition Programs

Introdução

A segurança alimentar e nutricional ganhou relevo internacional nas últimas décadas, tendo sido alvo de debates e recomendações em reuniões de cúpula. Por meio da declaração das Metas de Desenvolvimento do Milênio, os países membros da ONU (Organização das Nações Unidas), inclusive o Brasil, comprometeram-se a erradicar a pobreza extrema e a fome, universalizar a educação básica, reduzir a mortalidade infantil e materna, entre outras, até o ano de 2015 1.

Assim sendo, a formulação, implementação e avaliação de políticas públicas capazes de promover a segurança alimentar e nutricional tornaram-se objetivo estratégico. Neste cenário, enfatiza-se a necessidade de executar políticas sociais que maximizem a eficiência, a participação da comunidade e a focalização. Em função disso, é imperativo aprimorar o monitoramento e a avaliação de programas, contemplando a avaliação dos processos, dos impactos e da eficiência das ações 2,3.

Portanto, a avaliação de políticas e programas tornou-se um compromisso tanto quanto um desafio. A experiência sobre a avaliação de programas no Brasil não é extensa e ainda menos significativa e sistemática em relação aos programas de segurança alimentar e combate à fome. Alguns aspectos do II Programa Nacional de Alimentação e Nutrição (II PRONAN), elaborado pelo Instituto Nacional de Alimentação e Nutrição (INAN) nos anos 70, foram sujeitos à avaliação, entretanto a maioria dessas tentativas não se aprofundou na análise da dimensão e das implicações do PRONAN como uma política pública 4. Alguns programas de suplementação alimentar e de subsídios a alimentos foram avaliados, assim como aspectos da cobertura dos programas, a partir de dados da Pesquisa Nacional de Saúde e Nutrição (PNSN) de 1989 5,6, demonstrando que as famílias de mais baixa renda não eram as que apresentavam maior cobertura dos benefícios 6.

Estratégias de intervenção para promover segurança alimentar, particularmente aquelas envolvendo a doação de alimentos, são sujeitas a questionamentos pela evidência de que oligarquias tradicionais no poder podem se apropriar desses programas a fim de manter o status quo 7,8. Isso é particularmente verdadeiro nas áreas onde os direitos humanos e as necessidades básicas estão longe de ser respeitados, e os cidadãos não estão cientes de seus direitos 9. Como exemplo, uma análise das tendências nos gastos federais com educação no Brasil (que incluiu o programa de alimentação escolar) revelou que a variável "Estado de onde o ministro veio" era a que poderia melhor explicar o padrão de alocação de recursos durante um período de 15 anos 10.

Conseqüentemente, o esforço de desenvolver projetos empíricos de avaliação de políticas de segurança alimentar e combate à fome é plenamente justificável. Este estudo adaptou a metodologia multidimensional baseada na tríade estrutura-processo-resultado para avaliar cinco programas na área de segurança alimentar e combate à fome, que integravam a agenda do Programa Comunidade Solidária do Governo Federal entre 1995-2002, a saber: Programa Nacional de Alimentação Escolar (PNAE) 11, Programa de Alimentação do Trabalhador (PAT) 12, Programa Nacional de Controle das Deficiências da Vitamina A (PNVITA) 13, Programa de Distribuição de Cestas de Alimentos (PRODEA) e Programa de Atenção ao Desnutrido e à Gestante em Risco Nutricional "Leite é Saúde" 14. Compõe também esta pesquisa um estudo de caso no Estado da Bahia, e, assim sendo, foi também avaliado o Programa Cesta do Povo 15, estratégia de abastecimento popular do Governo Estadual. As principais características dos mesmos são apresentadas na Tabela 1.

Modelo teórico-metodológico

Para desenvolver o estudo, fez-se necessário desenvolver um modelo teórico-metodológico para a avaliação, tendo como pano de fundo uma concepção de segurança alimentar e nutricional. A partir da definição de segurança alimentar nutricional consagrada em Roma, em 1996, a II Conferência Nacional de Segurança Alimentar e Nutricional, em 2004, estabeleceu que a segurança alimentar nutricional é a realização do direito de todos ao acesso regular e permanente a alimentos de qualidade, em quantidade suficiente, sem comprometer o acesso a outras necessidades essenciais, tendo como base práticas alimentares promotoras da saúde, que respeitem a diversidade cultural e que sejam social, econômica e ambientalmente sustentáveis. Para tanto, são necessárias intervenções voltadas para as dimensões da disponibilidade de alimentos, acesso e consumo e utilização biológica (incluindo a inocuidade do alimento). A metodologia foi desenvolvida para auxiliar no reconhecimento do quanto as ações implementadas contribuíam para a promoção da segurança alimentar nutricional.

A partir desse entendimento, o primeiro passo referiu-se à definição de princípios orientadores do processo da avaliação, numa tentativa de minimizar problemas freqüentemente encontrados na literatura pertinente, tais como: informação não confiável, pouco esforço na avaliação de resultados intermediários, uso isolado ou impróprio de indicadores de impacto (centrados, quase sempre, nos resultados antropométricos), falta de informação sobre as restrições econômicas e sociais a que estão sujeitos os beneficiários e uma tendência a observar e analisar apenas alguns aspectos particulares dos programas 5.

Um dos obstáculos foi superar indefinições na terminologia mais freqüentemente utilizada no campo da avaliação. Eficácia, efetividade, eficiência e impacto são palavras empregadas no contexto da avaliação de programas, por vezes de modo equivalente, sem que haja um consenso sobre a sua definição precisa 16,17. Geralmente, na literatura sobre gestão pública, a eficácia é empregada para descrever o alcance potencial das metas em situações controladas ou quase ideais. Já os termos efetividade ou impacto têm sido empregados para descrever o efeito obtido pela intervenção em uma situação real 17. Apesar da evidência não muito convincente, uma diferença sutil foi estabelecida entre os conceitos de efetividade e impacto. O primeiro é usado mais freqüentemente para expressar o efeito de alguma ação num determinado grupo populacional, enquanto que o segundo seria mais apropriado para evidenciar os efeitos de um sistema ou política mais ampla na população como um todo. Em uma escala de tempo, no curto prazo, seria possível medir a efetividade e, no longo prazo, o impacto. Entre todos os conceitos referidos, o de eficiência é o único que experimenta maior concordância entre diferentes autores, sendo definida como a relação entre os custos e os resultados alcançados, ou entre os insumos e os produtos obtidos 17,18.

Um outro paradigma para a avaliação é baseado na abordagem tridimensional de estrutura-processo-resultado, descrito por diversos autores 17,18,19,20,21. Os conceitos de efetividade e eficácia são contemplados como tendências convergentes, intimamente imbricadas nessas três dimensões propostas. Como estrutura, esta abordagem considera as características relativamente estáveis do provedor de serviços, tais como instrumentos, recursos, estruturas físicas e organizacionais. Já o processo corresponde a todas as atividades e procedimentos realizados pelos profissionais envolvidos no cuidado dos beneficiários, e o resultado é representado por mudanças verificadas no estado de saúde dos beneficiários, que possam ser imputadas à intervenção realizada. A última dimensão abrange também mudanças no comportamento e no conhecimento sobre saúde, assim como a satisfação do beneficiário 21. Esta proposta, originária da área de avaliação da qualidade do cuidado médico, estabeleceu determinados parâmetros básicos ao monitoramento e à avaliação 18,21 e vem sendo incorporada em outros campos e em vários países, a exemplo da avaliação de serviços de emergência na Inglaterra 22, a de programas de promoção da saúde na Suécia 23, de serviços de pré-natal nos Estados Unidos 24 e, no Brasil, do Programa Materno-infantil 19 e do Programa de Saúde do Adolescente 25.

Abordagem multidimensional adaptada às políticas públicas de segurança alimentar e combate à fome

Tendo em vista a natureza dos programas em estudo e os objetivos da avaliação, tornou-se imperativo reinterpretar os conceitos e os conteúdos das dimensões do modelo original. Na continuidade, faz-se a apresentação da reconstrução teórico-metodológica que orientou as avaliações dos seis programas que serão relatadas nesta série de publicações 26.

Nesta proposta, o estudo da estrutura contempla a identificação dos objetivos dos programas, os benefícios a serem distribuídos, a forma de distribuição e mecanismos propostos para seleção da clientela. Incorporou-se, desta forma, na análise da estrutura, o estudo do objetivo ou missão da política, proposto por Handler et al. 27. Além desses aspectos, a estrutura também implica no reconhecimento das instalações, recursos, instrumentos e das características pressupostas das estruturas organizacionais burocráticas e técnicas, nos níveis federal, estadual e municipal, identificadas como responsáveis pela execução dos programas de segurança alimentar e combate à fome. Tendo em vista que, no momento da pesquisa de campo, estava em curso a política de descentralização da execução da maioria dos programas em estudo, contemplando novas formas de gestão e oportunidades para o controle social, os aspectos avaliados consideraram também como os programas se estruturavam nesse sentido.

Na perspectiva adotada neste estudo, a estrutura foi considerada como o conjunto de ferramentas físicas e discursivas postas ao alcance dos objetivos dos programas. A avaliação da estrutura foi executada, portanto, considerando que essa fornece os meios potenciais para favorecer (ou prejudicar) o alcance dos objetivos do programa nas outras dimensões.

Algumas questões orientaram o estudo, as quais só poderiam ser completamente respondidas a partir da avaliação das outras dimensões, a saber: a estrutura do programa foi potencialmente capaz de viabilizar os objetivos declarados? A estrutura proposta concretizou-se em processos na etapa da implementação? Os resultados observados corresponderam ao anunciado na estrutura discursiva do programa? O que na estrutura favoreceu ou obstou o alcance dos resultados anunciados?

A dimensão processo abrangeu a análise do conjunto das atividades e intervenções desenvolvidas como a seleção da clientela, a distribuição dos benefícios e o relacionamento das agências responsáveis, na esfera federal ou estadual, com as agências locais e com os beneficiários. Essa dimensão buscou avaliar o que na análise da estrutura se mostrou como potencial, o que na descrição do programa era retórica e o que, neste nível, deveria ser traduzido em ação. Para ambas as dimensões estrutura e processo, foi importante combinar a análise da adequação do projeto organizacional e dos procedimentos usados para lidar com os problemas propostos. Nesta dimensão, as questões orientadoras partiram da estrutura para avaliar o processo e apontam para os resultados: as formas de operação dos programas corresponderam ao proposto na estrutura? O que pode obstar ou favorecer a operação dos programas na forma como foram estruturados? As formas de operação são potencialmente adequadas para gerar os resultados esperados?

A dimensão resultado, por outro lado, compreendeu a avaliação da cobertura, focalização adequada, convergência dos programas, controle social etc., assim como outros resultados esperados, conforme anunciado na estrutura dos programas, por exemplo, quanto à maior autonomia dos municípios na gestão dos programas em função da descentralização. A avaliação dos resultados principais foi baseada nos objetivos gerais indicados na formulação do programa e vinculada, necessariamente, à avaliação da estrutura e do processo, como fatores que interferem nos resultados.

Na dimensão do resultado, vale destacar a importância da avaliação da focalização dos programas, particularmente tendo em vista que os programas estudados objetivam discriminar positivamente grupos sociais e/ou indivíduos sujeitos à insegurança alimentar, como crianças de 6 a 24 meses desnutridas, escolares, trabalhadores de baixa renda etc. A focalização refere-se à habilidade das intervenções em concentrar os recursos disponíveis na população de beneficiários potenciais, identificada claramente, com a finalidade de resolver um determinado problema ou de suprir uma necessidade percebida, a fim de maximizar o impacto e, conseqüentemente, o benefício potencial per capita 28. Há diferentes tipos de focalização como a baseada na identificação dos indivíduos ou das famílias em risco, ou das regiões geográficas prioritárias.

Como assinalado nas outras dimensões, a dimensão de resultado dialoga com todas as demais, contemplando as seguintes questões: os resultados alcançados foram os propostos na estrutura? Em caso positivo ou negativo, os fatores explicativos encontram-se na estrutura do programa ou no processo? Esses resultados foram compatíveis com os previstos na estrutura dos programas?

Importante destacar que, na metodologia proposta, cada uma das três dimensões discutidas constitui um continuum no processo da avaliação. Isso porque a estrutura somente cumpre suas finalidades se os processos forem adequados e inversamente, os processos não podem, sozinhos, ultrapassar limitações estruturais. Além disso, todas as três dimensões somente atingem seus objetivos finais com o alcance dos resultados.

Aplicação da metodologia

Pesquisa documental retrospectiva

A pesquisa documental retrospectiva contemplou o levantamento e a análise de todos os registros originais e relatórios disponíveis sobre os programas investigados, desde sua criação até o ano 2002. Os dados requeridos para descrever os programas, bem como para avaliar determinados aspectos das estruturas e dos processos, foram coletados nas instituições responsáveis nos três níveis de governo: municipal, estadual e federal.

Construção das matrizes

Após uma primeira etapa de pesquisa documental, foram elaboradas matrizes para cada um dos programas, visando padronizar tanto o levantamento das informações como as análises posteriores de todos os programas, além de assegurar a objetividade durante a avaliação. Como exemplo desse exercício, a Tabela 2 apresenta a Matriz do Programa de Atenção ao Desnutrido.

As matrizes permitiram identificar o que deveria ser contemplado em cada programa na dimensão da estrutura, do processo e dos resultados. A partir desse instrumento, fez-se a identificação do tipo e fonte de informações que seriam necessárias, dos atores individuais e institucionais que seriam os potenciais informantes-chave, assim como as melhores estratégias a serem adotadas no levantamento de diferentes tipos de informação. Após, foram formuladas questões para os roteiros das entrevistas e para os questionários.

Tendo em vista que os programas estudados contavam com elementos de proximidade, mas também com especificidades importantes, foram estabelecidas as categorias de análise que deveriam ser observadas em relação a todos os programas. Disso, resultou um conjunto de 6 categorias: (1) tipologia dos objetivos; (2) processo de gestão, monitoramento e avaliação (3) seleção dos beneficiários (municípios-alvo e população-alvo); (4) desenho e estratégias adotadas pelo programa; (5) cobertura do programa; (6) recursos humanos, materiais, administrativos e técnico-organizativos. Para cada uma das categorias, definiu-se qual seria o conteúdo básico de interesse para a investigação, tendo em vista a avaliação multidimensional da estrutura, do processo e do resultado.

A elaboração desse conjunto de matrizes foi instrumental durante todo o estudo, permitindo maior consistência interna e coerência na avaliação de programas com características diversas. Um procedimento similar foi recomendado como método rápido de avaliação de programas, proposto pela Organização Mundial da Saúde (OMS) 29.

Caracterização da área do estudo de caso

A Bahia é o maior dos Estados do Nordeste, em termos de área e população, composto por 415 municípios (em 1996) e com uma população de pouco mais de 13 milhões de pessoas, sendo 8,7 milhões de habitantes em zonas urbanas e 4,3 milhões em zonas rurais, de acordo com o Censo Demográfico 2000 30.

Dados de base populacional sobre a situação de nutrição no estado são escassos: uma pesquisa realizada no semi-árido da Bahia encontrou uma prevalência de 22,9% de déficit altura/idade (nanismo) e 19,1% e 3,6%, respectivamente, para o peso/idade e o peso/altura abaixo de -2,0 DP (emaciação) 31. As prevalências de retardo de crescimento encontradas nessa população foram significativamente mais elevadas do que as registradas para a Região Nordeste pela PNSN realizada no mesmo ano. Naquele momento, reduções importantes na desnutrição e mortalidade infantil foram verificadas para o país como um todo, porém as crianças da região semi-árida da Bahia provavelmente não alcançaram os mesmos benefícios que o restante das crianças brasileiras 31. Já a prevalência da desnutrição entre pré-escolares em Salvador, estimada por meio de estudo de base populacional em 1996, foi de 4,3% de déficit altura/idade (nanismo) e 4,4% para o peso/idade abaixo do mesmo ponto de corte; quadro diverso foi registrado, porém, para a anemia, que atingia 46,4% das crianças 32.

Estudo de caso no Estado da Bahia

No Estado da Bahia, o PCS contemplava 96 municípios que apresentaram os piores índices para a sobrevivência da criança, calculados pelo Fundo das Nações Unidas para a Infância (Unicef) e Instituto Brasileiro de Geografia e Estatística (IBGE), a partir de dados sócio-econômicos 33. Dentre esses, 44 foram selecionados para a pesquisa de campo deste projeto, distribuídos em diferentes regiões do Estado. Além desses, o estudo de caso contemplou também a capital, Salvador, totalizando, portanto, 45 municípios (Adustina, Angical, Aracatu, Baianópolis, Boa Nova, Botuporã, Boninal, Brotas de Macaúbas, Cabaceiras do Paraguaçu, Campo Alegre de Lourdes, Candeal, Casa Nova, Castro Alves, Canópolis, Cordeiros, Coronel João Sá, Cravolândia, Coribe, Cristópolis, Dom Basílio, Heliópolis, Ibipitanga, Ipecaetá, Ipupiara, Iraquara, Itatim, Jeremoabo, Lamarão, Macaúbas, Macururé, Malhada de Pedras, Nova Soure, Novo Triunfo, Oliveira dos Breijinhos, Paratinga, Pedro Alexandre, Pilão Arcado, Rafael Jambeiro, Santa Brígida, Santa Rita de Cássia, Santa Terezinha, Sátiro Dias, Sítio do Quinto, Tabocas do Brejo Velho). O estudo descritivo foi conduzido com o objetivo de coletar dados sobre a cobertura e focalização desses programas nas populações de risco mais elevado e também para verificar, sob diferentes aspectos, a relação dos beneficiários com os programas.

Para a definição do tamanho da amostra de famílias a ser estudada em cada município, empregou-se um procedimento de amostragem derivado do controle de qualidade na indústria, denominado garantia de qualidade de lotes (LQAS – Lot Quality Assurance Sampling), já aplicado com sucesso em alguns países para a avaliação de programas de saúde 34. Essa metodologia simplificada se baseia em uma proporção de 20:4, ou seja, se de 20 amostras estudadas 4 forem inadequadas, o "lote" deve ser considerado insatisfatório. Com o procedimento acima indicado, de acordo com curvas de probabilidade apresentadas pelo método, o risco de considerar aceitável um "lote" inadequado (risco ao consumidor) é de 4%, enquanto que a possibilidade de rejeitar um "lote" adequado é 17% (risco ao fabricante). Esses valores garantem que a cobertura e a focalização do programa podem ser avaliadas dessa maneira com uma confiança razoável.

A seleção da amostra ocorreu em múltiplos estágios. Nos municípios do interior do Estado, foram selecionadas as comunidades mais pobres, na zona urbana e rural, dos 44 municípios (amostragem intencional). Esse procedimento ocorreu por triangulação de informações obtidas com informantes-chave, tais como, prefeito, primeira-dama ou outro responsável pela ação social no município, representante da Igreja e Pastoral etc., os quais eram solicitados a indicar os bairros mais pobres no seu ponto de vista. Quando ocorria a concordância de, pelo menos, três indicações, as áreas (uma urbana e uma rural) eram selecionadas.

Para o estudo em Salvador, tendo em vista o mesmo critério de investigar o acesso aos programas entre as famílias mais pobres, partiu-se de uma classificação elaborada pela Prefeitura Municipal de 144 áreas prioritárias, pela situação de pobreza, para a implantação do Programa de Agentes Comunitários de Saúde (PACS). Essas áreas foram subdivididas em 465 setores ou micro-áreas pela prefeitura. Com o auxílio de métodos estatísticos, calculou-se que uma amostra de 38 setores seria representativa, e a seleção foi feita por sorteio no Epi Info (Centers for Disease Control and Prevention, Atlanta, Estados Unidos). Como indicado acima, em cada setor, foram entrevistadas 20 famílias, totalizando 760 domicílios.

Tanto para a capital do Estado, como para os municípios do interior, na seleção final dos domicílios, foram incluídos aqueles com crianças de até 14 anos de idade e houve substituição da unidade amostral, quando necessário, uma vez pela casa vizinha à esquerda e depois à direita e assim, sucessivamente, até completar o número de unidades necessárias.

O questionário aplicado nos domicílios, previamente testado, incluía perguntas abertas e fechadas sobre quais programas alcançavam a família em particular, duração e regularidade dos benefícios, compreensão e avaliação dos beneficiários sobre os programas, entre outras questões compatíveis com as características dos programas. Importou também investigar se a exigência de constituição de conselhos e ou comissões locais para o controle social de alguns dos programas era de conhecimento dos beneficiários e qual a função social dos mesmos.

A classificação das famílias segundo a linha de pobreza considerou a renda familiar mensal per capita, a partir da soma de todos os rendimentos informados de seus membros no mês de referência (o mês anterior à realização do trabalho de campo), dividida pelo número de membros. Adotaram-se, como pontos de corte para definição da situação de pobreza, os valores em dólares sugeridos por Lopes 35. Para a Região Nordeste do país, os valores foram os seguintes, considerando, respectivamente, a linha de indigência e a linha de pobreza: zona urbana, U$16,40 e U$35,40; zona rural, U$12,90 e U$19,00. A renda mensal familiar per capita foi convertida em dólares segundo a cotação na data da coleta dos dados, e as famílias foram então classificadas na situação de indigentes, pobres e não pobres.

Para avaliação da focalização e cobertura do Programa Leite é Saúde (Programa de Atenção ao Desnutrido), foram pesadas, por pesquisadores devidamente treinados, todas as gestantes e crianças entre seis e 59 meses identificadas nos domicílios selecionados. O programa previa o atendimento de crianças até 23 meses, mas a decisão de pesar crianças com mais idade levou em conta informações exploratórias que anunciavam que os gestores municipais e os profissionais de saúde não respeitavam a faixa etária restrita indicada para atendimento pelo programa. Foram utilizadas balanças eletrônicas da marca SECA, cedidas pelo Unicef. As crianças foram pesadas com vestimenta mínima. As balanças eram posicionadas em uma superfície plana e firme, e a pesagem seguiu as recomendações da OMS 36.

Entrevistas com informantes-chave

Entrevistas semi-estruturadas, com ajuda de roteiros pré-elaborados, foram realizadas com os informantes-chave envolvidos com a execução e/ou com a administração dos seis programas e gravadas para posterior transcrição e análise detalhada. Sempre que possível, foram entrevistados os próprios prefeitos ou os responsáveis pela administração dos programas sociais. Em Salvador, não foi possível aplicar integralmente essa metodologia, uma vez que, diferentemente do vivenciado nos municípios do interior, o acesso aos gestores dos programas foi restrito.

Também foram entrevistados informantes da sociedade civil. Em particular, buscou-se identificar e entrevistar membros dos conselhos e comissões locais constituídos para ampliar a participação sobre a gestão local dos programas. Nesse caso, o objetivo foi sempre o de entrevistar representantes de diferentes segmentos. O processo de investigação qualitativo adotou a estratégia de inclusão progressiva de informantes até que o máximo de aspectos possíveis sobre a implementação dos programas pudesse ser recuperado.

Coleta e tratamento dos dados

A coleta de dados no interior foi iniciada em setembro de 1997 e concluída parcialmente em dezembro de 1998, após oito viagens a campo. A estada em campo, em média, foi de sete dias, com uma equipe de seis pessoas (em média). Posteriormente, foi necessário retornar a alguns municípios de forma a confirmar e ou complementar informações. A equipe de coleta de dados no interior foi composta por pesquisadores contratados pelo projeto e professores-pesquisadores da Escola de Nutrição, Universidade Federal da Bahia (UFBA), todos devidamente treinados.

O subprojeto que coletou dados, em 1997, sobre a Cesta do Povo em Salvador, contou com a participação de alunos previamente treinados, sob a supervisão direta de professores-pesquisadores da Escola de Nutrição, UFBA. A coleta de dados da pesquisa domiciliar na capital ocorreu entre janeiro e fevereiro de 2000 e, para este estudo, somou-se à equipe seis entrevistadores cadastrados no IBGE, com experiência em pesquisa e acesso a setores pobres de Salvador. Esses entrevistadores foram treinados nos instrumentos específicos e trabalharam em duplas com pesquisadores do projeto, aos quais cabia o levantamento dos dados mais específicos da área da segurança alimentar e nutrição.

Os dados quantitativos coletados no interior e na capital foram digitados e processados no programa Microsoft Access versão 1997 (Microsoft Coproration, Estados Unidos). Feitas as consultas de interesse, os resultados foram exportados para o SPSS for Windows, versão 9.0.0 (SPSS Inc., Chicago, Estados Unidos) para as análises estatísticas. Os dados antropométricos das crianças foram analisados por meio do módulo EpiNut do programa Epi Info, versão 6.04, adotando-se o indicador peso/idade e assumindo déficit ponderal abaixo do percentil 10 segundo a referência National Center for Health and Statistics 36, visto que esses eram o indicador e o ponto de corte estabelecidos nas normas do Programa de Atenção ao Desnutrido. Os dados das 24 gestantes identificadas nos 1.750 domicílios estudados não chegaram a ser trabalhados, uma vez que este tamanho de amostra reduzido não permitiria nenhuma inferência estatística confiável.

As entrevistas foram transcritas e seus conteúdos, sistematizados em um conjunto de matrizes, segundo informante, programa e tema. Após leituras sucessivas, fez-se uma categorização mais refinada do extenso material obtido.

A pesquisa cumpriu os princípios éticos da Declaração de Helsinki e da Resolução nº. 196/96 do Conselho Nacional de Saúde. Não foi submetida a Comitê de Ética em Pesquisa, pois o seu protocolo foi desenvolvido no início de 1996, época em que a Resolução nº. 196/96 não havia sido publicada.

Resultados da aplicação da metodologia

Dimensão de contexto

Cabe, aqui, uma breve análise do arcabouço político institucional no qual se inseriam as políticas de segurança alimentar e combate à fome no período em estudo, 1995-2002, que corresponde aos dois períodos de governo do Presidente Fernando Henrique Cardoso. Logo de início, mais especificamente em 12 de janeiro de 2005, extingue-se o Conselho Nacional de Segurança Alimentar (CONSEA) 37, cuja criação, em 1993, havia sido uma conquista da sociedade civil organizada em torno da Ação da Cidadania Contra a Fome, a Miséria e pela Vida. Assim sendo, as resoluções da I Conferência Nacional de Segurança Alimentar, realizada em 1994, e também a Política Nacional de Segurança Alimentar, apresentada ao então Presidente Itamar Franco pelo Partido dos Trabalhadores 38, não chegaram a ser seriamente consideradas.

A agenda social do governo, denominada Comunidade Solidária, promoveu o desmonte de programas e instituições relacionados à alimentação, nutrição e assistência social: nesse período, são extintos, além do CONSEA (1995), a Legião Brasileira de Assistência (LBA, 1995) e o INAN (1997). As ações de abastecimento alimentar e de manutenção de estoques pela Companhia Nacional de Abastecimento (CONAB) são desarticuladas, e o seu financiamento, no âmbito do Ministério da Agricultura, é drasticamente reduzido – o único programa inicialmente mantido foi o PRODEA 39, extinto em 2002. Como conseqüência, os beneficiários foram prejudicados e a cobertura dos programas diminuiu substancialmente. A suspensão da compra de iodato pelo governo levou a uma deterioração da qualidade do sal colocado no mercado por um período de quase dois anos 39, e a falha na aquisição de vitamina A, em 1997-1998, levou à suspensão do programa no biênio; com a extinção do INAN, nem sequer os registros sobre o programa nesse período estão disponíveis 40.

A partir de 2001, foi criado, em âmbito nacional, o programa de transferência de renda ligado à saúde, Bolsa Alimentação, destinado à complementação da renda familiar para melhoria da alimentação. Foge ao escopo deste estudo uma análise desse programa, que foi executado por dois anos, sendo incorporado ao Programa Bolsa Família em outubro de 2003.

Estudo de caso na Bahia

Na etapa de operacionalização da proposta metodológica acima indicada, nem todas as variáveis que integram as diferentes dimensões puderam ser observadas. Quanto à dimensão estrutura, um dos principais problemas fundou-se na própria ausência, para alguns dos programas em estudo, de documentos formais como planos, programas ou projetos que indicassem claramente os objetivos, as estratégias, os resultados esperados e os recursos necessários para tanto. Dessa forma, como assinalado nos artigos específicos de cada programa, por vezes, a dimensão da estrutura foi analisada a partir de manuais e ofícios dirigidos aos gestores municipais que pudessem, de alguma forma, fazer reconhecer o desenho e a lógica da ação pretendida, assim como a partir da fala de gestores dos programas.

A avaliação da dimensão dos processos foi viável pelo estudo empírico realizado, contemplando a ampla utilização de metodologias quantitativas e qualitativas, visto que a produção de dados secundários, como relatórios de acompanhamento, nas situações estudadas, configurava-se ainda em exceção. Na dimensão resultado, o desenho do estudo não visou construir indicadores capazes de mensurar mudanças no estado nutricional dos beneficiários, tendo em vista também que dados que poderiam permitir a avaliação ex ante e ex post não existiam ou não foram disponibilizados para a equipe da pesquisa. Por outro lado, nas situações estudadas, o pouco tempo de implementação de alguns dos programas e as irregularidades observadas na operação de outros, dificultariam a análise de resultados que exigem maior tempo de implementação e regularidade no acesso.

Em síntese, esta avaliação multidimensional contemplou a análise de dados a respeito das estruturas envolvidas no processo de execução do programa, sua eficiência operacional, bem como dos resultados em termos de cobertura e focalização em grupos e áreas prioritárias ou em mudanças nas necessidades que o programa pretendia atender e/ou superar. O objetivo final foi o de avaliar em que extensão esses programas estavam respondendo às necessidades da população de mais baixa renda na Bahia e também apontar os problemas críticos que poderiam prejudicar e ou maximizar o sucesso de tais programas.

Como poderá ser observado nos artigos específicos, apresentando os resultados obtidos com a aplicação da metodologia para cada um dos programas, foi possível produzir respostas sobre fatores intervenientes na implementação dos programas (processo), tanto quanto sobre o desenho das intervenções (estrutura) que usualmente não são contemplados em outros modelos de avaliação e que, decerto, podem contribuir no processo de formulação de políticas sociais descentralizadas.

Discussão

Partiu-se, nesta avaliação, do entendimento de que parte dos programas em estudo integrava uma política pública, no caso o Comunidade Solidária, de forma que os resultados poderiam somar para a própria avaliação da política. Na medida em que, como antes assinalado, cada programa mantinha suas características específicas, tratou-se de avaliar cada programa e de agregar a esta avaliação aqueles aspectos que seriam pertinentes à sua integração a uma política pública. Este exercício mostrou-se, como poderá ser observado nos artigos específicos, mais um esforço teórico do que um dado da realidade, uma vez que, no nível local, a marca Comunidade Solidária, com seus princípios, não alcançava os programas preexistentes.

Os desafios metodológicos foram significativos, desde a concepção do estudo até sua implementação e na análise dos dados, em parte também pela dimensão do estudo empírico. Na medida em que cada programa estudado contemplava objetivos, estratégias, população-alvo e critérios de inclusão, benefícios diversos, entre outros, fez-se necessário construir matrizes específicas. Buscou-se, no entanto, construir categorias que permitissem respostas mais integradoras. Por exemplo, cada programa objetivava atingir a uma clientela específica, mas, em uma análise integrada, pode-se considerar se os programas vinham focalizando a população considerada prioritária, o que interessava para uma avaliação da política que os abrigava.

Neste estudo, o foco foi a implementação dos programas nos municípios e o desenho metodológico que privilegia questões referidas a este nível de governo. No entanto, tendo em vista o momento da descentralização à época do estudo – ainda parcial – dos programas, muitos dos resultados apontam para entraves que têm origem em outras esferas de governo. Da maneira como foram construídas as matrizes, esses aspectos são apenas indicados. Considera-se que uma avaliação mais específica dos demais níveis de governo, outras questões e categorias precisariam ser construídas.

O estudo foi realizado em municípios de pequeno porte e na capital do Estado. Na medida em que exigiu pesquisa documental e entrevistas com gestores locais, observou-se que o acesso a informações e aos atores sociais relevantes nos pequenos municípios foi muito mais viável do que na capital. De outra parte, municípios de médio e grande porte contam com dados secundários, hoje mais publicizados, que facilitam a avaliação.

Conclusões

Os resultados da pesquisa de avaliação de políticas públicas de segurança alimentar e combate à fome, apresentados na série de artigos que se inicia com este trabalho, ao agregarem informações nacionais àquelas obtidas a partir de trabalho empírico sobre a implementação de um conjunto de seis programas em 45 municípios da Bahia, contribuem para o debate atual sobre as formas e as estratégias a serem adotadas no combate à insegurança alimentar e fome, que se conjugam ao problema da pobreza e da desigualdade que prevalecem no país.

Dois dos programas sociais em análise foram suspensos: o Programa de Atenção ao Desnutrido (2001) e o PRODEA (2002). Outros (PAT, PNAE, PNVITA e Programa Cesta do Povo) permanecem no cenário; os três primeiros estão integrados à estratégia Fome Zero, anunciada como ação social prioritária para este governo. Espera-se que os resultados deste estudo, apresentados nesta série de publicações, contribuam para a discussão sobre os facilitadores e os obstáculos que são enfrentados no nível local para a implementação de programas da natureza dos que foram estudados.

Em termos metodológicos, este estudo oportunizou a aplicação de um desenho diferenciado. Visando avançar os pontos de estrangulamento, no sentido de identificá-los, optou-se por uma proposta de análise multidimensional. Para tal, foi necessário adaptar a metodologia ao contexto da avaliação de políticas públicas, uma aplicação bem mais ampla do que a originalmente proposta. Isso implicou na adoção de matrizes que consideraram, para cada um dos programas, a sua estrutura, o processo e os resultados. Esse esforço metodológico trouxe ganhos analíticos à avaliação, como poderá ser observado nos artigos específicos e indicou que esta abordagem pode ser empregada de forma a enriquecer os resultados da avaliação.

Colaboradores

S. M. C. Santos e L. M. P. Santos são igualmente responsáveis pela autoria e revisão final deste texto.

Agradecimentos

Projeto financiado pela Financiadora de Estudos e Projetos com recursos do Banco Interamericano de Desenvolvimento, processo número 64.96.054900.

Recebido em 23/Fev/2006

Versão final reapresentada em 06/Nov/2006

Aprovado em 14/Nov/2006

  • 1. United Nations. Millennium declaration: development goals. New York: United Nations; 2000.
  • 2. Instituto Latino Americano de Pesquisa Económica y Social. Reforma y modernización del Estado. Santiago de Chile: Instituto Latino Americano de Pesquisa Económica y Social; 1995.
  • 3. Lahera EP. Reforma del estado: un enfoque de políticas públicas. Revista del CLAD Reforma y Democracia 2000; (16):9-30.
  • 4. Stefanini MLR, Lerner BR, Lei DLM, Chaves SP. Fome e política: história, implantação, desenvolvimento, avaliação de um programa federal de suplementação alimentar no Estado de São Paulo. São Paulo: Instituto de Saúde; 1994.
  • 5. Musgrove P. Por una mejor alimentación; evaluación de programas destinados a mejorar el consumo alimentario y el estado nutricional de familias pobres en el Brasil. Washington DC: Organización Panamericana de la Salud; 1988.
  • 6. Peliano AM. Quem se beneficia dos programas governamentais de suplementação alimentar. Brasília: Instituto de Pesquisa Econômica Aplicada; 1990.
  • 7. Gonçalves F. Auditoria operacional nos programas de suplementação alimentar do Governo Federal. Brasília: Tribunal de Contas da União; 1993.
  • 8. Draibe SM. As políticas sociais brasileiras: diagnósticos e perspectivas. In: Instituto de Planejamento Econômico e Social, organizador. Para a década de 90: prioridades e perspectivas de políticas públicas. Brasília: Instituto de Planejamento Econômico e Social; 1989. p. 1-66.
  • 9. Fleury S. Estado sem cidadãos: seguridade social na América Latina. Rio de Janeiro: Editora Fiocruz; 1994.
  • 10. Pacheco Filho A. Recursos federais para a educação: FNDE e FAE. In: Affonso RBA, Silva PLB, organizadores. Descentralização e políticas sociais. São Paulo: Fundação do Desenvolvimento Administrativo; 1996. p. 223-69.
  • 11. Brasil. Decreto nş. 37.106, de 31 de março de 1955. Institui a Campanha de Merenda Escolar (CME), subordinada ao Ministério da Educação. Diário Oficial da União 1995; 2 abr.
  • 12. Brasil. Lei nş. 6.321 de 14 de abril de 1976. Dispõe sobre a dedução do lucro tributável para fins de imposto sobre a renda das pessoas jurídicas, o dobro das despesas realizadas em Programas de Alimentação do Trabalhador. Diário Oficial da União 1976; 19 abr.
  • 13
    Brasil. Portaria nº. 2.160. Cria, no Instituto Nacional de Alimentação e Nutrição, o Programa Nacional de Controle da Deficiência de Vitamina A e dá outras providências. Brasília: Diário Oficial da República Federativa Brasil 1994; 30 dez.
  • 14. Baptista V. A Cesta do Povo: um programa da Empresa Baiana de Alimentos EBAL. In: Centro de Projetos e Estudos/Secretaria de Planejamento, Ciência e Tecnologia do Estado da Bahia, organizadores. Alimentação popular na Bahia 1ş Encontro sobre Prioridades Sociais na Nova República. Salvador: Centro de Projetos e Estudos; 1986. p. 33-40.
  • 15. Ministério da Saúde. Norma operacional: programa de atenção aos desnutridos e às gestantes em risco nutricional. Brasília: Ministério da Saúde; 1993.
  • 16. Cohen E, Franco R. Avaliação de projetos sociais. 5Ş Ed. Petrópolis: Editora Vozes; 2002.
  • 17. Silva LMV, Formigli VL. A avaliação em saúde: limites e perspectivas. Cad Saúde Pública 1994; 10:80-91.
  • 18. Donabedian A. The seven pillars of quality. Arch Pathol Lab Med 1990; 114:1115-8.
  • 19. Hartz ZMA, Champagne F, Contandriopoulos AP, Leal MC. Avaliação do Programa Materno-infantil: análise da implantação em sistemas locais de saúde no Nordeste do Brasil. In: Hartz ZMA, organizador. Avaliação em saúde: dos modelos conceituais à prática na análise de implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 89-131.
  • 20. Contandriopoulos AP, Champagne F, Denis JF, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, organizador. Avaliação em saúde: dos modelos conceituais à prática na análise de implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48.
  • 21. Donabedian A. The role of outcomes in quality assessment and assurance. QRB Qual Rev Bull 1992; 18:356-60.
  • 22. Milner P. Evaluating emergency services activity at the health district level. J R Soc Med 2001; 94 Suppl 39:31-7.
  • 23. Ader M, Berenson K, Carlsson P, Granath M, Urwitz V. Quality indicators for health promotion programs. Health Promot Int 2001; 169:187-95.
  • 24. Bender DE, Harbour C, Thorp J, Morris P. Tell me what you mean by "si": perceptions of quality of prenatal care among immigrant Latina women. Qual Health Res 2001; 11:780-94.
  • 25. Tanaka OY, Melo C. Avaliação de programas de saúde do adolescente: um modo de fazer. São Paulo: Edusp; 2001.
  • 26. Santos LMP, Santos SMC. Methodological approach to a multidimensional evaluation of food and nutrition policies. Forum Nutr 2003; 56:115-8.
  • 27. Handler A, Issel M, Turnock B. A conceptual framework to measure performance of the public health system. Am J Public Health 2001; 91:1235-9.
  • 28. Comissión Económica para América Latina y el Caribe. Focalización y pobreza. Santiago de Chile: Naciones Unidas; 1995.
  • 29. World Health Organization. Rapid evaluation method guidelines for maternal and child health, family planning and other health services. Geneva: World Health Organization; 1993.
  • 30. Instituto Brasileiro de Geografia e Estatística. Censo demográfico 2000: primeiros resultados da amostra. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2000.
  • 31. Santos LMP, Assis AMO, Baqueiro CM, Quaglia GMC, Barreto ML, Morris SM. Situação alimentar e nutricional de pré-escolares no semi-árido da Bahia: I - antropometria. Rev Saúde Pública 1995; 29:463-71.
  • 32. Assis AMO, Barreto ML, Santos LMP, Sampaio LR, Magalhães LP, Prado MS, et al. Condições de vida, saúde e nutrição na infância em Salvador. Salvador: Escola de Nutrição/Instituto de Saúde Coletiva, Universidade Federal da Bahia; 2000.
  • 33. Instituto Brasileiro de Geografia e Estatística/Fundo das Nações Unidas para a Infância. Municípios brasileiros: crianças e suas condições de sobrevivência. Brasília: Instituto Brasileiro de Geografia e Estatística/Fundo das Nações Unidas para a Infância; 1994.
  • 34. Lanata CF, Black RE. Lot Quality Assurance Sampling techniques in health surveys in developing countries: advantages and current constraints. World Health Stat Q 1991; 44:133-9.
  • 35. Lopes JRB. Caracterização das populações pobres no Brasil e de seu acesso a programas sociais. In: Galeazzi MAM, organizador. Segurança alimentar e cidadania. São Paulo: Mercado das Letras; 1996. p. 63-91.
  • 36. World Health Organization. Physical status: uses and interpretation of anthropometry. Geneva: World Health Organization; 1995.
  • 37. Brasil. Decreto nş. 1.366, de 12 de janeiro de 1995. Dispõe sobre o Programa Comunidade Solidária e dá outras providências. Diário Oficial da União 1995; 13 jan.
  • 38. Vasconcelos FAG. Combate à fome no Brasil: uma análise histórica de Vargas a Lula. Rev Nutr 2005; 18:439-57.
  • 39. Valente FLS. A política de insegurança alimentar e nutricional no Brasil de 1995 a 2002. http://www.fomezero.gov.br/download/pol_inseg_alimentar_Flavio_Valente.pdf (acessado em 14/Nov/2006).
  • 40. Martins MC, Oliveira YP, Coitinho DC, Santos LMP. Panorama das ações de controle da deficiência de vitamina "A". Rev Nutr 2007; 20:5-18.
  • Correspondência:

    L. M. P. Santos
    Departamento de Nutrição, Universidade de Brasília.
    Campus Universitário Darcy Ribeiro, Brasília, DF
    70910-900, Brasil
  • Datas de Publicação

    • Publicação nesta coleção
      27 Abr 2007
    • Data do Fascículo
      Maio 2007

    Histórico

    • Revisado
      06 Nov 2006
    • Recebido
      23 Fev 2006
    • Aceito
      14 Nov 2006
    Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rua Leopoldo Bulhões, 1480 , 21041-210 Rio de Janeiro RJ Brazil, Tel.:+55 21 2598-2511, Fax: +55 21 2598-2737 / +55 21 2598-2514 - Rio de Janeiro - RJ - Brazil
    E-mail: cadernos@ensp.fiocruz.br