Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo

Monitoring and evaluation practices in the Program for the Eradication of Slave Labor

ARTIGOS

Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo^*

Monitoring and evaluation practices in the Program for the Eradication of Slave Labor

Samuel A. Antero

Especialista em políticas públicas e gestão governamental, coordenador-geral de planejamento e gestão estratégica do Ministério do Trabalho e Emprego entre 2005 e 2007. Mestre em administração pela Universidade de York, Inglaterra. Graduado em administração de empresas pela Universidade Estadual do Ceará, especialista em gestão pública pela Escola Nacional de Administração Pública (Enap). Endereço: Rua das Paineiras, Lote 02, ap. 501, Ed. Via Palácio do Sol – Águas Claras Norte – CEP 71.918-000, DF, Brasil. E-mail: [e-mail]

SUMÁRIO

A avaliação formal é poderosa ferramenta de transparência da ação pública e de gestão de políticas e programas, apontando as medidas necessárias para sua sustentabilidade, otimização dos recursos e controle social. Este artigo trabalha a avaliação além da simples abstração teórica, agregando o foco no Programa de Erradicação do Trabalho Escravo, que visa eliminar essa grave violação aos direitos humanos que ainda persiste no Brasil. Com o intuito de investigar quais as características da sistemática de monitoramento e avaliação atualmente adotada pelos gestores do programa, partiu-se de pesquisa aplicada exploratória, utilizando-se dados secundários. Verificou-se que a sistemática adotada pelos gestores do programa possui características que se aproximam mais de um acompanhamento do que de um monitoramento e uma avaliação do programa. Os dados disponíveis, abundantes, necessitam de tratamento prático para se transformarem em instrumentos de monitoramento e avaliação. Com esse objetivo, o artigo utiliza-se da metodologia de avaliação formal constante nas referências teóricas, com vistas a propor uma sistemática de monitoramento e avaliação que possa ser utilizada para a melhoria da gestão do programa.

Palavras-chave: monitoramento e avaliação; trabalho escravo.

SUMMARY

Formal evaluation is a powerful tool for ensuring the transparency of public action and in the management of policies and programs, pinpointing necessary measures for a policy's sustainability, for resource optimization and social control. This paper utilizes evaluation far beyond simple theoretical abstraction, applying it to the Program for the Eradication of Slave Labor, which functions to eliminate this grave violation of human rights, still being practiced in Brazil. In order to investigate the characteristics of the present monitoring and evaluation system adopted at by the program's managers, an applied-exploratory research approach was instigated using secondary data. It was verified that the characteristics of the monitoring system adopted by the program managers are closer to a performance follow-up than to a de facto monitoring or evaluation of the program as pointed out in the literature. Although abundant, the available data needs practical handling to be transformed into a tool of monitoring and evaluation. With that objective, this study uses the methodology of formal evaluation from various theoretical references aimed at the development of a system of monitoring and evaluation that can be used to improve the program's management.

Keywords: monitoring and evaluation; slave labor.

1. Introdução

Embora a escravidão pareça definitivamente ultrapassada, as raízes do escravismo brasileiro ainda subsistem, sobretudo na Zona Rural do país e não são raras notícias de trabalhadores libertados de condições semelhantes às de escravos. Essa relação de trabalho significa muito mais do que o descumprimento da lei trabalhista, posto que ao "trabalhador" – não mais propriedade do seu dono, como à época da escravidão tradicional – não é concedido nenhum direito de cidadania. Tal ocorrência fere diretamente, e em sua essência, o Estado democrático de direito, além de representar uma das mais graves violações aos direitos humanos.

O trabalho escravo se configura, de acordo com a Organização Internacional do Trabalho – OIT (2005), pelo trabalho degradante com cerceamento da liberdade. Sento-Sé (2000) salienta que o cerceamento da liberdade do trabalhador se dá não somente pelo constrangimento físico, mas também moral, partindo da deformação do seu consentimento ao celebrar o vínculo empregatício, à proibição de rescindir o contrato de trabalho quando melhor lhe aprouver.

Essa prática abominável ocorre, sobretudo, pelo interesse desmedido em ampliar os lucros à custa da exploração do trabalhador. Do ponto de vista econômico, essa relação de trabalho é tão vantajosa para os empresários quanto à época do Brasil colônia e império. Tanto o é que o trabalho escravo, embora predomine nas áreas de desmatamento da Amazônia Legal, está presente em diversas atividades econômicas, em áreas urbanas e rurais.

O Brasil foi um dos pioneiros em reconhecer a persistência dessa forma de exploração de trabalho e possui o respeito da comunidade internacional pelos resultados alcançados em seu combate (OIT, 2005). O ápice desse esforço deu-se no ano 2003, quando o governo lançou o Plano Nacional para a Erradicação do Trabalho Escravo, com foco na fiscalização, estruturado no Programa de Erradicação do Trabalho Escravo, que é parte integrante do Plano Plurianual 2004-07.

Tendo em vista a importância social e o atual estágio de maturação desse programa, as ferramentas de monitoramento e avaliação de suas ações poderiam contribuir sobremaneira para o seu aperfeiçoamento, a melhoria do processo decisório e aprendizado institucional, bem como para o aumento da accountability.

Este artigo procura avançar no debate sobre a pesquisa de avaliação como ferramenta vital para a melhoria da gestão de políticas públicas e, como tal, tem por objetivo produzir informações relevantes para o aprimoramento das ações governamentais. Com esse intuito, apresenta-se, ao final, uma metodologia de monitoramento e avaliação que sistematiza dados existentes para produzir informações úteis ao aprimoramento do programa.

O estudo partiu de uma pesquisa aplicada, de caráter exploratório, utilizando-se dados secundários. A busca de informações consistentes se deu em dados estruturados (puramente quantitativos), bem como em dados de natureza qualitativa.

Os dados quantitativos foram coletados, sobretudo, em sistemas informatizados, como: Sistema de Acompanhamento do Trabalho Escravo (Sisacte), Sistema de Planejamento (Sigplan) e Sistema de Administração Financeira (Siafi). Os dados qualitativos, por sua vez, foram coletados por meio de pesquisa em livros, revistas e sites especializados, bem como em banco de teses das universidades.

Foi também realizada detalhada pesquisa no acervo documental da Secretaria de Inspeção do Trabalho, composta por leis, portarias, regulamentos e relatórios de ação fiscal, que ensejaram o levantamento do histórico, diretrizes e informações sobre os resultados alcançados pelo Programa de Erradicação do Trabalho Escravo.

Cabe ressaltar, entretanto, uma limitação quanto à metodologia empregada: os dados trabalhados são analisados sob o ponto de vista meramente formal, por meio de relatórios e sistemas essencialmente levantados por terceiros e, portanto, refletem suas conclusões. Optou-se por não ampliar a pesquisa a entrevistas com gestores do programa, dado que seu objeto se refere ao processo em si e não às suas considerações acerca da forma de monitoramento e avaliação.

O artigo está organizado como se segue. A seção a seguir apresenta um breve panorama do trabalho escravo no Brasil, conceituando sua forma contemporânea e diferenciando-a daquela do passado, bem como apresentando dados básicos sobre a localização e origem dos trabalhadores e sobre as atividades econômicas que mais exploram essa forma degradante de trabalho.

A seção 3 revela as principais medidas governamentais com vistas a erradicar o trabalho escravo no Brasil, detendo-se, sobretudo, no Programa de Erradicação do Trabalho Escravo, objeto deste artigo.

Com o intuito de aprofundar a discussão metodológica, a seção 4 evidencia os conceitos teóricos básicos sobre monitoramento e avaliação, revisando importantes autores.

Após essa necessária fundamentação teórica, a seção 5 busca caracterizar as práticas de monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo.

As seções 6 e 7, por sua vez, apresentam uma sistemática de monitoramento e avaliação que busca produzir informações relevantes para o aprimoramento das ações desse programa.

2. Breve panorama do trabalho escravo no Brasil contemporâneo

A escravidão é tão antiga quanto a própria história da humanidade. No Brasil, não obstante a liberdade formal, a vida dos descendentes dos escravos pouco mudou nos anos que se sucederam e, ainda, que passados quase 120 anos da entrada em vigor da lei abolicionista, são comuns notícias de trabalhadores libertados de condições análogas às de escravos.

As raízes culturais do escravismo brasileiro, impregnadas no imaginário dos empregadores rurais, nunca foram totalmente superadas. Mesmo após a garantia formal de igualdade de direitos entre trabalhadores urbanos e rurais por intermédio da Constituição Federal de 1988, na prática, se observa o total afastamento entre direito formal e relações cotidianas de trabalho.

(MTE, 2004:5)

O trabalho escravo contemporâneo possui a mesma violência dos direitos humanos daquele do passado e é, segundo a OIT (2005:33), "tão vantajosa para os empresários quanto a da época do Brasil colônia e do império, pelo menos do ponto de vista financeiro e operacional". Assim, o trabalho escravo é muito mais que o descumprimento da lei trabalhista.

Segundo o próprio MTE, SIT (2005), embora o escravo não seja mais uma propriedade de seu dono, não se reconhece nele nenhum elemento de cidadania. Constitui-se, antes de tudo, objeto para consumo imediato e posterior descarte. Enquanto produz, ele é mantido sob rígida vigilância e controle; quando já não mais produz é posto para fora da propriedade.

A OIT (2005) identifica o trabalho escravo como o trabalho degradante aliado ao cerceamento da liberdade. Ressalte-se que esse cerceamento não necessariamente se faz por vigilância armada ou agressão física. Ela pode ser bem mais sutil, como alerta o professor Jairo Sento-Sé (2000:27), que caracteriza o trabalho escravo da seguinte maneira:

aquele em que o empregador sujeita o empregado a condições de trabalho degradantes, inclusive quanto ao meio ambiente em que irá realizar a sua atividade laboral, submetendo-o, em geral, a constrangimento físico e moral, que vai desde a deformação do seu consentimento ao celebrar o vínculo empregatício, passando pela proibição imposta ao obreiro de resilir o vínculo quando bem entender, tudo motivado pelo interesse mesquinho de ampliar os lucros às custas da exploração do trabalhador.

A escravidão contemporânea se manifesta no mundo de diversas maneiras. No Brasil, a forma mais comum é a escravidão por dívida. Como bem caracteriza padre Figueira (2005:3):

Para que a escravidão seja mais eficiente é necessário algum grau de legitimidade atribuído à relação entre o empreiteiro (gato) e o empreitado (peão). Com esse objetivo é construído um sistema de endividamento progressivo do trabalhador. A dívida começa quando, ao ser contatado, o peão recebe do gato ou de um seu preposto um pequeno adiantamento em dinheiro. E aumenta a dívida com os gastos de transporte e alimentação até a unidade de produção. Mas o ciclo de endividamento não termina aí. Ele prossegue nas compras de alimentação, material de higiene, ferramenta de trabalho, instrumento de proteção e medicamento feitas na cantina do empreiteiro ou da empresa proprietária da fazenda. Desinformado de seus direitos, o trabalhador tem uma consciência falsa de responsabilidade legal e moral sobre a "dívida". Impulsionado pela noção de que "quem deve é obrigado a pagar"; torna-se primeiro prisioneiro de sua própria consciência, pois desconhece que no Brasil ninguém é obrigado a trabalhar ou é preso por dívida, salvo nos casos específicos de omissão paterna ou materna em pensão alimentar. Depois se torna prisioneiro da distância, da falta de dinheiro para tomar um transporte, da vergonha de retornar à casa mais pobre do que saiu, ou pelas ameaças e por homens armados.

O MTE, SIT (2005:9) complementa a descrição de Figueira relatando as condições de trabalho a que são submetidos os escravos.

As condições de trabalho são desumanas: alojamentos precários (barracas de plástico preto) que colocam o trabalhador à mercê do desconforto e perigo de ataque de animais peçonhentos; água para consumo retirada dos riachos, poços ou cacimbas no mesmo local onde se lavam vasilhas e roupas e se toma banho; necessidades fisiológicas feitas ao relento; alimentação precária e que deverá ser custeada e preparada pelo próprio trabalhador. O "gato" monta o barracão ou cantina no local de trabalho e oferece, a preços exorbitantes, tudo o que o trabalhador precisa para sobreviver e trabalhar: comida, remédios, ferramentas para o trabalho, botinas e roupas. Oferece-lhes ainda cigarros e bebidas alcoólicas. Tudo que o trabalhador consome vai sendo anotado em um caderno e, quando menos espera, ele está totalmente endividado.

Esse tipo de relação de trabalho fere o Estado Democrático de Direito em sua essência e é uma das mais graves violações aos princípios fundamentais e aos direitos e garantias fundamentais enumerados na Constituição de 1988. Não obstante, por se tratar de atividade ilegal, não existe trabalho escravo nas estatísticas oficiais. Quase a totalidade das contratações é informal e, portanto, torna-se impossível determinar o número exato de pessoas submetidas ao regime de escravidão no Brasil.¹

No que tange à localização dessas pessoas, embora a escravidão seja encontrada em todas as regiões do país e em áreas rurais e urbanas, o relatório da OIT indica uma relação entre os casos identificados de trabalho escravo e o desmatamento da Amazônia Legal. Tanto o é, que os estados da federação com maior incidência de trabalho escravo são o Pará, o Maranhão, o Mato Grosso e Tocantins.

O Ministério do Trabalho e Emprego – MTE (2005) chegou à mesma conclusão a partir de pesquisa realizada em agosto de 2004 pela Procuradoria Federal dos Direitos do Cidadão – PDFC do Ministério Público Federal – MPF, que ouviu 3.653 trabalhadores dentro de um universo de 15.616 libertados.

Conforme aponta o MTE (2004), em geral as atividades nas quais se encontram trabalhadores na condição de escravos são aquelas ligadas à derrubada de matas nativas para formação de pastos para a engorda de bois e/ou preparo do solo para agricultura. Como demonstrado no gráfico a seguir, apresentado pela OIT (2005:67), apesar de estar presente em várias atividades econômicas, a pecuária é, de longe, a principal atividade que utiliza trabalho escravo. Esses dados foram retirados dos dois primeiros cadastros de empresas e pessoas autuadas por exploração do trabalho escravo. Destaque-se, também, que ao contrário do que se possa imaginar, as ações fiscais demonstram que quem escraviza no Brasil são proprietários informados, latifundiários, muitos produzindo com alta tecnologia para abastecer os mercados interno e externo (OIT, 2005:24).

3. Principais medidas governamentais para a erradicação do trabalho escravo no Brasil

Segundo a Organização Internacional do Trabalho – OIT (2005), o Brasil foi uma das primeiras nações a reconhecer que, apesar de ilegal, essa forma de exploração do trabalho ainda existe, mesmo que residualmente, no país. Ademais, há reconhecimento internacional dos avanços feitos quanto à erradicação do trabalho escravo.

Em março de 2003, o governo brasileiro lançou o Plano Nacional para a Erradicação do Trabalho Escravo, contendo 76 ações, agrupadas em seis grandes blocos: (i) ações gerais; (ii) melhoria na estrutura administrativa do grupo de fiscalização móvel; (iii) melhoria na estrutura administrativa da ação policial; (iv) melhoria na estrutura administrativa do Ministério Público Federal e do Ministério Público do Trabalho; (v) ações específicas de promoção da cidadania e combate à impunidade; e (vi) ações específicas de conscientização, capacitação e sensibilização (Presidência da República Federativa do Brasil, 2003).

O principal eixo desse plano é a fiscalização das denúncias de trabalho escravo, realizada pelos grupos móveis de fiscalização. Pela sua relevância, esse eixo foi consubstanciado no programa "Erradicação do Trabalho Escravo", integrante do Plano Plurianual 2004-07, cuja coordenação cabe à Secretaria de Inspeção do Trabalho (SIT), do Ministério do Trabalho e Emprego (MTE). Além disso, dada a sua relevância para o atual governo, esse tema foi incluído nas chamadas "metas presidenciais", que relacionam os programas considerados prioritários pela Presidência da República.

De forma simplificada, a política de implementação desse programa é sustentada em ações de fiscalização, inclusão dos trabalhadores liberados em políticas públicas compensatórias e criação de estruturas públicas e da sociedade civil de forma a criar um cenário que impeça a prática criminosa da submissão de trabalhadores à condição de escravos.

O MTE, por meio da SIT e seus parceiros, vem aumentando esforços no sentido de combater a exploração de trabalho escravo, mediante intervenções cada vez mais eficazes e de intensa coordenação entre os organismos envolvidos. Segundo dados da Secretaria de Inspeção do Trabalho (SIT), entre 1995 e 2006 foram libertados 21.762 trabalhadores, distribuídos anualmente conforme a figura 1. Até o mês de julho de 2007, haviam sido libertados 3.434 trabalhadores.

As fiscalizações são desencadeadas pelo recebimento e triagem de denúncia, desdobram-se na ação de fiscalização propriamente dita nos locais indicados e na autuação. No caso de comprovada a prática de trabalho escravo, o Ministério Público do Trabalho pedirá ação civil pública com pedido de indenização por dano moral aos trabalhadores junto à Justiça Federal. O Ministério Público Federal, por sua vez, proporá a competente ação penal junto à Justiça Federal.

Além das ações de fiscalização, o programa prevê a inserção do trabalhador resgatado de condição análoga à escravidão no seguro-desemprego. O trabalhador liberto tem direito ao seguro, no valor de um salário mínimo, por três meses após sua libertação.

No campo das ações assistenciais, sempre que a situação assim o exija, os trabalhadores beneficiários do programa recebem assistência temporária, que garante o custeio de alimentação, alojamento e transporte ao local de origem. Tal ação visa dar condições mínimas ao trabalhador de permanecer no local onde foi liberto, aguardando o recebimento de seus direitos trabalhistas e custear seu regresso à cidade de origem.

Quanto às ações pertinentes à Justiça do Trabalho, o programa visa ainda promover a prestação judiciária in loco. Isso se dá com a instalação de Varas Itinerantes do Trabalho, formadas por equipes que levam a prestação jurisdicional trabalhista aos cidadãos residentes nos municípios mais longínquos dos estados do Pará, Amapá, Maranhão e Mato Grosso.

Ressalta-se, ainda, outro importante avanço do programa: o cadastro de empregadores. O plano nacional previa sua implementação por meio de lei. O Poder Executivo se antecipou e a iniciativa foi instituída em 15 de outubro de 2004, por meio da Portaria no 540 do MTE.

A inclusão do nome do infrator no cadastro ocorre após o final do processo administrativo decorrente dos autos de infração lavrados pelos auditores fiscais do trabalho. A exclusão, por sua vez, acontece desde que durante o período de dois anos não haja reincidência e sejam pagas todas as multas impostas pela fiscalização e quitados todos os débitos trabalhistas e previdenciários. Segundo informações da SIT/MTE, desde que foi criado, foram incluídos no referido cadastro 352 infratores e em sua última atualização (17 de julho de 2007) ele contava com o nome de 190 empregadores.

O grande marco do Plano Nacional para a Erradicação do Trabalho Escravo é sua proposição de execução articulada entre órgãos do Executivo, Legislativo, Judiciário, Ministério Público, entidades da sociedade civil e organismos internacionais. Ele atende às determinações do Plano Nacional de Direitos Humanos e expressa uma política pública permanente fiscalizada pela Comissão Nacional para a Erradicação do Trabalho Escravo (Conatrae), presidida pela Secretaria Especial dos Direitos Humanos e constituída por representantes governamentais e não-governamentais.

Não obstante o avanço no seu desenho, ao se examinar a avaliação da OIT (2005:99) sobre o Plano Nacional para a Erradicação do Trabalho Escravo chega-se à conclusão de que sua principal falha reside na articulação entre as diversas organizações, sobretudo para cumprir ações de combate à impunidade (incluídas nas ações gerais).

Este, aliás, é um tema recorrente na literatura especializada. Silva e Melo (2000) frisam que o contexto institucional e organizacional brasileiro caracteriza-se por especificidades importantes – entre elas se destacam os problemas de coordenação e cooperação intergovernamentais.

Na mesma linha de raciocínio, os professores Cohen e Franco (2004:34), ao retratarem a experiência da América Latina, sublinham que,

freqüentemente, o setor social é dirigido por diversas autoridades que nem sempre coincidem nos objetivos ou na modalidade de execução e, algumas vezes, podem chegar a ser antagônicas. Diferentes instituições estatais traçam planos e realizam ações separadamente e sem levar em consideração o que estão fazendo outros órgãos do mesmo setor público.

A erradicação do trabalho escravo talvez seja um dos poucos problemas sociais que, se corretamente instrumentalizado, pode ser extinto em curto prazo. Entretanto, é necessário focalizar mais nas causas do problema do que em suas conseqüências. Para erradicar-se o trabalho escravo, são necessárias ações estruturais nas regiões afetadas que incluam, orquestradamente, políticas de desenvolvimento sustentável; de reinserção social; de trabalho, emprego e renda; de reforma agrária; e de educação. Ademais, devido às suas especificidades, qualquer articulação se torna ineficaz sem um ágil sistema de combate à impunidade.

4. Avaliação e monitoramento: conceitos e especificidades

Apesar de algumas poucas publicações nos séculos XVII e XVIII, a avaliação tal como conhecemos hoje é relativamente recente na história da humanidade. Stufflebeam (2001) salienta que grande parte da expansão e desenvolvimento da teoria e prática da avaliação só se deu na segunda metade do século XX, com a necessidade de fortalecer o sistema de defesa americano e com as leis de eqüidade iniciadas na década de 1960. Weiss (1998) complementa o raciocínio afirmando que no final da década de 1970 a avaliação já estava consolidada nas agências federais americanas e grande parte delas possuía unidades administrativas exclusivas para avaliação.

No Brasil, os estudos sobre avaliação aparecem bem mais tardiamente. A necessidade da avaliação mais rigorosa das atividades das políticas, programas e projetos no Brasil surge com as transformações econômicas da década de 1980 e, sobretudo, com o debate sobre a crise do Estado, que fortaleceu-se na década de 1990.

No contexto das discussões sobre como tornar o Estado brasileiro mais democrático e transparente, por um lado, e mais eficiente, eficaz e efetivo nos aspectos administrativo e político, por outro, o crescimento da função da avaliação, nos anos 1990, visou minimizar o grau de incerteza sobre os resultados da implementação das políticas públicas, aumentando sua efetividade. Contribuiu, também, para viabilizar as atividades de controle interno e social, possibilitando maior transparência e accountability às ações de governo.

Comparação entre avaliação e demais pesquisas sociais

A literatura especializada tem estabelecido distinções entre a pesquisa básica e a pesquisa de avaliação. Primeiramente, é importante frisar que ambas as modalidades de pesquisa utilizam métodos (quantitativos e qualitativos) e procedimentos (coleta de dados, organização e análise) científicos comuns. Em relação ao rigor científico, Silva e Costa (2002:13), citando King e co-autores (1994), identificam, ainda, que essas modalidades seguem quatro características gerais:

▼ têm a inferência como objetivo – a pesquisa de natureza científica é desenhada para realizar inferência descritiva ou exploratória, ao tomar como base a informação empírica sobre a realidade;

▼ adotam procedimentos públicos – a pesquisa científica usa métodos explícitos e reconhecidos para gerar e analisar dados cuja confiabilidade pode ser testada por terceiros;

▼ as conclusões são incertas – por definição a inferência é um processo não conclusivo porque não pode, para ser científica, gerar descrições definitivas sobre a realidade; e

▼ seu conteúdo científico baseia-se em métodos e regras em relação aos quais a sua validade depende ou não do assunto ou objeto

Não obstante suas semelhanças, Weiss (1998) aponta importantes diferenças entre a pesquisa básica e a avaliativa. A primeira delas diz respeito à utilidade: a pesquisa básica preocupa-se com a produção do conhecimento e deixa sua utilidade para o processo natural de disseminação e aplicação; já a avaliação inicia sua pesquisa com o foco no uso de suas descobertas, uma vez que oferecem subsídios para formuladores e implementadores de políticas, programas ou projetos.

Isso gera outra diferença: enquanto as pesquisas básicas surgem do interesse teórico dos pesquisadores, que formulam suas hipóteses explicativas sobre determinados fenômenos, as avaliações surgem das preocupações/indagações da própria política ou dos atores envolvidos. Seguindo essa linha de raciocínio, o Conseil Scientifique de L'évaluation (1996) afirma que, sem renunciar às exigências metodológicas da sua disciplina, a avaliação considera pertinentes questões e valores de referência de um comanditário político, ao contrário da pesquisa básica que busca tão-somente o progresso do conhecimento.

Esse mesmo órgão também diferencia a avaliação da auditoria, enfatizando que a auditoria parte de um ponto de vista de controle e, portanto, restrito meramente às normas e sistemas internos; já a avaliação busca apreciar a intervenção do ponto de vista principalmente externo, no que tange aos efeitos e/ou ao valor.

A avaliação compara o que é com o que deveria ser, buscando sempre detectar falhas e méritos nas ações com vistas a aprimorá-las. Ou seja, envolve julgamento de valor sobre as ações e isso a diferencia dos outros tipos de pesquisa.

Uma última diferença apontada é que pesquisa básica é sempre publicada, o que não necessariamente é o caso da pesquisa avaliativa. Segundo Weiss (1998), embora diversos canais de publicação tenham se aberto nos últimos anos, a maioria dos estudos avaliativos não são publicados. Segundo a autora, muitos administradores de programas são refratários à publicação por acreditarem que a informação gerada pela avaliação diz respeito somente a eles e, portanto, não deve ser de domínio público.

Conceito de avaliação

Avaliação é um nome bastante elástico que abrange julgamento de diversas naturezas. O que todos os usos do nome têm em comum é a noção de julgamento de mérito (Weiss, 1998).

Em verdade, a avaliação é intrínseca ao ser humano, uma vez que realizamos julgamentos de vários tipos e a todo momento, sem necessariamente chamarmos de "procedimento de avaliação". O que define esse procedimento, segundo Cohen e Franco (2004), é a ênfase na objetividade, a informação suficiente e a utilização de métodos rigorosos para chegarmos a resultados válidos e confiáveis.

No decorrer da história, a concepção de avaliação passou por longa evolução, que partiu do mero interesse pela medição quantitativa do êxito de certos objetivos específicos para a preocupação com o desempenho, responsabilidade executiva, transparência e aprendizado organizacional (Rua, 2006).

Assim, na literatura especializada, existem diversas definições de avaliação. Por isso, alguns governos, como o francês, chegaram a definir "oficialmente" o que seria avaliação. Segundo o decreto de 22 de janeiro de 1990 "avaliar uma política significa examinar se os meios jurídicos, administrativos ou financeiros previamente estabelecidos produzirão os efeitos esperados e se alcançarão os objetivos previstos" (Conseil Scientifique de L'évaluation, 1996:10 – tradução livre).

Neste artigo, será utilizada a definição de avaliação formal de políticas públicas, programas ou projetos desenvolvida pela professora Rua (2003:1):

avaliação formal é (1) um julgamento (porque envolve valores) (2) sistemático (porque se baseia em critérios e procedimentos previamente reconhecidos) (3) dos processos ou dos produtos de (4) uma política programa ou projeto, tendo como referência (5) critérios explícitos, a fim de contribuir para (6) o seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o aumento da accountability.

A avaliação, portanto, é uma análise informada de uma intervenção. Compreende tanto um aspecto técnico de procedimentos reconhecidos de coleta e análise de informação quanto atribuição de valor e mensuração.

A atribuição de valor da avaliação se consubstancia nos critérios adotados, que devem ser previamente pactuados com os atores envolvidos, para se formar uma comunidade conceitual. Segundo Rua (2003), são os critérios que estabelecem quais as características esperadas dos processos (ações) e/ou dos resultados. Portanto, a definição dos critérios que serão utilizados na avaliação é uma discussão política e dão foco ao "olhar" do avaliador. Retomando-se a professora Rua (2003), são cinco os critérios normalmente adotados nas avaliações: (i) eficácia, (ii) eficiência, (iii) efetividade, (iv) eqüidade e (v) sustentabilidade.

A eficácia, para Cohen e Franco (2004:12) "é o grau em que se alcançam os objetivos e metas do projeto na população beneficiária, em um determinado período de tempo, independentemente dos custos implicados. A definição apresentada possui dois aspectos fundamentais: metas e tempo".

A eficiência, por sua vez, leva em consideração os custos e está associada à noção de ótimo. Refere-se à capacidade de produzir os resultados desejados com o menor dispêndio possível de recursos.

Já o termo efetividade é utilizado para expressar resultados concretos, permanentes, sejam diretos ou indiretos. Isto é, a efetividade é a relação entre os resultados e o objetivo.

A eqüidade é um critério explícito na Constituição Federal de 1988 já em seu preâmbulo e, como o próprio nome sugere, trata-se da capacidade de reduzir as desigualdades, mediante tratamento equânime e uniformizado de todos os seres humanos. Os professores Cohen e Franco (2004) asseveram ainda que a política social deve ter como princípio orientador e inalienável a procura da eqüidade.

Por fim, Rua (2003:8) define sustentabilidade como "a capacidade de desencadear mudanças sociais permanentes, que alteram o perfil da própria demanda por políticas/programas sociais e que retroalimentam o sistema de políticas sociais".

Embora não envolva julgamento, é importante dizer que a finalidade da avaliação não deve simplesmente distinguir intervenções exitosas ou fracassadas. De acordo com Rua (2003:1) "muito mais importante e proveitoso é apropriar-se da avaliação como um processo de apoio a um aprendizado contínuo, de busca de melhores decisões e de amadurecimento da gestão".

De fato, afirma Rua (2003), a avaliação representa uma potente ferramenta de gestão na medida em que pode ser utilizada no planejamento e formulação de uma intervenção, no acompanhamento de sua implementação e conseqüentes ajustes a serem adotados, e até nas decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção. Os autores Cohen e Franco (2004:73) reforçam essa idéia e, citando Ander-Egg (1984):

se planejar é introduzir organização e racionalidade na ação para a consecução de determinadas metas e objetivos, a avaliação é um modo de verificar essa racionalidade, medindo o cumprimento – ou perspectiva de cumprimento – dos objetivos e metas previamente estabelecidos e a capacidade para alcançá-los.

Nessa mesma linha de raciocínio, acrescente que as modificações no desenho das políticas sociais introduzidas sobretudo a partir do início da década de 1990, tornam o seu processo de avaliação mais complexo. Entre essas mudanças pode-se citar: descentralização de programas; aumento da participação social; tentativas de aumentar a integração setorial e intersetorial; busca de maior coordenação de ações entre distintos níveis de governo e entre os poderes; focalização de clientela e de regiões associada ao estabelecimento de incentivos para a melhoria do desempenho dos programas sociais básicos de vocação universal (Silva, 1999).

Assim, em uma situação de escassez de recursos, necessidades crescentes e sociedade civil cada vez mais organizada, a elevação do grau de racionalidade e transparência das políticas públicas tornou-se imprescindível. É pouco provável que uma política seja efetiva e que utilize eficientemente os recursos existentes se não dispuser de metodologias adequadas para seu processo de gestão. E, nesse contexto, a avaliação formal pode, e deve, ser utilizada como instrumento de transparência da ação pública e de gestão de políticas e programas, apontando as medidas necessárias para sua sustentabilidade, otimização dos recursos e para conferir controle social.

Diferenças entre os conceitos de avaliação, monitoramento e acompanhamento

A diferença básica entre avaliação e monitoramento reside no fato de que a primeira constitui-se uma análise discreta, enquanto a segunda é uma análise contínua, processual. Utilizando-se uma metáfora simples, poder-se-ia comparar a avaliação a uma foto e o monitoramento a uma filmagem. Isto é, enquanto a primeira retrata uma situação passada (e, portanto, não necessariamente mais verdadeira no presente), a segunda busca detectar as dificuldades que ocorrem durante a programação para corrigi-las oportunamente.

O monitoramento fundamenta-se principalmente nos dados da implementação, detecta os desvios quando comparados ao plano para, oportunamente, definir ações corretivas para se manter em curso o objetivo da ação ou até mesmo decidir sobre a revisão do planejamento do programa ou projeto.

Nessa mesma linha de raciocínio, Cohen e Franco (2004) afirmam que o monitoramento é uma atividade gerencial interna que se realiza durante o período de execução e operação e que busca assegurar que os insumos, os produtos e as metas ocorram de acordo com o plano traçado.

Além disso, a avaliação possui rígida ênfase na metodologia a ser empregada, enquanto o monitoramento, embora também empregue metodologia acordada entre os stakeholders, tende a valorizar mais a experiência substantiva das pessoas envolvidas no processo.

Alguns autores como Pfeiffer (2005) chegam a sugerir que o monitoramento é uma atribuição típica do gerente do projeto ou programa, e a avaliação deveria ser realizada por profissionais externos, para manter a imparcialidade e evitar o risco do "embelezamento" dos resultados.

O monitoramento e a avaliação devem ser complementares e partes de um mesmo sistema para ajudar a melhorar o desempenho do programa/projeto, conseguir os resultados pretendidos, melhorar a aprendizagem coletiva e a tomada de decisões fundamentada em informações.

As referências sobre as distinções entre acompanhamento e monitoramento na literatura especializada de avaliação já não são comuns. Serão utilizados, então, os ensinamentos da professora Rua (2007), esquematizados no quadro 1, a partir da observação das diferentes práticas e, principalmente, das discussões sobre o controle.

Tipologia de avaliação

A depender do propósito da avaliação, é possível discriminá-la segundo o foco ou objeto, à lógica que orienta sua concepção, à ênfase metodológica etc. Stufflebeam (2001), por exemplo, classifica e analisa 22 tipos de avaliação, que emergiram, sobretudo nos Estados Unidos, entre os anos de 1960 e 1999, agrupando-as em quatro categorias: pseudo-avaliações; avaliações orientadas por questões ou métodos; avaliações orientadas pela melhoria/accountability; e agenda social/advocacia. Para este artigo, adotaremos a classificação adotada pela professora Rua (2007), sumarizada no quadro 2. Tal classificação diferencia 11 tipos de avaliação segundo três critérios: o momento em que se realiza, a função da avaliação e a procedência dos avaliadores.

Segundo o momento em que se realiza

A avaliação ex ante, como o próprio nome sugere, é realizada antes da execução do programa/projeto. Esse tipo de avaliação "tem por finalidade proporcionar critérios racionais para uma decisão qualitativa crucial: se o projeto deve ou não ser implementado. Também permite ordenar os projetos segundo sua eficiência para alcançar os objetivos perseguidos" (Cohen e Franco, 2004:108).

A avaliação expost, em contraposição, é realizada ao final do programa/ projeto e procura examinar em que medida ele alcançou os objetivos estabelecidos e quais externalidades (positivas e negativas) ele gerou.

A avaliação de meio-termo, por sua vez, se dá durante a implementação e, portanto, afeta a organização e as operações (Cohen e Franco, 2004). Não é um balanço final, mas uma avaliação periódica com o intuito de corrigir os defeitos da programação de forma oportuna.

Pfeiffer (2005) adverte, no entanto, que diferentemente da avaliação ex post, a avaliação de meio-termo pode não ser necessária em todos os projetos e em todos os casos, mas deve ser realizada quando a complexidade e o prazo do projeto justificam-na.

Segundo a função da avaliação

A avaliação de conformidade tem o controle como principal função. Consiste em apreciar ou medir o grau de consecução de objetivos determinados ou a conformidade dos resultados de um programa ou projeto com os critérios e metas previamente estabelecidos.

Citando Weilenmann (1980), Aguilar e Ander-Egg (1994) e Vergara (1980), Stenzel (1996:104-105) explicita brilhantemente os conceitos e diferenças entre a avaliação somativa e formativa:

Estes conceitos são originários do campo da educação, no contexto da avaliação de currículos. A "avaliação formativa" ocorreria enquanto a atividade a ser avaliada ainda estivesse em andamento, com a finalidade de melhorá-la, redirecioná-la. Em contraste, a "avaliação somativa" seria dirigida a um produto final, buscando verificar a efetividade da intervenção, bem como o potencial deste "produto" em relação a futuras aplicações.

Dito de outra forma, a Avaliação Formativa refere-se ao seguimento que se realiza durante o processo de execução de um programa ou projeto, com o objetivo de fornecer uma retroalimentação (feedback) aos responsáveis pela intervenção que está sendo avaliada, podendo realizar-se durante o desenvolvimento da intervenção, nas fases de diagnóstico, formulação, implementação da execução da mesma. A avaliação somativa, por sua vez, refere-se aos "resultados ou efeitos" da intervenção, sendo realizada ao final da mesma, daí também ser denominada de "avaliação final", cujos resultados servem para "determinar futuras ações" sobre a intervenção, no sentido de mantê-la, modificá-la ou suspendê-la.

Segundo a procedência dos avaliadores

A avaliação externa é conduzida por especialistas não vinculados à instituição executora do projeto e, por isso, por pessoas não envolvidas com os processos organizacionais. Esse não envolvimento possibilita maior objetividade na avaliação e, além disso, supostamente, esses avaliadores possuem maior experiência e são capazes de realizar comparações sobre eficiência e eficácia de diferentes soluções aos problemas enfrentados (Cohen e Franco, 2004). Além disso, com o distanciamento da instituição, podem escapar aos avaliadores externos várias das especificidades familiares aos executores.

A avaliação interna é realizada dentro da organização gestora do projeto, mas não por pessoas diretamente responsáveis por sua execução. Por ser realizada por pessoas conhecedoras da disciplina, "o fato de participar desse processo permite com freqüência compreender melhor as atividades que são avaliadas e enfocar de modo mais construtivo sua execução e as necessidades de ação futura" (Organização Mundial da Saúde, 1981, citado por Cohen e Franco, 2004:112). Apesar disso, a literatura especializada alerta para o risco de perda de objetividade uma vez que a organização agente seria "juiz e interessado" e que os avaliadores teriam idéias preconcebidas (e, portanto, não imparciais) a respeito do projeto (Cohen e Franco, 2004).

Na avaliação mista recorre-se a uma combinação das duas anteriores, fazendo com que avaliadores externos realizem seu trabalho em estreito contato com a equipe interna. Assim, busca-se eliminar os fatores negativos de ambas as avaliações anteriores (objetividade e conhecimento necessário à avaliação).

A avaliação participativa surge como alternativa democrática e resposta crítica aos três tipos anteriormente apresentados, que ausentam os beneficiários do projeto de sua avaliação. Cohen e Franco (2004:114) esclarecem que no processo de um projeto social a estratégia participativa prevê a adesão da comunidade no planejamento, programação, execução, operação e avaliação do mesmo e que na avaliação (independentemente da estratégia do projeto), existem instâncias em que a participação comunitária é imprescindível.

Já a avaliação por pares é utilizada sobretudo na comunidade científica e trata da avaliação de trabalhos por especialistas ou pesquisadores de áreas específicas. Pares, assim, são "os colegas daquele que está em julgamento [...] e que, por sua formação e experiência, são capazes de emitir opinião formada e confiável [...]" (Davyt e Velho, 2000, citados por Stumpf, 2006:3).

É ainda digno de nota que os autores Aguilar e Ander-Egg (1994) apresentam outro tipo de avaliação para esse critério: a auto-avaliação. Trata-se da possibilidade de que as próprias pessoas implicadas na execução ou realização do programa avaliem-no.

5. Caracterização das práticas de monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo

Todas as orientações para a ação fiscal estão consubstanciadas no Manual de procedimentos para as ações fiscais de combate ao trabalho análogo ao de escravo, editado em 2004.

Segundo o manual os "quesitos básicos que devem servir de guia aos coordenadores de demais componentes das equipes de fiscalização deverão ser extraídos das inspeções, registrados por fotos e, inclusive por filmagens" (MTE, 2004:15), além de outros elementos julgados importantes de acordo com as circunstâncias, que são:

▼ restrições à liberdade dos trabalhadores;

▼ vigilância armada;

▼ situação geográfica da propriedade (por intermédio do GPS);

▼ identificação das condições de trabalho;

▼ atividade econômica;

▼ equipamentos de proteção;

▼ acidentes e doenças;

▼ alimentação e fornecimento de água;

▼ jornada/descanso;

▼ sistema de barracão (servidão por dívida);

▼ retenção dolosa dos salários;

▼ total informalidade dos contratos de trabalho;

▼ violência cometida por "gato" (intermediário) ou proprietário ou a mando desses.

As respostas aos quesitos observados deverão estar claramente explicitadas no relatório de inspeção, juntamente com as entrevistas realizadas com os trabalhadores. Destaque-se, ainda, que "a antijuridicidade do trabalho análogo ao de escravo não requer uma seqüência necessária de circunstâncias para sua caracterização, podendo ocorrer sem a presença de uma ou mais circunstâncias das acima indicadas" (MTE, 2004:19).

Os relatórios de ação fiscal são registros administrativos destinados, sobretudo, a comprovar de forma inequívoca a ocorrência de violações penais, trabalhistas, previdenciárias, ambientais e aos direitos humanos. Como apontado pelo próprio Manual de procedimentos (2004:50) em análise

o relatório sobre a ação fiscal é o instrumento mais importante para acionar a rede de combate às formas contemporâneas de trabalho análogo ao de escravo, municiando as instituições com elementos e provas que possam levar seus praticantes à efetiva punição nas diversas áreas do poder estatal, atingidas pelo feixe de delitos e violações legais que envolvem essa prática nociva.

Quando da entrega dos relatórios à Secretaria de Inspeção do Trabalho, a Divisão de Fiscalização para Erradicação do Trabalho Escravo (Detrae/SIT) insere os dados no quadro de fiscalização móvel, que possui as seguintes informações: unidade da federação onde ocorreram as fiscalizações; número de operações; número de fazendas fiscalizadas; trabalhadores registrados; trabalhadores libertados; pagamento de indenização; autos de infração lavrados.

Esses são, portanto, os únicos dados acompanhados pela Secretaria com periodicidade mensal. Tais informações são apenas para as funções de controle e cumprem as exigências legais do Plano Plurianual. Os resultados são pouco compartilhados e não são retroalimentados, isto é, não geram aprendizado institucional.

Também não há conexão clara entre os dados acompanhados e a gestão do programa, nem tão pouco a definição clara e precisa de critérios ou indicadores para o monitoramento do programa.

Ressalta-se, ainda, o potencial progresso que o Sistema de Acompanhamento do Trabalho Escravo (Sisacte) poderá trazer em termos de transparência e tratamento das informações relacionadas ao programa. Trata-se de um sistema financiado pela Organização Internacional do Trabalho (OIT) que está em fase de homologação no Ministério do Trabalho e Emprego (MTE) e que estará disponível na internet visando à integração das ações do MTE, da OIT e de outras entidades públicas no combate ao trabalho escravo.

O Sisacte avança ao permitir o registro de denúncias online e seu acompanhamento pelo MTE e por contabilizar dados e gerar informações para a gestão dos processos de combate ao trabalho escravo. Suas principais funções são: denúncia, triagens, operação, fiscalização, tratamento de informações (consultas, relatórios e estatísticas) e qualidade.

Embora haja grande volume de dados colocados à disposição por meio das tecnologias de informação e de documentações e legislações específicas, esses dados necessitam de tratamento prático para que não sejam simplesmente utilizados como ferramenta de acompanhamento, mas sejam transformados em instrumentos de monitoramento e avaliação. Para tanto, a partir da próxima seção, propõe-se um sistema de monitoramento e avaliação que pode ser utilizado como ferramenta de gestão e gere aprendizado institucional.

6. Proposição de um sistema de monitoramento e avaliação para o Programa de Erradicação do Trabalho Escravo

Como enfatizado anteriormente, monitoramento e avaliação são ferramentas de gestão. São procedimentos pelos quais se pretende mensurar sistematicamente e objetivamente a relevância, desempenho e efeitos de um determinado projeto ou programa.

No que diz respeito ao Programa de Erradicação do Trabalho Escravo, a metodologia de monitoramento proposta neste artigo tem por finalidade levantar dados sobre os resultados preliminares, intermediários e finais trimestralmente obtidos na Secretaria de Inspeção do Trabalho e sobre os condicionantes (pressupostos) da execução do mesmo. O foco principal é a geração de informações precisas sobre o andamento do programa para a rápida e segura tomada de decisões.

A metodologia de avaliação, por sua vez, destina-se a mensurar a efetividade do programa, ou seja, os efeitos advindos da ação de erradicação do trabalho escravo e das ações integradas promovidas pelo Ministério do Trabalho e Emprego (MTE).

Em resumo, o objetivo principal do sistema de monitoramento e avaliação que ficará a cargo da Unidade de Monitoramento e Avaliação (UMA) do MTE é fornecer aos gestores do programa dados e apreciações que contribuam e auxiliem, de maneira eficaz e confiável, com o planejamento de ações, com o aprendizado com experiências passadas, com a alocação de recursos e com a divulgação de resultados. Numa concepção dinâmica, a metodologia pode ser resumida na figura 2 a seguir.

7. Plano de monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo

Usuários

Os usuários diretos do processo são: a secretária de Inspeção do Trabalho, gerente do programa, a Comissão Nacional para a Erradicação do Trabalho Escravo (Conatrae), órgão colegiado com a função primordial de monitorar a execução do Plano Nacional para a Erradicação do Trabalho Escravo e o Comitê de Coordenação dos Programas do MTE, responsáveis pelo contínuo monitoramento e gerência dos programas do MTE. Em segundo lugar, consideram-se o diretor de fiscalização e os coordenadores de equipes nas DRTs, bem como os gerentes de fiscalização das Delegacias Regionais do Trabalho. Em último plano, a área de comunicação social foi incluída como potencial usuária, assim como a Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão que, em última instância, responde pela avaliação dos programas do PPA.

Periodicidade

A periodicidade adotada para o monitoramento e avaliação respeitará a dinâmica da Secretaria de Inspeção do Trabalho. O monitoramento do programa será trimestral e a avaliação será anual.

Critérios do monitoramento e da avaliação

Como discutido anteriormente, a avaliação e o monitoramento são exames de qualquer intervenção planejada na realidade. Envolvem tanto julgamento, como atribuição de valores e mensuração.

Essa atribuição de valores é enunciada por meio dos critérios, que direcionam o olhar do avaliador. Assim, a discussão sobre quais critérios adotar é política e, portanto, deve ser realizada previamente com os atores envolvidos de forma a uniformizar o entendimento.

Neste artigo, foram definidos dois critérios para nortear a metodologia de monitoramento e de avaliação em reuniões com a Secretaria de Inspeção do Trabalho.

O monitoramento adotará os seguintes critérios:

▼ eficácia é a capacidade de gerar os produtos esperados. No caso do trabalho escravo esse critério vai se aplicar às atividades e aos produtos identificados no marco lógico do programa;

▼ tempestividade caracteriza-se pela execução de um serviço no momento oportuno. Também diz respeito à disponibilização de um bem ou serviço oportunamente. Esse critério será aplicado à dimensão insumos, visando aferir a disponibilidade de recursos financeiros e outros insumos imprescindíveis para a realização das atividades;

▼ suficiência é o equilíbrio entre os recursos financeiros destinados às ações e os recursos necessários para realizá-las. O critério se circunscreve à dimensão insumos.

A avaliação, por sua vez, adotará o critério:

▼ efetividade é a capacidade de produzir resultados permanentes, diretos e indiretos no caso do programa estudado. Esse critério será aplicado para verificar a redução da prática de exploração do trabalho escravo.

Para este artigo, o critério "eficiência", que busca medir a capacidade de produzir os resultados desejados com o menor dispêndio possível, foi descartado. Considerou-se que, no caso da escravidão, o benefício (liberdade) é demasiado intangível para a medição do custo/benefício do programa.

Modelo de monitoramento e dimensões focais

O modelo proposto para o Programa de Erradicação do Trabalho Escravo é o do monitoramento de pressupostos e produtos. A metodologia do modelo proposto vai se concentrar no acompanhamento dos resultados imediatos das ações de fiscalização e de prevenção ao trabalho escravo nas regiões mais afetadas, e também dos pressupostos básicos para que as ações possam ser empreendidas. Assim, buscou-se definir as perguntas específicas que serão respondidas no decorrer do processo de monitoramento, ou seja, as dimensões focais. No caso do programa em tela, as dimensões focais estão vinculadas aos pressupostos e aos produtos.

No primeiro caso, a necessidade do monitoramento reside na importância de se saber se os pressupostos básicos para a implementação do programa estão sendo cumpridos para que as ações possam tomar seu curso normal e gerar os produtos esperados. Desdobra-se na subdimensão insumo e na subdimensão planejamento.

No segundo caso, a dimensão relativa aos produtos está diretamente vinculada às ações do programa em si e se divide em duas subdimensões: resultados indiretos e resultados diretos.

Dimensões focais

Indicadores de monitoramento e de avaliação e linhas de base

Para Pnud (2002) indicadores são os meios para medir o que realmente acontece e comparar a realidade concreta com o planejado em termos de quantidade, qualidade e oportunidade. É uma variável quantitativa ou qualitativa que provê uma base simples e confiável para valorar conquistas, mudanças e desempenho. Já segundo Januzzi (2005:138)

os indicadores sociais permitem a operacionalização de um conceito abstrato ou de uma demanda de interesse programático. Eles apontam, indicam, aproximam, traduzem em termos operacionais a dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente.

Os indicadores devem guardar, assim, estreita relação com o objetivo programático, operacionalizado pelas ações e viabilizado pelos dados estatísticos e administrativos disponíveis.

No que diz respeito à classificação dos indicadores, entre as diversas lógicas existentes, este artigo optou por diferenciá-los de acordo com as dimensões focais em: indicadores de insumo, de processo e de resultado.

Linha de base

A linha de base de um indicador corresponde ao valor assumido por ele no momento imediatamente anterior ao início das ações ou, alternativamente, no momento do início das medições quando não houver dados anteriores ao começo do programa. Para Pnud (2002), a linha de base serve como ponto de partida para medir o desempenho do programa ou projeto e seu estudo descreve a situação anterior à intervenção pretendida.

Neste artigo, a linha de base de vários dos indicadores será obtida no Sistema de Acompanhamento do Trabalho Escravo (Sisacte). Quanto às informações para as quais não existem dados nos registros institucionais, a linha de base será estabelecida no primeiro ponto de monitoramento e avaliação.

Montagem dos indicadores

Com base nas dimensões focais e no marco lógico do programa, definiu-se uma lista de indicadores, montados de acordo com os objetivos do programa, para mensurar e avaliar produtos e o efeito esperado do programa.

Foram levadas em conta certas características básicas intrínsecas a tais instrumentos para que sejam úteis e também as dimensões focais já descritas. Buscou-se, também, ser econômico no número total de indicadores.

Indicadores de monitoramento

Indicadores de insumo:

▼ percentual de recursos liberados para as ações – visa medir se os recursos financeiros estão sendo liberados conforme previsto para a realização das ações. Esse indicador de suficiência será montado como uma relação entre o montante previsto para liberação no trimestre-base e o montante efetivamente liberado;

▼ número de pessoas capacitadas para a prevenção e a repressão do trabalho escravo – indicador será o número bruto de pessoas capacitadas no trimestre-base;

▼ percentual de ações fiscais para repressão do trabalho escravo planejadas – visa medir o quanto das ações realizadas são planejadas ou se essas limitam-se somente ao atendimento das denúncias procedentes. O indicador será a relação das ações fiscais planejadas e o número total de ações fiscais realizadas para repressão do trabalho escravo no trimestre-base.

Indicadores de processo:

▼ percentual de trabalhadores libertados que receberam indenizações trabalhistas – o indicador será a relação entre o número dos trabalhadores libertados que receberam indenizações trabalhistas e o total de trabalhadores libertados no trimestre-base;

▼ valor médio das indenizações trabalhistas recebidas – o indicador será a razão entre o total do valor pago de indenizações trabalhistas e o total de trabalhadores libertados no trimestre-base;

▼ percentual de trabalhadores libertados assistidos – visa medir o percentual de trabalhadores que receberam assistência após a libertação até o retorno à família. O indicador será a relação entre os trabalhadores libertados que foram assistidos e o total de trabalhadores libertados no trimestre-base;

▼ percentual de trabalhadores libertados beneficiados pelo seguro-desemprego – visa monitorar o percentual de trabalhadores libertados beneficiados pelo pagamento do seguro-desemprego de forma a criar um cenário que impeça a prática criminosa da submissão de trabalhadores à condição de escravos. O indicador será a relação entre os trabalhadores libertados que receberam seguro-desemprego e o total de trabalhadores libertados no trimestre-base;

▼ percentual de trabalhadores libertados incluídos no Cadastramento Único para programas sociais do governo federal (Cadúnico) – visa monitorar a inclusão de trabalhadores libertados no Cadúnico para serem incluídos em políticas sociais compensatórias de forma a criar um cenário que impeça a prática criminosa da submissão de trabalhadores à condição de escravos. Indicador será a relação entre os trabalhadores libertados incluídos no Cadúnico e o total de trabalhadores libertados no trimestre-base.

Indicadores de resultados:

▼ número de trabalhadores resgatados da condição análoga à de escravo – o indicador será o número bruto de trabalhadores resgatados no trimestre-base;

▼ número de empresas/pessoas autuadas por utilizar mão-de-obra escrava – o indicador será o número bruto de empresas e/ou pessoas multadas por utilizar mão-de-obra escrava no trimestre-base;

▼ percentual de empresas/pessoas autuadas incluídas no cadastro de empregadores – o indicador será a relação entre o número de empresas e/ou pessoas autuadas incluídas no cadastro de empregadores e o total de empresas e/ou pessoas autuadas por praticar este crime no trimestre-base.

Indicadores de avaliação

▼ estimativa do número de empresas/pessoas que utilizam mão-de-obra escrava – visa medir o tamanho do problema ao longo do tempo e, assim, estimar seu acréscimo ou decréscimo. O indicador será a relação entre o número de empresas e/ou pessoas no meio rural autuadas por utilizar mão-de-obra escrava e o número total de empresas rurais ao longo dos últimos cinco anos;

▼ percentual de denúncias procedentes – visa medir a eficácia da ação de fiscalização. O indicador será a relação entre o número de denúncias fiscalizadas e o número total de denúncias procedentes recebidas no ano-base;

▼ percentual de empresas/pessoas autuadas e condenadas penalmente – visa avaliar a responsabilização criminal dos infratores (ponto nevrálgico no combate à escravidão no Brasil). O indicador será a relação entre o número de empresas e/ou pessoas autuadas e condenadas penalmente e o número total de empresas autuadas no ano-base;

▼ percentual de empresas/pessoas autuadas mais de uma vez por utilizar mão-de-obra escrava – visa medir quão efetivas estão as ações do programa. O indicador será a relação entre o número de empresas e/ou pessoas autuadas mais de uma vez por utilizar mão-de-obra escrava e o número total de empresas e/ou pessoas autuadas no ano-base.

Métodos e técnicas para avaliação

O modelo proposto para o programa é a avaliação de resultados, neste caso visando medir os efeitos de médio e longo prazos, frutos dos produtos imediatos da erradicação do trabalho escravo.

Por ser uma atividade ilícita, não existe nenhum estudo abrangente sobre o universo a ser atendido quanto ao volume e à localização geográfica. O que há são projeções não científicas e mapas das localidades em que mais foram libertados trabalhadores e a região de onde provinham. Por essa razão, descartou-se o uso de grupos de controle.

Assim, definiu-se que a avaliação do programa em tela fosse baseada no método quasi-experimental diacrônico. Trata-se do modelo mais aconselhável quando não é possível o uso de grupos de controle para que sejam medidas as diferenças nos resultados entre aqueles que foram e que não foram atingidos pelas ações. Nesse caso, somente serão consideradas para efeito de avaliação as empresas/pessoas autuadas e os trabalhadores libertados da condição análoga à de escravo.

Outro fator que deve ser levado em conta é o caráter puramente quantitativo da avaliação, realizada por meio de pesquisa exploratória de dados primários e secundários. Os dados primários são coletados pelo próprio programa. Os dados secundários são úteis especialmente para estabelecer uma compreensão mais ampla do fenômeno sob estudo e serão buscados em várias fontes: levantamentos bibliográficos; Sistema de Acompanhamento do Trabalho Escravo (Sisacte); banco de dados de outras organizações (governo, Organização Internacional do Trabalho – OIT; Comissão Pastoral da Terra, ONGs); relatórios de fiscalização; solicitação do seguro-desemprego; levantamentos estatísticos diversos; bases de dados de pesquisas já realizadas.

Os métodos de coleta de informações são simples, mas contêm informações valiosas que podem propiciar uma compreensão consistente das modificações havidas nas vidas dos beneficiários. Os dados coletados deverão ser digitados e arquivados em uma base para que possam ser lidos e tabulados mediante a utilização de um software estatístico.

Instrumentos e procedimentos

O fornecimento dos dados necessários ao monitoramento e à avaliação será de responsabilidade da Secretaria de Inspeção do Trabalho, responsável pelo gerenciamento do programa. O período de coleta desses dados foi definido de acordo com as características do próprio monitoramento e da avaliação.

Dada a periodicidade trimestral do monitoramento, a coleta de dados será realizada mensalmente e consolidada no final na primeira semana do trimestre. No caso da avaliação, os dados referentes ao ano deverão ser consolidados na primeira quinzena de janeiro do ano seguinte. Assim, para o monitoramento, no segundo dia útil dos meses de março, junho, setembro e dezembro de cada ano, serão extraídos dados e formados relatórios por parte dos SITs. Para a avaliação, os dados e relatórios serão extraídos do sistema no segundo dia útil de janeiro.

Estratégia de retroalimentação

Um dos pilares de sustentação do Sistema de Monitoramento e Avaliação sugerido é a sua estratégia de retroalimentação. Ou seja, como os dados gerados serão utilizados pela direção do programa para a tomada de decisões, divulgação e aprendizado institucional.

O primeiro espaço para retroalimentação é o Comitê de Coordenação dos Programas do TEM, que discutirá e validará os resultados do monitoramento a cada trimestre e as conclusões da avaliação na primeira reunião de cada ano.

Sugere-se ainda que, após a validação no Comitê de Coordenação dos Programas, sejam realizadas oficinas trimestrais para apresentação dos dados do monitoramento, que deverão contar com a participação de representantes dos principais usuários do plano de monitoramento e avaliação, com o objetivo de discutir os dados colhidos e elaborar um plano de trabalho para implementação das recomendações, quando for o caso. Correlatamente e com os mesmos objetivos, uma vez ao ano, no mês de maio, serão realizadas oficinas de validação dos dados da avaliação.

A elaboração do plano de trabalho justifica-se para dar concretude à implementação das recomendações e também para facilitar a institucionalização das lições aprendidas com as atividades de avaliação e monitoramento.

Numa concepção dinâmica, a estratégia de retroalimentação teria o formato mostrado na figura 4.

Arranjo institucional

8. Considerações finais

Ainda que passado mais de um século desde a abolição formal da escravatura no Brasil, suas implicações culturais ainda não foram totalmente superadas. Embora a Constituição Federal de 1988 tenha garantido uma série de direitos aos trabalhadores, na prática ainda se observa uma lacuna entre direito formal e relações cotidianas de trabalho, sobretudo nas zonas de desmatamento da Amazônia Legal.

Em verdade, o trabalho escravo extrapola o mero descumprimento da lei trabalhista, dada a submissão do trabalhador a condições de trabalho desumanas e a falta de reconhecimento de quaisquer elementos de cidadania. Nesse sentido, o trabalho escravo contemporâneo representa a mesma violência aos direitos humanos do passado e é tão vantajosa economicamente quanto à época em que a escravidão era uma atividade legal.

Do ponto de vista internacional, o Brasil é amplamente reconhecido pelos avanços alcançados na erradicação do trabalho escravo. Embora existam ações para o combate desde 1995, o governo federal lançou, no ano de 2003, o Plano Nacional para a Erradicação do Trabalho Escravo, cujo eixo principal é voltado para a fiscalização, consubstanciado no Programa de Erradicação do Trabalho Escravo, integrante do Plano Plurianual 2004-07.

Este artigo buscou capturar as práticas de monitoramento e avaliação do programa em questão, com vistas a conferir se produzem informações relevantes para julgar sistemática e objetivamente sua relevância, desempenho e efeitos, para verificar se alguma mudança é necessária a fim de aperfeiçoá-lo.

A pesquisa realizada identificou que a sistemática atualmente adotada possui características que se aproximam mais de um acompanhamento do que de um monitoramento e uma avaliação do programa. Essa afirmação se fundamenta no fato de que os dados observados na ação de fiscalização, claramente explicitados no relatório de inspeção, são afetos às funções de controle/supervisão, cumprindo estritamente sua função legal. Adicionalmente, os resultados obtidos são pouco compartilhados, não há feedback, tampouco definição clara quanto a critérios ou indicadores para o monitoramento do programa.

Além do volume de dados, falta tratamento prático para transformá-los em instrumentos de monitoramento e avaliação. Por isso, a partir da revisão da literatura especializada, o trabalho avançou na proposição de um sistema de monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo, devidamente validado pelos gestores do programa.

Uma vez que a própria etimologia do termo "avaliação" induz a "atribuição de valor a algo", o sistema de monitoramento é inovador ao expressar esses valores por meio da adoção de critérios desenvolvidos, de forma a uniformizar o entendimento tanto para o monitoramento quanto para a avaliação. A partir das dimensões focais, foram determinados indicadores de insumo, processo e resultados e, visando ao aprendizado institucional, o sistema sugere uma estratégia de retroalimentação.

Ressalte-se, por fim, que o plano de monitoramento e avaliação proposto ajuda a determinar uma rotina em termos de datas ou formas de verificação. O plano só se tornará efetivo se de fato utilizado como uma ferramenta de apoio à gestão do programa, gerando aprendizado institucional.

Artigo recebido em dez. 2007 e aceito em maio 2008.

• AGUILAR, M. J.; ANDER-EGG E. Avaliação de serviços e programas sociais Petrópolis: Vozes, 1994.
• BRASIL. Presidência da República Federativa do Brasil. Plano Nacional para a Erradicação do Trabalho Escravo. Mar. 2003. Disponível em: <www.mte.gov.br/ Empregador/fiscatrab/trabescravo/ErradicacaoTrabalhoEscravo/default.asp>. Acesso em: 17 out. 2006.
• COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais Petrópolis: Vozes, 2004.
• CONSEIL SCIENTIFIQUE DE L'ÉVALUATION. Petit guide de l'évaluation de politiques publiques Paris: La Documentation Française, 1996.
• FIGUEIRA, R. A migração e o trabalho escravo por dívida no Brasil. In: SERVIçO PASTORAL DOS MIGRANTES (Org.). Travessia na desordem global: Fórum Social das Migrações. 2005. v. 1, p. 181-189.
• JANUZZI, Paulo de M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, Brasília: Enap, v. 56, n. 2, p. 137-160, abr./jun. 2005.
• ORGANIZAÇÃO INTERNACIONAL DO TRABALHO. Trabalho escravo no Brasil do século XXI 2005. Disponível em: <www.oitbrasil.org.br/index.php>. Acesso em: 16 out. 2006.
• PFEIFFER, Peter. Gerenciamento de projetos de desenvolvimento: conceitos, instrumentos e aplicações. Rio de Janeiro: Brasport, 2005.
• PROGRAMA DAS NAÇÕES UNIDAS PARA O DESENVOLVIMENTO (Pnud). Manual de seguimiento y evaluación de resultados – oficina de evaluación. New York: Pnud, 2002.
• RUA, M. das Graças. Avaliação de políticas, programas e projetos: notas introdutórias. 2003. ms.
• ______. Apresentação: monitoramento e avaliação de programas e projetos. Curso de Especialização em Gestão Pública. 2006. Brasília: Enap, 2007.
• ______. A avaliação no ciclo da gestão pública 2004. ms.
• SENTO-SÉ, Jairo Lins de Albuquerque. Trabalho escravo no Brasil na atualidade. São Paulo: LTr, 2000.
• SILVA, P.; MELO, M. O processo de implementação de políticas públicas no Brasil: características e determinantes da avaliação de programas e projetos. São Paulo: Nepp, 2000.
• SILVA, P. L. B (Org.). Modelo de avaliação de programas sociais prioritários relatório final. Campinas: Nepp/Unicamp, 1999.
• ______; COSTA, N. R. A avaliação de programas públicos: reflexões sobre a experiência brasileira. Brasília: Ipea, 2002.
• STENZEL, Ana Cecília Bastos. A temática da avaliação no campo da saúde coletiva: uma bibliografia comentada. 1996. Dissertação (Mestrado) Campinas: Programa de Mestrado em Saúde Coletiva da Faculdade de Ciências Médicas, Universidade Estadual de Campinas.
• STUFFLEBEAM, Daniel L. Evaluation models San Francisco: American Evaluation Association, 2001.
• STUMPF, Ida Regina C. Revisão pelos pares: do tradicional ao inovador. In: CONFERÊNCIA IBEROAMERICANA DE PUBLICAÇÕES ELETRÔNICAS NO CONTEXTO DA COMUNICAÇÃO CIENTÍFICA, 1., 2006. Anais.. Brasília: Universidade de Brasília.
• WEISS, Carol H. Evaluation, methods for studying programs and policies New Jersey: Prentice Hall, 1998.

*

Elaborado a partir do trabalho monográfico apresentado como requisito parcial para obtenção do grau de especialista em gestão pública pela Escola Nacional de Administração Pública (Enap), em setembro de 2007.

1

A Comissão Pastoral da Terra (CPT), órgão ligado à Igreja Católica, estima que haja pelo menos 25 mil pessoas reduzidas a essa condição no Brasil (OIT, 2005:23). Ressalte-se que esse número não possui base científica alguma. A CPT trabalha com a estimativa de que para cada pessoa libertada, outras três estariam em cativeiro. Assim, se o pressuposto da CPT for tomado como verdadeiro, o problema da escravidão jamais se reduz, o que seria um contra-senso.

Datas de Publicação

• Publicação nesta coleção
  15 Dez 2008
• Data do Fascículo
  Out 2008

Histórico

• Aceito
  Maio 2008
• Recebido
  Dez 2007