Desafios à Gestão do Desempenho: análise lógica de uma Política de Avaliação na Vigilância em Saúde

Challenges to Performance Management: logical analysis of an Evaluation Policy in Health Surveillance

Resumo

Reconhecer as contribuições da área de avaliação no suporte ao desempenho das políticas de saúde, é admiti-la de forma contínua e permanente no contexto da gestão. Isso requer um conjunto de procedimentos, para além das práticas de monitoramento e avaliação, denominado gestão do desempenho. O objetivo desse estudo foi analisar a lógica da Política de Avaliação da Vigilância em Saúde (VS) de Pernambuco, comparando-a com a Política canadense correspondente. Para tal, foi realizado um estudo qualitativo, análise lógica da teoria do programa, utilizando-se como ferramenta o desenho do modelo lógico da gestão do desempenho, e sua respectiva matriz de análise e julgamento com os critérios a serem avaliados. Na VS, foram entrevistados 9 informantes-chave e analisados documentos; o modelo canadense foi analisado com base em um documento produzido por Lahey (2010). As duas políticas estudadas são convergentes, possuindo os elementos necessários à gestão do desempenho. Porém, enquanto a avaliação teve destaque no modelo canadense, o monitoramento constituiu-se o eixo condutor da institucionalização das práticas avaliativas na VS. Algumas lições aprendidas no modelo canadense podem ser recomendadas, como o desenvolvimento de um plano de avaliação, pautado no nível estratégico e decisor da VS.

Palavras-chaves:
Avaliação em Saúde; Avaliação de Desempenho; Vigilância em Saúde

Abstract

Acknowledging the contributions of the assessment area in supporting the performance of health policies, is to admit it in an ongoing and permanent way in the management context. This requires a set of procedures that go beyond monitoring and evaluation practices, known as performance management. The goal of this study was to analyze the logic of the Health Surveillance (HS) Evaluation Policy of Pernambuco, comparing it with the corresponding Canadian policy. For this purpose, a qualitative study of logical analysis of the program theory was carried out, using as a tool the design of the logical model of performance management and its respective matrix of analysis and judgment with the criteria to be evaluated. In HS, 9 key-informants were interviewed, and documents were analyzed; the Canadian model was analyzed based on a paper written by Lahey (2010). Both policies analyzed by this study are convergent and have the necessary elements for performance management. While the evaluation featured largely in the Canadian model, monitoring was the driving force behind the institutionalization of assessment practices in HS. Some lessons learned in the Canadian model can be recommended, such as the development of an assessment plan, based on the strategic and decision-making level of HS.

Key words:
Health Assessment; Performance Evaluation; Health Surveillance

Introdução

O desempenho dos sistemas e políticas de saúde tem se constituído um importante desafio para os gestores em todo o mundo, ainda que as organizações tenham objetivos diferentes. A medição do desempenho é multidimensional, podendo se dar em termos de qualidade, eficácia, eficiência, equidade, produtividade, entre outros. Todavia, independente do modelo utilizado, dos mais fragmentados, aos mais complexos, o monitoramento e a avaliação tornam-se práticas essenciais em qualquer organização de alto desempenho^1-4.

Uma dificuldade comum encontrada pelos gestores é sobre quais estratégias utilizar para ajustar e manter o monitoramento e a avaliação como atividades rotineiras da gestão, de modo que alguns países têm buscado avançar nesta questão¹.

No Canadá, pioneiro na gestão baseada em resultados e na avaliação da governança pública, o monitoramento contínuo do desempenho fornece os dados necessários para subsidiar a realização de avaliações periódicas, todavia precisa-se avançar no estabelecimento claro de propósitos e usos tanto do monitoramento, quanto da avaliação¹. A política de avaliação governamental tem evoluído, com o amadurecimento dos envolvidos e identificação das necessidades ao longo do tempo, conseguindo propor um desenho de complementaridade das duas práticas, embora a operacionalização disso ainda constitua um desafio².

Nos Estados Unidos, a Lei de Desempenho e Resultados do Governo, de 1993, tinha um foco na medição do desempenho, que foi mantida na sua revisão, em 2010. Apesar da medição de desempenho ter sido implementada em diversos níveis das agências governamentais, não há muitas evidências de que os dados gerados por esse processo foram utilizados de forma satisfatória pelos envolvidos. Avaliações são realizadas pontualmente por alguns programas ou são contratadas, de modo que o monitoramento e a avaliação têm caminhado por rumos distintos, embora paralelos³.

No Brasil, são várias as iniciativas de implantação de políticas ou estratégias de monitoramento e avaliação pelo Ministério da Saúde (MS), com focos e objetivos distintos, e vulneráveis às mudanças dos gestores nacionais. Em 1998, a Política Nacional de Avaliação do Sistema Hospitalar (PNASH), reformulada, em 2004, para Política Nacional de Avaliação dos Serviços de Saúde (PNASS)⁵; em 2003, a Política Nacional de Monitoramento e Avaliação da Atenção Básica⁶; em 2006, a Política de Avaliação do Desempenho do Setor Saúde; em 2008, o Projeto de Avaliação de Desempenho de Sistemas de Saúde (PROADESS); o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB), criado em 2011; o Índice de Desempenho do SUS (IDSUS), criado em 2012 para monitorar o desempenho dos sistemas municipais e estaduais de saúde⁷; o Programa de Qualificação das Ações de Vigilância em Saúde (PQA-VS), que vincula o alcance de metas ao repasse de um valor financeiro a estados e municípios, desde 2013⁸.

No estado de Pernambuco, a Secretaria Executiva de Vigilância em Saúde (SEVS), desde 2011, instituiu algumas iniciativas para constituição de uma Política de Monitoramento Avaliação, articulada à gestão, ou seja, ao contexto político e decisório. Vale ressaltar, o Monitoramento do Desempenho da Gestão da Vigilância em Saúde, cuja finalidade é atuar como mecanismo de indução da qualificação e descentralização das ações de vigilância em saúde⁹, os estudos avaliativos realizados por profissionais do serviço, como produto de cursos de pós-graduação ofertados pela Secretaria; e os processos de monitoramento específicos dos programas¹⁰.

Ainda que todas essas iniciativas levem em conta práticas de avaliação guiadas por uma política, considerando o pressuposto de que: “uma política de avaliação é qualquer regra ou princípio usado por um grupo ou uma organização para guiar suas decisões e ações ao realizar avaliações”¹¹, o desafio é a institucionalização dessas práticas¹². Políticas de avaliação devem ser sistematizadas, escritas e comunicadas a respeito do que pretendem fazer, que recursos devem ser investidos e quem são os responsáveis, para assim, serem implementadas de forma consciente e consequente^11,13.

Nesta perspectiva, Cousins et al.¹⁴ sugeriram elementos que expandem a capacidade organizacional de fazer e usar a avaliação como: capacidade de aprendizagem organizacional; estruturas organizacionais de apoio; capacidade de fazer avaliação; atividades de construção de capacidade avaliativa; tipos específicos de atividades de avaliação; participação das partes interessadas na avaliação; uso dos resultados da avaliação; uso do processo de avaliação; condições de mediar a utilização da avaliação.

Hunter e Nielsen¹, em 2013, sistematizaram esses elementos denominando de Gestão do Desempenho - um conjunto de procedimentos que ajustam taticamente ações delineadas para garantir o alcance dos objetivos e metas. O modelo agrega 4 atributos: liderança; sistemas de responsabilidades e orçamento; sistemas de medição e monitoramento; e avaliação, como processos interligados que buscam assegurar a produção de valor organizacional e de governança pública¹.

Muito se sabe sobre a importância de medir ou avaliar o desempenho das intervenções, como uma estratégia de qualificação contínua do processo de trabalho, com um bom número de teorias e artigos publicados^15-17. Todavia, pouco se conhece ou se sistematiza a respeito da gestão desse desempenho, enquanto estratégia para criar uma cultura de monitoramento e avaliação, com todos os elementos necessários para o sucesso desses esforços^13,18.

Ante ao exposto, mesmo diante de algumas estratégias para institucionalização do monitoramento e a avaliação, faz-se necessário saber se os elementos necessários à gestão desses processos estão presentes.

O objetivo desse estudo foi analisar a lógica da política de monitoramento e avaliação constituída na SEVS, em Pernambuco, a partir dos elementos propostos para a Gestão do Desempenho, comparando-a com a Política de Monitoramento e Avaliação do governo canadense.

Método

Estudo de caso, qualitativo¹⁹, optando-se pela realização de uma pesquisa avaliativa, do tipo análise lógica²⁰, da Política de Monitoramento e Avaliação da Secretaria de Vigilância em Saúde de Pernambuco (SEVS), na gestão compreendida entre os anos de 2011 a 2014.

A SEVS é uma das seis Secretarias Executivas da Secretaria Estadual de Saúde de Pernambuco, no Brasil, responsável pelo conhecimento e controle dos determinantes, riscos e danos à saúde da população, com a finalidade de recomendar e adotar medidas de promoção, prevenção e controle. Esta Secretaria agrega a vigilância de doenças transmissíveis, agravos não transmissíveis, promoção da saúde, saúde do trabalhador, sistemas de informação, além das vigilâncias ambiental e sanitária, e do laboratório de saúde pública. As práticas de monitoramento e avaliação são transversais a todos os programas da SEVS²¹.

A análise lógica é uma avaliação orientada pela teoria, usando conhecimento científico disponível, provas científicas existentes ou conhecimentos especializados. Seu objetivo é identificar as melhores maneiras de se alcançar os efeitos desejados, identificando características importantes das intervenções e as condições críticas necessárias para facilitar sua implementação^20,22.

Na estratégia da pesquisa, seguiram-se os três passos da análise lógica²²:

1. O desenho do modelo lógico: utilizou-se o referencial teórico de Gestão do Desempenho proposto por Hunter e Nielsen¹, complementado pela estrutura conceitual proposta por Cousins et al.¹⁴, que trata dos elementos necessários à expansão da capacidade organizacional de fazer e usar a avaliação.

O modelo lógico explicitou quatro componentes da Gestão do Desempenho, estabelecendo uma cadeia plausível entre a estrutura necessária, as atividades e os resultados esperados (curto, médio e longo prazos)¹⁸, sendo: Monitoramento, no sentido de realizar os ajustes em tempo real, aprendendo com o trabalho e buscando caminhos para adaptar-se estrategicamente à condições emergentes; Avaliação para determinar o que está sendo feito e está sendo alcançado, como, quão bem, com qual finalidade e se tem se expressado em resultados mensuráveis ou impactos; Capacidade organizacional, cujo objetivo é o de desenvolver o conhecimento e as habilidades necessárias à realização da gestão do desempenho e uso adequado das informações; e o Compartillhamento e Uso da Informação produzida, para a garantia do uso dos processos e dos resultados do monitoramento e avaliação. A partir desses componentes foram delineados os outros elementos do modelo lógico (Figura 1).

Figura 1
Modelo lógico da gestão do desempenho, 2018.

2. Desenvolvimento do quadro conceitual: optou-se por utilizar a Política de Avaliação Canadense como uma intervenção comparativa, cuja evolução do desenvolvimento, em 30 anos de existência, foi descrita e analisada por Lahey², em 2010, e publicada pelo Independent Evaluation Group (IEG) do Banco Mundial. O documento utilizado fornece uma visão geral do sistema, delineando suas principais características, organização, atores e papéis chaves em todos os níveis, iniciativas de M&A².

3. Avaliação da teoria do programa: com base no modelo lógico, foi construída uma matriz de análise contendo os critérios avaliados (Quadro 1). Na análise, extraiu-se da fala dos entrevistados todas as evidências relevantes aos critérios estabelecidos¹⁹. A matriz subsidiou a construção de um roteiro semiestruturado para a coleta de dados, a partir dos quais foram realizadas entrevistas com informantes-chave e analisados os documentos.

Quadro 1
Matriz de análise e julgamento da gestão do desempenho, 2018.

Elementos do modelo lógico	Critérios
Estrutura Organizacional de apoio	Existência de líderes operacionais	Estrutura
	Existência de gerentes operacionais
	Existência de um sistema de responsabilidades
	Existência de bancos de dados/Sistemas de informação
	Existência de unidades de monitoramento e avaliação
	Existência de orçamento
Monitoramento	Teoria da mudança (desenho da intervenção)	Processo e resultado
	Elaboração de instrumentos
	Coleta e análise dos dados
	Definição de critérios e indicadores
	Prestação de contas
	Cultura de monitoramento
	Influência do processo e resultados do monitoramento
	Tomada de decisão
Avaliação	Desenho de avaliações internas e externas
	Validação dos dados internos de monitoramento
	Realização de ajustes táticos e estratégicos
	Realização de avaliações sistemáticas, de acordo com as necessidades do serviço
	Cultura de avaliação
	Influência do processo e resultados das avaliações
	Tomada de decisão
Capacidade organizacional	Comunicação suficiente
	Acompanhamento do trabalho
	Incentivo ao uso das informações
	Definição de papéis
	Responsabilização
	Promoção de cursos de formação na área
	Suporte e incentivo à aprendizagem
	Trabalho em equipe
	Aprendizagem em serviço
Compartilhamento e uso das informações	Relatórios/publicações de desempenho
	Estratégias de divulgação, difusão e compartilhamento da informação

• Fonte: A autora.

Os informantes-chave foram os 6 integrantes do colegiado gestor da SEVS, diretores e gerentes que detêm a visão estratégica da gestão; além de 4 gerentes de diretorias distintas, mesclando o olhar do grupo entrevistado. Além das entrevistas, foram analisados os seguintes documentos: Monitoramento do Desempenho da Gestão da Vigilância em Saúde, de 2014; Monitoramento do Desempenho da Gestão da Vigilância em Saúde Pernambuco 2012 a 2015; Oficina de Monitoramento do Desempenho da Gestão Regional da Vigilância em Saúde, de 2012. A coleta de dados foi realizada nos meses de julho e agosto de 2017.

O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP).

Resultados e discussão

A princípio, é necessário demarcar as intervenções comparadas nesse estudo, no sentido de aproximar a atuação dos níveis organizacionais para a análise da gestão do desempenho. Do Sistema de Monitoramento e Avaliação Canadense foram utilizados os departamentos federais, aqui denominados departamentos canadenses (DC), por se assemelharem à conformação de uma Secretaria Executiva, neste caso, a SEVS.

Embora o termo Gestão do desempenho não se expresse nas falas e documentos, tal como abordado por Hunter e Nielsen¹, ele é explicitado, na medida em que a mobilização da estrutura e a condução dos processos na intervenção estudada, seja com base no monitoramento, de “enfoque gerencial e normativo”; ou na avaliação, de “natureza estratégica e investigativa”¹³, promovem as reflexões e ajustes contínuos e necessários ao alcance das metas, contribuindo para a institucionalização dessas práticas, conforme Quadro 2.

Quadro 2
A gestão do desempenho na Secretaria Executiva de Vigilância em Saúde de Pernambuco, 2018.

Elementos do Modelo Lógico da GD	Gestão Do Desempenho (GD) na Secretaria Executiva de Vigilância em Saúde (SEVS)
Objetivos do M&A	- fortalecer o processo de gestão da vigilância em saúde VS com foco no desempenho e responsabilização, fomentando a cultura de monitoramento e avaliação (M&A) - contribuir para a tomada de decisão oportuna e qualificada, melhorando a qualidade e a transparência da gestão
Estrutura Organizacional de apoio	- política de M&A da SEVS alinhada com o Modelo Integrado de Gestão do governo - líderes operacionais integrantes do colegiado gestor da SEVS: secretário executivo, diretores, gerente de M&A - gerentes operacionais integrantes da unidade responsável pelo M&A; gerentes e coordenadores dos programas - Sistema de responsabilidades: colegiado gestor: tomadores de decisão que garantem as condições necessárias, fomentam as ações responsáveis pelo M&A: organizam a comunicação com os programas; coleta e análise dos dados; atualização das informações; revisão de indicadores e metas gerentes e coordenadores: coleta e análise dos dados; participação das reuniões; responsáveis pelos encaminhamentos. avaliadores: técnicos e gestores selecionados no mestrado de avaliação em saúde - unidade de M&A: Gerência de Monitoramento e Avaliação da Vigilância em Saúde (não é exclusiva de M&A) - sistemas de informação em saúde (SIM, Sinasc e Sinan) são as principais fontes de coleta de dados do monitoramento, assim como relatórios e atas de reuniões. - Parte do orçamento da VS é destinado ao desempenho e às recomendações das avaliações.
Monitoramento	- o monitoramento do desempenho da gestão da VS é transversal a todos programas - desenho do modelo lógico, com definição dos objetos prioritários, indicadores e metas estaduais e municipais- elaborado o instrumento de coleta dos dados, o instrutivo para o correto preenchimento e o painel de monitoramento - nas reuniões trimestrais são identificados entraves, traçados encaminhamentos e revisadas as estratégias - participam das reuniões o Secretário Executivo, assessores, diretores, gerentes e a unidade de avaliação - o monitoramento faz parte da rotina dos programas em graus e formatos variáveis - algumas diretorias e gerências monitoram seus programas específicos, com a ajuda da unidade de avaliação na construção dos modelos lógicos e definição de indicadores
Avaliação	- os objetos das avaliações foram definidos com base nas necessidades e prioridades do serviço, facilitando o uso e aplicação do conhecimento produzido - as avaliações foram produtos de monografias, dissertações e teses de cursos de pós-graduação promovidos ou incentivados pela SEVS - os pesquisadores foram os profissionais da VS, que continuavam sua formação, na medida em que se instrumentalizavam para a incorporação do M&A na sua rotina e para o uso e aplicação do conhecimento produzido - algumas pesquisas contaram com o apoio dos técnicos das equipes que o pesquisador integrava, tanto no desenho do método, quanto no seu desenvolvimento - o monitoramento subsidiou as necessidades de estudos avaliativos, porém nem sempre foi intencional.
Capacidade institucional	Desenvolvimento de competências: - a unidade de avaliação capacita os programas em serviço para instrumentalização no processo - estímulo aos profissionais à realização de pós-graduações, com o apoio à construção de projetos de pesquisa - oferta de especialização e mestrado de avaliação em saúde para técnicos e gestores da VS - incentivo à participação dos técnicos em eventos científicos para apresentação dos estudos Acompanhamento/supervisão do trabalho: - o Secretário Executivo supervisiona a implementação das estratégias para o alcance das metas; - a supervisão da qualidade dos dados repassados pelos programas é feita pelos diretores e gerentes dos programas - nos três meses de intervalo entre as reuniões de monitoramento, os encaminhamentos são acompanhados pela unidade de avaliação, junto aos responsáveis por cada um deles - no que se refere às avaliações, não houve mecanismos institucionais de acompanhamento ou supervisão Responsabilização e trabalho em equipe: - todos os programas participaram da construção do monitoramento e definição dos indicadores prioritários - alguns programas inseriram o M&A no seu processo de trabalho, refletindo sobre como essas práticas podem contribuir para nortear e aperfeiçoar suas ações - outros programas, entendem a importância, mas não conseguem colocar na rotina - em alguns programas, o “rótulo” de monitoramento e avaliação inibe sua aceitação, seja porque não valorizam, seja por não se vêm no processo - a principal dificuldade é a co-responsabilização da assistência à saúde nas estratégias que dependem dela Regras e expectativas bem definidas: - as regras são estabelecidas no colegiado gestor (periodicidade do monitoramento, definição dos programas envolvidos, condução das reuniões, aprovação dos encaminhamentos/prazos/ responsáveis); - existe expectativa de implantar um business intelligence (BI) para o monitoramento, agilizando a tomada de decisão; - espera-se que as avaliações sejam instituídas na rotina dos programas, assim como o monitoramento do desempenho Flexibilidade e ajustes sistemáticos: - abertura dos profissionais da vigilância para uma nova forma de fazer monitoramento de indicadores de estrutura e processo, e não apenas indicadores epidemiológicos - valorização da cultura de M&A pelos gestores influenciando a flexibilização das práticas e aposta no novo - anualmente, metas são atualizadas, com o objetivo de avançar na implementação das ações - mudança de indicadores é realizada quando extremamente necessária e recomendável, considerando a manutenção da comparabilidade com os anos anteriores.
Compartilhamento e uso das informações	- a reunião de monitoramento gera um relatório trimestral com encaminhamentos, enviado para os responsáveis - anualmente, os resultados do monitoramento são divulgados em um caderno impresso e em meio eletrônico - anualmente é elaborado e divulgado entre os programas um instrutivo, com orientações sobre o monitoramento - o conhecimento produzido nos processos de M&A é compartilhado internamente em reuniões dos programas; com o nível regional e municípios; com instituições de ensino e pesquisa - algumas avaliações foram publicadas em periódicos científicos ou como capítulo de livros
Resultados alcançados	- as principais finalidades do M&A foram cumpridas: a reflexão sobre o processo de trabalho, o refinamento do olhar estratégico dos gestores influenciando suas equipes, a qualificação da gestão - resultados foram citados: profissionais contratados; insumos e equipamentos comprados; capacitações realizadas nos temas mais problemáticos; descentralização do monitoramento do desempenho para o nível regional; qualificação dos sistemas de informação e a reformulação de instrumentos gerenciais - há consenso de que há uma cultura de monitoramento na SEVS, pela sistematicidade do processo - não há consenso de que há uma cultura de avaliação na SEVS, uma vez que as avaliações estiveram atreladas aos cursos de pós-graduação.

• Fonte: A autora.

Ao comparar os Objetivos, as duas intervenções buscam, nas práticas de monitoramento e avaliação, fontes essenciais de informação para a qualificação da gestão e a tomada de decisão, por meio do desenvolvimento da capacidade técnica e valorização do aprendizado^23,24. Ambas prezam pela transparência e “imparcialidade” das informações produzidas, o que é compreensível pela proximidade dos envolvidos com os objetos desses processos, porém revela uma controvérsia com os autores que discorrem sobre a avaliação sobre a isenção de neutralidade no juízo de valor, por estar inserido num contexto organizacional/político, e revestido de intencionalidades e valores^24-26.

Com relação ao componente Estrutura Organizacional, a política de avaliação de ambas está alinhada com uma diretriz maior de governo, embora a SEVS não possua um documento normatizado que explicite o arcabouço geral das suas práticas. Outra questão que as diferencia é o fato dos DC contarem com uma liderança central do governo no fomento e supervisão da política, o que não acontece na SEVS. Líderes e gerentes operacionais; um sistema de responsabilidades, definindo as atribuições dos envolvidos; e uma unidade de M&A, são identificados nas duas propostas. No sistema canadense foi constituído um Comitê de Avaliação, cujas atribuições na SEVS são exercidas no colegiado gestor: determinar prioridades, acompanhar o desenvolvimento das atividades, revisar a aprovar os planos e relatórios. Ambas destinam orçamento para o M&A. Todas essas questões relacionadas à estruturação e formalização do M&A foram defendidas por Mayne¹⁸, Mehrotra²⁷, Nielsen e Hunter²⁸, e são determinantes para a efetivação da gestão do desempenho.

Quanto ao Monitoramento, de forma geral, observam-se similaridades nas duas intervenções, com o desenvolvimento de macro e micro estratégias. Na SEVS, o Monitoramento do Desempenho da Gestão da Vigilância em Saúde é transversal a todos os programas, e foi instituído a partir do desenho do modelo lógico da Gestão da Vigilância em Saúde por atores-chave do serviço e especialistas, com definição de indicadores traçadores dos programas e representativos das ações delineadas nos componentes, etapas importantes para a elucidação e consenso do que vai ser monitorado^20,29. Com base nessa construção, um painel foi elaborado para o monitoramento trimestral do desempenho das gestões estadual e municipais, promovendo diálogo entre os programas e traçando encaminhamentos que viabilizassem o alcance das metas⁹. A interação e cooperação entre os atores (Secretário Executivo, assessores, diretores e gerentes dos programas, unidade de avaliação) promoveram uma influência coletiva na institucionalização desse processo^12,30, fazendo com que alguns programas, por iniciativa própria e com o apoio da unidade de avaliação, elaborassem seus instrumentos para monitoramento de indicadores mais operacionais.

No sistema canadense, para o monitoramento do desempenho, um “modelo macro lógico” foi desenhado, explicitando como todos os programas estão interligados aos resultados departamentais, com definição de indicadores que representam elementos chave do desempenho. Nos programas, foi realizado o mesmo movimento, com o delineamento dos modelos lógicos individuais^20,29. Não há detalhes sobre como esse processo se dá nos departamentos e programas.

O componente Avaliação se configurou de forma diferente na SEVS e nos DC, embora os dois precisem, em maior amplitude, tornar as informações do monitoramento acionáveis à avaliação^31,32. Houve uma “complementariedade metódica”²⁸ entre as duas propostas. No Canadá, existem práticas e instrumentos na rotina que contribuem com a sustentabilidade da avaliação²⁹. Um plano quinquenal é elaborado, onde os chefes adjunto e de avaliação definem as prioridades da avaliação para cada ano, que passam pela aprovação do Comitê Sênior. Via de regra, os objetos das avaliações são os programas e são realizadas pelas unidades internas, não configurando avaliações formais. Já na SEVS, os estudos avaliativos estão vinculados a cursos de pós-graduação, o que lhes confere formalidade; e embora não haja planejamento sistemático de prioridades, sugerindo uma característica de pontualidade, elas foram definidas conjuntamente, pelos pesquisadores, que eram gestores ou técnicos do serviço, e pela equipe das áreas técnicas que eles integravam, considerando o contexto e necessidades da gestão^33,34. Logo, ao tempo que os profissionais tinham a oportunidade de dar continuidade à sua formação, instrumentalizavam-se para defender, usar e compartilhar a avaliação³⁵.

No componente Capacidade Institucional, várias questões foram abordadas. As duas políticas valorizam e incentivam o desenvolvimento contínuo das competências relacionadas ao M&A, como enfatizam Cousins et al.¹⁴ numa estrutura conceitual para fazer e usar a avaliação. Porém, o “foco na aprendizagem” foi divergente: nos DC há distinção no nível de treinamento, sendo mais avançado para os avaliadores, e básico para os gerentes de programas. Tanto o governo, quanto associações de avaliadores e universidades são responsáveis pela construção da capacidade avaliativa. Na SEVS, o investimento feito na formação dos profissionais, tanto a capacitação em serviço, quanto no incentivo e oferta de cursos básicos, especialização e mestrado na área, foi uma diretriz transversal a todos os envolvidos^18,27.

A finalidade precípua do acompanhamento/supervisão do trabalho, tem sido, tanto na SEVS, quanto nos DC, a busca permanente pela credibilidade e legitimidade dos processos, o que de acordo com Cruz²⁴ demanda grande esforço na escolha dos métodos e abordagens mais adequados. Esse acompanhamento mais amiúde, no sentido de garantir a confiabilidade das informações e efetividade do processo, na SEVS é feito no monitoramento do desempenho da gestão; enquanto que nos DC, parece estar mais relacionado às avaliações.

Quanto à responsabilização e trabalho em equipe, na SEVS há uma multiplicidade de atores e valores envolvidos, com variados níveis de conhecimento e influência, o que para DeGroff e Cargo³⁶ e Hojlund³⁷ propicia níveis de acedência diferentes entre os propulsores da ação. Alguns programas inseriram o M&A no seu processo de trabalho, refletindo sobre como essas práticas podem contribuir para nortear e aperfeiçoar suas ações. Outros, entendem a importância, demonstram interesse em colocar na rotina, mas não conseguem, seja por dificuldade de diálogo com a equipe sobre o tema, seja por não priorizar essas atividades nas agendas. E por último, poucos envolvidos adotaram as práticas coercitivamente, cumprindo as etapas pela “pressão” organizacional, mas dissociada do seu trabalho cotidiano, por não valorizarem, ou não conseguirem se ver no processo. Nos DC, os gerentes de programas, avaliadores e o comitê sênior são responsáveis pela integração do M&A na tomada de decisão do departamento e no estímulo a uma cultura de resultados. Não há relatos sobre as atitudes dos profissionais, porém foi citado no documento que o fato dos gerentes serem envolvidos no planejamento dos projetos, faz com que eles se sintam responsáveis por implementar as recomendações sugeridas.

As duas políticas possuem regras e expectativas bem definidas, com a diferença de que na SEVS, as regras são estabelecidas pelo secretário executivo com o colegiado gestor, enquanto que nos DC, as competências, normas e padrões de M&A são definidos na agência central, e não nos departamentos. As expectativas são distintas, uma vez que na SEVS pretende-se avançar na tecnologia e qualidade da informação, construindo ferramentas que disponibilizem a informação em tempo real para agilizar a tomada de decisão dos gestores; e também, instituir a avaliação como pauta no planejamento e rotina da Secretaria, como já debatido por Hartz¹³. Já nos DC espera-se que o M&A cumpra seu papel de explicitar como os departamentos estão funcionando; e traz uma expectativa não realista de que o produto dessas práticas consiga sempre atender às necessidades políticas, quando na verdade, Cousins et al.¹⁴ e Hartz³⁴ defendem que o contexto deve balizar o que, quando e como elas podem ser utilizadas.

A flexibilidade e ajustes sistemáticos são imprescindíveis, já que o objetivo do M&A é ser indutor de mudanças e promover melhorias contínuas, conforme destacado por Costa et al.⁹, e os dois sistemas parecem estar sensíveis às necessidades de adaptação. É importante destacar na SEVS, o processo de aceitação dos profissionais, no que se refere à utilização de novos conceitos de monitoramento e avaliação, que não fossem apenas voltados para os indicadores epidemiológicos. O monitoramento de indicadores de estrutura e processo possibilitou desvendar as competências da vigilância em saúde no alcance das metas dos indicadores epidemiológicos, que geralmente estão relacionados aos resultados. Nos DC, a experiência acumulada pela política de M&A desde a sua formalização, tem facilitado a realização dos ajustes, inclusive na estrutura de desempenho dos departamentos.

O Compartilhamento e uso das informações são discutidos por vários autores^38-41, podendo ser feito de várias formas (compartilhamento, transferência, difusão, disseminação, translação, implementação), a depender do tipo de informação, do conhecimento que se queira transformar em ação, do público e do contexto. Na SEVS, as informações produzidas pelo monitoramento do desempenho foram compartilhadas com os programas; com o nível regional; municípios e instituições de ensino e pesquisa. Houve translação do conhecimento produzido pelas avaliações, os programas relacionados aos objetos dos estudos usaram e aplicaram as informações para realizar mudanças. Já nos DC, a difusão e disseminação das informações alcançam uma maior amplitude, uma vez que os relatórios são enviados para a agência central, parlamento, e são divulgados na mídia. Internamente, os relatórios são transformados em planos de ação, dando concretude às recomendações.

Alguns Resultados alcançados foram relatados pelos entrevistados ou citados nos documentos. Na SEVS, as mudanças promovidas pelo M&A estiveram relacionadas a melhorias estruturais (contratação de profissionais, compra de insumos e equipamentos) e do processo de trabalho (qualificação dos profissionais e dos sistemas de informação). Considera-se que haja uma cultura de monitoramento na SEVS, porém a avaliação precisa ser institucionalizada, com definição de fluxos e papéis, independente do interesse dos profissionais em dar continuidade à sua formação. Nos DC, as mudanças promovidas pelo M&A embasam as melhorias nos programas, todavia é a qualificação dos gastos e do financiamento que os diferencia da SEVS. A renovação das contribuições e das doações, também é justificada pelos resultados das avaliações.

Há evidências de que o contexto político e organizacional (condições, agentes, interações e aprendizagem) foi favorável ao M&A na rotina do serviço³⁴, embora a legitimidade e o espaço ocupado nos mais de trinta anos de política canadense os coloquem em outro patamar. Todos os elementos do modelo lógico desenhado, com base no conceito de Gestão do Desempenho proposto por Hunter e Nielsen¹ e nas contribuições de Cousins et al.¹⁴, foram preenchidos. Todavia, enquanto a avaliação teve grande destaque no modelo canadense, o monitoramento constitui-se no principal eixo condutor da institucionalização das práticas avaliativas na SEVS.

Conclusões

Não é raro as organizações reconhecerem as contribuições da avaliação, enquanto campo de conhecimento, para o desenvolvimento e melhoria das políticas de saúde. Apesar de haver evidências de iniciativas institucionais de monitoramento e avaliação, a gestão do desempenho, agregando a elas os atores, suas características, e o conjunto de recursos necessários, deve ser o foco dos gestores que buscam sedimentar essas práticas.

A realização da análise lógica cumpriu uma etapa importante para a implementação da Política de Avaliação da Vigilância em Saúde, por ser uma intervenção inovadora, e, portanto, precisar de diretrizes que as norteie. O desenho do modelo lógico com base na Gestão do Desempenho ofereceu esse aparato teórico, deixando claras suas fragilidades e permitindo a identificação de alternativas para o alcance dos efeitos esperados, quando comparada com a Política canadense, considerada modelo²².

O desenvolvimento de uma cultura avaliativa na SEVS tem exigido esforços institucionais, especialmente por parte dos gestores, no encorajamento, implementação e apoio ao M&A. O monitoramento do desempenho da gestão da vigilância em saúde, numa abordagem mais sistemática, estruturada e orientada para resultados, tem como desafios a qualificação contínua do seu sistema de responsabilização, convencendo mais atores a aumentar a “teia”; e o suporte que deve ser dado à avaliação, apontando as necessidades de estudos mais aprofundados, a partir das informações produzidas. A avaliação, por sua vez, precisa ser pautada no nível mais estratégico e decisor, não apenas para viabilizar as pesquisas, mas fazendo sua gestão, como parte do desempenho que se persegue.

Algumas lições aprendidas da política de M&A canadense podem ser recomendadas, nesse sentido: a criação de uma unidade de avaliação exclusiva e autônoma; estabelecimento de uma Política de Avaliação institucional; desenvolvimento de um plano de avaliação, estabelecendo prioridades anuais; instituição um comitê de avaliação para supervisionar a condução das avaliações e rever/aprovar o uso os planos de avaliação, relatórios; e acompanhamento das avaliações pelos diretores e gerentes².

Por fim, mesmo que a gestão do desempenho esteja implantada no seu modelo ideal, as práticas de monitoramento e avaliação só serão legitimadas nos processos de gestão, se forem provados, “(meta) avaliando, que efeitos ou impactos podem ser imputados, como contribuição de suas ações ou práticas avaliativas, e a que custo”¹³. Sugere-se tomar a avaliação da contribuição das práticas do sistema de gestão de desempenho da SEVS sobre o desempenho da Vigilância em Saúde, e o custo de tudo isso, como objetos prioritários dos próximos estudos (meta)-avaliativos.

Referências

• ¹
  Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17.
• ²
  Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010.
• ³
  Hatry HP. Sorting the relationships among performance measurement, program evaluation, and performance management. New Dir Eval 2013; 137:19-32.
• ⁴
  Uusikylä P. Transforming silo-steering into a performance governance system: The case of the Finnish central government. New Dir Eval 2013; 137:33-43.
• ⁵
  Brasil. PNASS Programa Nacional de Avaliação de Serviços de Saúde: Resultado do processo avaliativo 2004-2006. Brasília: MS; 2007.
• ⁶
  Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos. Rev Bras Saude Mater Infant 2009; 9(3):339-357.
• ⁷
  Gragnolati M, Lindelow M, Couttolenc B. Twenty Years of Health System Reform in Brazil: An Assessment of the Sistema Único de Saúde. Directions in Development. Washington: World Bank; 2013.
• ⁸
  Brasil. Portaria nº 1.708, de 16 de agosto de 2013. Regulamenta o Programa de Qualificação das Ações de Vigilância em Saúde (PQAVS), com a definição de suas diretrizes, financiamento, metodologia de adesão e critérios de avaliação dos Estados, Distrito Federal e Municípios. Diário Oficial da União 2013; 16 ago.
• ⁹
  Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do Desempenho da Gestão da Vigilância em Saúde: Instrumento e Estratégias de uso. Cien Saude Colet 2013; 18(5):1201-1216.
• ¹⁰
  Pernambuco. Secretaria Executiva de Vigilância em Saúde. Balanço da gestão 2011-2014. Pernambuco: Secretaria de Saúde; 2014.
• ¹¹
  Trochim WMK. Evaluation policy and evaluation practice. New Dir Eval 2009; 123:13-32.
• ¹²
  Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saude Publica 2008; 24(9):2091-2102.
• ¹³
  Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222.
• ¹⁴
  Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35.
• ¹⁵
  Battesini M. Método multidimensional para avaliação de desempenho da vigilância sanitária: uma aplicação em nível municipal [tese]. Porto Alegre: Universidade Federal do Rio Grande do Sul; 2008.
• ¹⁶
  Sicotte C, Champagne F, Contandriopoulos AP, Barnsley J, Béland F, Leggat SG, Denis JL, Bilodeau H, Langley A, Brémond M, Baker GR. A conceptual framework for health care organizations Performance. Health Serv Manage Res 1998; 11:24-38.
• ¹⁷
  Costa JMBS, Pessoa CEA, Samico IC, Carvalho EMF. Avaliação do desempenho estadual da vigilância em saúde de Pernambuco. Physis 2015; 25(4):1141-1163.
• ¹⁸
  Mayne J. Building an evaluative culture. The key to effective evaluation and results management. Can J Program Eva 2010; 24(2):1-30.
• ¹⁹
  Yin RK. Estudo de caso: planejamento e métodos. 3ª ed. Porto Alegre: Bookman; 2005.
• ²⁰
  Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. L'analyse logique. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montréal: Les Presses de l´Université de Montréal; 2009. p. 103-112.
• ²¹
  Pernambuco. Secretaria Executiva de Vigilância em Saúde [Internet]. [acessado 2018 Jul 10]. Disponível em: http://portal.saude.pe.gov.br/secretaria-executiva/secretaria-executiva-de-vigilancia-em-saude
  » http://portal.saude.pe.gov.br/secretaria-executiva/secretaria-executiva-de-vigilancia-em-saude
• ²²
  Rey L, Brousselle A, Dedobbeleer Q. Logic Analysis: Testing Program Theory to Better Evaluate Complex Interventions. Can J Program Eval 2012; 26(3):61-89.
• ²³
  Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. La modélisation des interventions. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montreal: Les Presses de l'Université de Montréal; 2009. p. 57-72.
• ²⁴
  Cruz MM. Avaliação de Políticas e Programas de Saúde: contribuições para o debate. In: Mattos RA, Baptista TWF, organizadores. Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015.
• ²⁵
  Hartz ZMA. Explorando novos caminhos na pesquisa avaliativa das ações de saúde. In: Hartz ZMA, organizadora. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Ed. Fiocruz; 1997. p. 19-28.
• ²⁶
  Feliciano KVO. A relação entre o avaliador e o objeto avaliado. Rev Bras Saude Mater Infant 2005; 5(Supl. 1):s83-s92.
• ²⁷
  Mehrotra S. Monitoring, evaluation and performance management in South Asia: The challenge of building capacity. Evaluation 2013; 19:74-84.
• ²⁸
  Nielsen SB, Hunter DEK. Challenges to and forms of complementarity between performance management and evaluation. New Dir Eval 2013; 137:115-123.
• ²⁹
  Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais.1 ed.Rio de Janeiro: Medbook, 2010, v.1, p. 65-78.
• ³⁰
  Hartz ZMA, Denis JL, Moreira E, Matida A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: McQueen DV, Potvin L, editores. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008. p. 101-120.
• ³¹
  Lahey R, Nielsen SB. Rethinking the relationship among monitoring, evaluation, and results-based management: observations from Canada. New Dir Eval 2013; 137:45-56.
• ³²
  Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saude Publica 2010; 26(6):1079-1095.
• ³³
  Hanney SR, Gonzalez-Block M, Buxton MJ, Kogan M. The utilisation of Health research in policy-making: concepts, examples and methods of assessment. Health Res Policy Syst 2003; 1(1):1-28.
• ³⁴
  Hartz Z. Contextualizando a implantação das intervenções e da avaliação em saúde: um ensaio pragmático. In: Samico I, Felisberto E, Frias PG, Espírito Santo ACG, Hartz Z. Formação Profissional e Avaliação em Saúde - Desafios na Implantação de Programas. Rio de Janeiro: MedBook; 2013. p. 3-17.
• ³⁵
  Graham ID, Logan J, Harrison MB, Straus SE, Tetroe J, Caswell W, Robinson N. Lost in Knowledge Translation: Time for a Map? J Contin Educ Health Prof 2006; 26(1):13-24.
• ³⁶
  DeGroff A, Cargo M. Policy implementation: Implications for evaluation. New Dir Eval 2009; 124:47-60
• ³⁷
  Hojlund S. Evaluation use in the organizational context - changing focus to improve theory. Evaluation 2014; 20(1):26-4.3
• ³⁸
  Rogers E. Diffusion of innovations. 5ª ed. New York: Free Press; 2003.
• ³⁹
  O'Toole LJ. Research on policy implementation: Assessment and prospects. J Public Adm Res Theory 2000; 10(2):263-288.
• ⁴⁰
  Davison CM. Knowledge translation: Implications for evaluation. New Dir Eval 2009; 124:75-87.
• ⁴¹
  Ottoson JM. Knowledge-for-action theories in evaluation: Knowledge utilization, diffusion, implementation, transfer, and translation. New Dir Eval 2009; 124:7-20.

Datas de Publicação

• Publicação nesta coleção
  04 Dez 2020
• Data do Fascículo
  Dez 2020

Histórico

• Recebido
  14 Nov 2018
• Aceito
  15 Abr 2019
• Publicado
  17 Abr 2019