A elaboração participativa de indicadores para a avaliação em saúde mental

La elaboración participativa de indicadores para la evaluación en salud mental

Participatory development of indicators for assessing mental health

ARTIGO ARTICLE

A elaboração participativa de indicadores para a avaliação em saúde mental

Participatory development of indicators for assessing mental health

La elaboración participativa de indicadores para la evaluación en salud mental

Juarez Pereira Furtado^I; Rosana Teresa Onocko-Campos^II; Maria Inês Badaró Moreira^II; Thiago Lavras Trapé^I

^IDepartamento de Saúde, Educação Sociedade, Universidade Federal de São Paulo, Santos, Brasil

^IIFaculdade de Ciências Médicas, Universidade Estadual de Campinas, Campinas, Brasil

^{Correspondência}

RESUMO

A inserção de diferentes grupos de interesses em pesquisas avaliativas, genericamente referida como "avaliação participativa" é frequentemente citada na literatura especializada. No entanto, faltam discussões de base empírica sobre os modos de operar e, sobretudo, qualificar a referida participação. No presente artigo, realizamos discussão sobre a elaboração participativa de indicadores em saúde mental, dirigidos aos Centros de Atenção Psicossocial (CAPS). O processo contou com a participação de 58 trabalhadores e gestores de 26 CAPS por meio de encontros periódicos ao longo de um ano. Tais encontros foram intermediados por um curso sobre avaliação em saúde mental e oficinas em subgrupos, apoiadas por facilitadores ao longo do ano. A criação de espaços para a qualificação da participação, por meio do curso e outros trabalhos coletivos, mostrou-se eficaz na garantia de efetiva participação nos vários níveis do processo, como definição de questões, pré-testes dos indicadores e análise dos dados, além de estimular apropriação do produto final pelos participantes.

Saúde Mental; Indicadores Básicos de Sáude; Avaliação em Saúde

ABSTRACT

The specialized literature frequently cites the inclusion of different interest groups in evaluative research, referred to generically as "participatory evaluation". However, there is a lack of an empirical basis for discussion on ways to operate and (especially) qualify such participation. This article discusses the participatory development of mental health indicators for use in the Centers for Psychosocial Care (CAPS) in Brazil. The process included participation by 58 health workers and managers from 26 CAPS through regular meetings over a year. The meetings were intermediated by a course on mental health evaluation and workshops in subgroups, supported by facilitators throughout the year. The creation of spaces for the qualification of their participation, through the course and other collective activities, proved effective for guaranteeing participation at various levels in the process (such as definition of issues, pre-test indicators, and data analysis) as well as for stimulating ownership of the final product by the participants.

Mental Health; Health Status Indicators; Health Evaluation

RESUMEN

La inserción de diferentes grupos de intereses en estudios de evaluación, genéricamente denominada "evaluación participativa", se cita frecuentemente en la literatura especializada. No obstante, faltan discusiones de base empírica sobre los modos de operar y, sobre todo, de calificar la referida participación. En el presente artículo, realizamos una discusión sobre la elaboración participativa de indicadores en salud mental, dirigidos a los Centros de Atención Psicosocial (CAPS). El proceso contó con la participación de 58 trabajadores y gestores de 26 CAPS, mediante encuentros periódicos a lo largo de un año. Tales encuentros fueron realizados tras asistir a un curso sobre evaluación en salud mental y talleres en subgrupos, organizados por personal de apoyo especializado, a lo largo del año. La creación de espacios para la calificación de la participación, mediante el curso y otros trabajos colectivos, se mostró eficaz para garantizar la participación efectiva en los diferentes niveles del proceso como: la definición de preguntas, pre-testes de los indicadores y análisis de los datos, además de estimular la apropiación por parte de los participantes del producto final.

Salud Mental; Indicadores de Salud; Evaluación en Salud

O problema

O recente affaire em torno do Índice de Desempenho do Sistema Único de Saúde (IDSUS) evidencia o quão controversas podem ser as repercussões de iniciativas destinadas a constituir parâmetros para valorar o que vem sendo feito em nosso SUS. Nesse caso, múltiplas vozes se levantaram para colocar em questão aspectos metodológicos ou até mesmo para questionar a legitimidade da proposta como um todo ¹. A avaliação em saúde mental pode encontrar os mesmos obstáculos e questionamentos que iniciativas similares vêm encontrando no setor saúde em geral, acrescido de algumas peculiaridades. A tradição de indicadores em saúde mental é mais restrita quando comparada às outras áreas, como a atenção básica e a atenção hospitalar. Some-se a isso o caráter fortemente ético e político da reforma psiquiátrica e a consequente dificuldade em estabelecer consensos em torno de alguns parâmetros e indicadores mínimos dentre atores sociais inseridos em pólos distintos.

Outra explicação a ser agregada para explicar a menor permeabilidade seria proveniente do próprio objeto de que se ocupam os trabalhadores da saúde mental, constituído em boa parte pelas questões subjetivas das clientelas que acompanham. Envolvidos com os esforços de relativização e de compreensão do particular e do singular, os trabalhadores inseridos nessa área podem apresentar dificuldades de diversas ordens às tentativas de objetivação e sistematização requerida por um processo avaliativo, seja ele baseado em referencial qualitativo ou quantitativo.

A despeito disso, vimos desenvolvendo esforços voltados à sistematização da avaliação em torno dos equipamentos que constituem o novo modelo de atenção em saúde mental no Brasil, como os Centros de Atenção Psicossocial (CAPS) ^2,3,4, Serviços Residenciais Terapêuticos ^5,6, atenção primária à saúde ⁷ e uso de medicação psiquiátrica ⁸.

Por meio de pesquisa financiada pela Fundação de Apoio à Pesquisa do Estado de São Paulo (FAPESP), edital PP-SUS, e Aliança de Pesquisa Comunidade-Universidade (Aruc-Canadá), aprovada pelo comitê de ética da Universidade Federal de São Paulo (UNIFESP; CEP 0299/11), desenvolvemos extenso trabalho junto a diversos profissionais da quase totalidade dos CAPS do tipo III do Estado de São Paulo (CAPS III), serviços comunitários de atenção em saúde mental com funcionamento diuturno, 24 horas por dia, sete dias por semana, responsáveis inclusive pelo acompanhamento intensivo de eventuais períodos de crise de sua clientela contando com leitos para seu acolhimento noturno.

Nossa investigação teve como objetivo desenvolver, de maneira participativa, um sistema de avaliação para esses CAPS (incluindo ações ligadas à assistência à deficiência intelectual), baseado em indicadores. Outro propósito importante foi o de constituir massa crítica nesses serviços, de modo a perenizar práticas avaliativas.

Dessa forma, pretendemos por meio desse artigo, apresentar e discutir as estratégias utilizadas para o enfrentamento dos desafios ao desenvolvimento de instrumental avaliativo dessa área da saúde pouco familiarizada com a temática. Somem-se a isso, nossos propósitos de dotar o processo de caráter participativo e, sobretudo, o nosso intento em qualificar essa participação, oferecendo aos trabalhadores oportunidades para o domínio de conceitos e bases para a realização de trocas o menos verticalizadas possível e de espaços de encontro e tempo suficientes para a efetivação de colaborações. Discutiremos como a inserção de trabalhadores na maior parte do processo possibilitou atenuar resistências e dificuldades à inserção de perguntas avaliativas, catalisando o desenvolvimento de indicadores de avaliação para esses importantes serviços de assistência em saúde mental do SUS.

Participação: antecedentes

A noção de participação é polissêmica e envolve diferentes perspectivas, com inserção em campos distintos, como o da política e da produção de conhecimentos, dentre outros possíveis. Em nosso país, a participação no âmbito propriamente político tem se ampliado desde a Constituição Federal de 1988, sobretudo no que concerne ao vínculo entre participação e políticas públicas, destacando-se no setor saúde ⁹. O ideário participativo, surgido a partir dos anos 1960 sobre a noção de participação e emancipação popular, assumiu contornos mais amplos e fluidos nas disputas travadas por ocasião da constituinte. Nesse momento, os atores engajados com a participação popular reelaboraram seu discurso absorvendo conteúdos liberal-democráticos, surgindo daí a noção de participação cidadã, hoje recorrente ¹⁰. Inserida principalmente nos conselhos de vários níveis (locais, municipais, estaduais e federais), a relação entre políticas públicas e participação vem se institucionalizando no Brasil ¹¹.

Conforme afirmamos em outro momento ¹² ainda que a participação popular constitua elemento decisivo para evitar a degradação e manipulação das iniciativas oriundas de políticas públicas, outras formas de participação necessitam ser criadas, direcionadas aos processos de produção de conhecimento e avaliação dessas políticas. Carecemos ampliar a efetiva participação dos agentes que conduzem boa parte dos programas e serviços ligados às políticas públicas, estabelecendo novos espaços além dos conselhos. Espaços de participação que tenham como ponto de partida o conhecimento a ser gerado pela avaliação do próprio serviço ou programa a que os participantes estejam de alguma forma ligados, seja como trabalhadores, gestores, usuários ou familiares, dentre outros.

Contamos com tradições importantes no compartilhamento entre especialistas e não especialistas na pesquisa em geral, como na pesquisa-ação e pesquisa participante ^13,14,15. Na pesquisa avaliativa em particular, tem havido crescente interesse pela inserção de não especialistas em processos de avaliação ^16,17,18,19, comumente chamados de "grupos de interesse" ou "steakholders". Aliás, convergências entre pesquisa-ação e avaliação participativa, como o envolvimento consistente de agentes na busca de conhecimento e soluções para os seus problemas, instauração de processos de "planejar-agir-observar-refletir" foram apontados por King ²⁰.

Estreitando o foco em nosso objeto, poderíamos afirmar que a avaliação participativa significa a entrada de outros agentes além de avaliadores no processo de avaliação ²¹, como gestores, trabalhadores do programa ou serviço, parceiros de outros serviços e setores, usuários e mesmo segmentos mais distantes como clientelas não abordadas ou mal atendidas pelo objeto avaliado. Nos Estados Unidos, podemos identificar as origens da avaliação participativa na tentativa de superar avaliações inflexíveis, centradas em averiguar o quanto os objetivos iniciais foram ou não atingidos. Os trabalhos de Stake ²² na área da avaliação escolar, no final dos anos 1960 e início dos 1970, lançaram bases para uma avaliação mais voltada às atividades propriamente ditas do programa do que às suas intenções iniciais, de modo a responder às necessidades de informações dos interessados, aumentando a compreensão da entidade avaliada por parte de seu público ²³. Mais à frente, Guba & Lincoln ¹⁶ potencializaram o desenvolvimento dessas avaliações permeáveis, centradas nos participantes, encorajando avaliadores a envolverem diversos grupos de interesses (além de gestores e financiadores) no planejamento e condução das mesmas, de modo a obter as respostas que os chamados stakeholders desejavam sobre um programa ou serviço. No Brasil, influenciado pelas produções da América do Norte e também pelas tradições sul-americanas, tem havido discussões e práticas de avaliação participativa ^18,24,25,26.

Porém, o relativamente amplo consenso, atualmente existente, no que concerne ao compartilhamento de parte ou mesmo de todo o processo de pesquisa avaliativa, torna fundamental qualificar melhor o que se tem caracterizado como "participação". Afinal, sob o significante participação podemos encontrar muitas e distintas práticas, que oscilam desde perspectivas pragmáticas até aquelas emancipadoras, passando por outras voltadas à abordagem de grupos multifacetados e plurais ²⁷, além de outras utilizadas equivocadamente ou mesmo de maneira distorcida ¹⁷.

Participação: amplitude e profundidade

Para Baron & Monnier ²⁸, os processos participativos podem ser diferenciados segundo duas dimensões: sua amplitude e profundidade. Por amplitude, entende-se a diversidade de atores sociais envolvidos, que pode ir desde um mínimo esperado (gestores e trabalhadores diretos) até representantes da sociedade civil mais geral. Por profundidade, entende-se o grau de implicação dos grupos de interesses nas diferentes fases do processo, que vai da definição das questões ao julgamento, passando pela coleta e análise dos dados. Podemos analisar distintos tipos de avaliação, situando-as em relação à amplitude e profundidade da participação dos grupos de interesses e a qualidade e intensidade do envolvimento dos participantes. A profundidade da participação se torna mais forte à medida que os envolvidos opinam e interferem nas fases tradicionalmente refratárias à inclusão de não especialistas, como a análise de dados e a elaboração de recomendações ²⁹. Poderíamos dizer que a amplitude tem a ver com a diversidade de agentes envolvidos e a profundidade refere-se à potencial capacidade de interação e intervenção desses mesmos agentes nos vários aspectos do processo avaliativo (formulação de questões, definição do instrumental, análise etc.).

É importante ressaltar que a amplitude de grupos de interesse participantes baseia-se no tipo de representação pretendida: utilizadores potenciais (e mais interessados) ou diversidade de pontos de vista (e representatividade democrática). Em uma abordagem preocupada com a utilização da avaliação, no sentido cunhado por Patton ³⁰ os critérios para participar favorecem os agentes com mais interesse e governabilidade para utilizarem os resultados da avaliação. Por outro lado, a abordagem pluralista ¹⁶ favorece os princípios de diversidade de perspectivas e representatividade democrática na composição dos grupos participantes. Por seu turno, a profundidade pode ser qualificada pelo grau em que esses mesmos grupos interagem e interferem em aspectos como controle de decisões técnicas, definições de questões, análise dos dados, dentre outros ²⁷.

Do ponto de vista epistemológico, nossa opção por um caminho participativo tem origem na consideração do objeto da avaliação como fruto de exercício dialógico no qual se negociam objetivações sempre provisórias ³¹ sendo os agentes considerados conhecedores por excelência da realidade estudada. Em nosso caso, privilegiamos o grupo de interesse detentor de maiores chances de fazer uso do conjunto de indicadores que seriam elaborados. Focalizamos a participação nos trabalhadores da assistência e gerentes dos CAPS, considerando a posição privilegiada dos mesmos na interface entre os usuários e gestores, bem como sua localização entre proposições e efetiva ação nos equipamentos de saúde mental no Brasil. Além disso, o intento de construir indicadores que respondessem às reais necessidades do serviço exigia o compartilhamento de saberes do grupo responsável pela condução cotidiana dos CAPS. Se, por um lado, perdemos em representatividade, por outro, ganhamos em especificidade sobre temáticas que atravessam o serviço, como gestão, condução de grupos, elaboração de projetos terapêuticos, além de outros temas não pensados, que foram levantados posteriormente pelos participantes.

No que tange à profundidade, devemos ressaltar que o percurso aqui analisado foi principalmente de elaboração conjunta de indicadores para futura utilização pelos CAPS envolvidos. Nesse sentido, inserimos a participação em fase normalmente refratária à inclusão de não especialistas em avaliação: a definição e elaboração dos indicadores. Percurso, por isso mesmo, voltado à definição dos aspectos a serem avaliados (as questões), elaboração e teste de versões iniciais dos indicadores ao longo de um ano, possibilitando significativa e profunda participação de dezenas de profissionais dos serviços juntamente com a equipe de pesquisadores avaliadores.

No entanto, tal nível de aprofundamento requer a constituição de um espaço de participação que vá além dos comitês de acompanhamento normalmente constituídos para esse fim. A grande questão foi elaborar um conjunto de indicadores para acompanhamento e avaliação dos CAPS III em estreita colaboração com os responsáveis pela condução diária, superando vieses comuns a processos participativos, como o desnível inicial entre os grupos, a utilização dos "colaboradores" apenas como fornecedores de informações, dentre outros ^32,33,34.

Por isso, optamos pelo oferecimento de um espaço de trocas e discussões especialmente estruturado para a elaboração de indicadores. Tal espaço deveria, inclusive, possibilitar intervenções não previstas a partir de subsídios gerados pela confrontação dos indicadores iniciais com a realidade no interior dos serviços, além de oferecer tempo e espaço para encontros sistemáticos que viabilizassem de fato a colaboração. Para isso, formulamos a proposta de um curso de avaliação em saúde mental e de Grupos de Apreciação Partilhada (GAPs) como mediadores privilegiados da participação proposta, como discutiremos a seguir.

Qualificando e aprofundando a participação: o curso e os GAPs

De modo a potencializar os efeitos do próprio processo avaliativo, referido na literatura como process use ³⁵, o projeto foi apresentado aos diversos municípios e serviços, aberta inscrição para trabalhadores e realizado processo seletivo pelos pesquisadores, que levaram em conta disponibilidade de tempo e potencial capacidade em perenizar as discussões nos serviços. Além de trabalhadores, estimulamos a participação dos gerentes dos CAPS e de articuladores de saúde mental dos Departamentos Regionais de Saúde (DRS) da Secretaria Estadual de Saúde de São Paulo. Ao final, participaram 58 trabalhadores de 25 dos 26 CAPS III paulistas existentes à época, mais três articuladores de saúde mental de diferentes DRS. Esse coletivo constituiu duas turmas, sendo que metade acompanhou o curso na Faculdade de Medicina da Universidade Estadual de Campinas (FCM-UNICAMP) e a outra metade na UNIFESP, campus Baixada Santista. O critério para seguir o curso em uma ou outra universidade foi o de proximidade geográfica entre o CAPS e o local dos encontros.

O curso teve duração de 11 meses, totalizando 120horas/aulas. No primeiro mês, os encontros foram semanais, tornando-se quinzenais ao longo do primeiro semestre e mensais no segundo e último semestre. O curso foi estruturado de modo a garantir que os principais temas que envolvem o cotidiano, a gestão e a clínica dos CAPS III fossem abordados, tendo como referencial um leque de indicadores, dispositivos e proposições de boas práticas oriundos de pesquisa avaliativa de CAPS III do Município de Campinas, realizada anteriormente ². Foram abordados, respectivamente em cada um dos 14 encontros, os seguintes temas: (1) avaliação de programas e serviços em saúde; (2) implicações subjetivas e institucionais da avaliação; (3) avaliação e participação; (4) a pesquisa avaliativa da rede de CAPS III de Campinas; (5) a elaboração e uso de indicadores em saúde; (6) projetos terapêuticos individuais; (7) deficiência intelectual; (8) a gestão dos CAPS III; (9) a formação para o trabalho em saúde mental; (10) atenção à crise; (11) o trabalho com grupos nos CAPS; (12) reabilitação psicossocial e assistência no território; (13) o uso de medicação psiquiátrica; (14) moradia para portadores de transtorno mental grave. Tais temas eram abordados de maneira coletiva, pela manhã e, à tarde, aprofundava-se a discussão e elaboravam-se indicadores em subgrupos, totalizando 14 GAPs. Ao final, houve dois encontros aglutinando as duas turmas de alunos para a elaboração de uma proposta conjunta e final de indicadores.

Os GAPs surgem da constatação de que um programa ou serviço não pode ser reduzido aos documentos escritos ou ao que foi preconizado por aqueles que os conceberam ou gerenciam, mas que outras fontes devem ser consideradas, incluindo a palavra que circula de maneira informal, não deixando rastro definido ³⁶. Nesse sentido e com vistas a consolidar a ação de organismos comunitários e seus trabalhadores é que Jalbert et al. ³⁷ propuseram e experimentaram o que chamaram de "GAP" (Groupes D'Appréciation Partagée), de modo a permitir a consolidação do sentimento de participação e assegurando, por sua vez, a expressão do maior número possível de membros em torno da reflexão e avaliação da ação empreendida e a especial consideração da palavra e dos afetos relativos à essa mesma ação.

"Trata-se de, por meio dos GAPs, de levar diferentes atores envolvidos com o programa ou serviço (trabalhadores, voluntários, usuários etc.) a partilharem a análise da ação que realizam no serviço, contribuindo assim com a construção e aprimoramento dessa ação coletiva. Parece-nos uma forma original para fomentar a reflexão dos organismos e sua auto-avaliação" ³⁶ (p. 11).

Concebidos para desenvolver processos autoavaliativos em serviços comunitários de AIDS na província de Quebec, Canadá, e utilizados no Brasil no interior da Amazônia por Laperrière ³⁸ os GAPs nos remetem, numa primeira aproximação, aos grupos focais. No entanto, diferem radicalmente desses últimos ao buscarem relações horizontalizadas e bidirecionais e de transferência do controle do grupo para si próprio. Além disso, os GAPs permitem desenvolver julgamentos de iniciativas, serviços e programas e formular eventuais ajustes nos mesmos ³⁷. Os GAPs se fundam na ideia de que a avaliação deve ser interna (realizada pelos atores diretamente envolvidos) e contínua, constituindo tentativa de melhor enraizar as práticas avaliativas nos serviços. Essa estratégia possibilita superar limitações de pesquisas avaliativas tradicionais, nas quais é comum ouvirmos perguntas oriundas dos avaliadores do tipo: "O que vocês desejam saber?", "Este caminho responderia às questões de vocês?", ou da parte dos trabalhadores e outros atores: "Quando teremos um retorno?", "Quando teremos acesso ao relatório final?". Tais questões ilustram posicionamentos estanques e estereotipados tanto da parte dos pesquisadores quanto dos outros agentes envolvidos, com baixa interação e ignorando que é justamente da intersecção entre os dois ou mais lados que poderá surgir mais conhecimento e efetiva avaliação de um dado programa ou serviço.

Em nossa pesquisa, os GAPs foram constituídos por aproximadamente dez alunos do curso (compostos por trabalhadores e gerentes de distintos serviços e municípios) acompanhados ao longo de todo o ano por um mesmo apoiador e um relator, ambos integrantes do grupo de pesquisa. Após exposições dialogadas pela manhã, conduzidas por convidados de reconhecido domínio no tema, eram realizados os GAPs no período da tarde. Desse modo, por exemplo, após a discussão realizada pela manhã sobre atenção à crise, aprofundava-se o tema nos GAPs com base nas experiências cotidianas dos alunos e fazia-se o exercício de formulação de indicadores sobre esse mesmo tema. Os períodos de dispersão eram essencialmente caracterizados pelo teste dos indicadores propostos nos GAPs, coleta de dados, informações e outros subsídios ao próximo encontro, além do compartilhamento das discussões feitas no curso junto às respectivas equipes dos alunos.

Em nosso processo, os GAPs ocuparam centralidade, na medida em que acentuavam o espaço de participação já presente nas atividades da manhã, durante as exposições dialogadas. O processo de discussão era registrado, formando importante documentação da investigação. Os apoiadores tinham como tarefa estimular as trocas, lembrar as regras contratadas e assegurar coerência e articulação entre o grupo e sua tarefa. Além disso, apoiador e grupo deveriam discutir e articular suas produções às outras geradas nos outros GAPs transformando-o em um potente dispositivo de consenso.

Resultados e discussão

A ideia de participação é frequentemente preconizada, mas há que se considerar alguns desafios e entraves em sua prática efetiva. Supor que trabalhadores, grupos de interesses ou atores sociais estejam ávidos por participarem, sendo suficiente um convite por parte dos pesquisadores, pode ser um equívoco. O convite à participação, inicialmente formulado pelos pesquisadores, disputará espaço na agenda dos convidados e deverá realmente atrair o interesse, uma vez que exigirá importantes esforços e trabalhos ao longo do tempo.

Nesse sentido, a proposta do curso se mostrou eficaz se considerados os critérios de efetiva participação no curso, empenho na realização das tarefas e produção final de um conjunto de indicadores. A frequência média dos alunos aos encontros do curso foi de 90% do total e, além disso, o levantamento de dados sobre os serviços, teste dos indicadores e outras tarefas da fase de dispersão foram feitos a contento e nos prazos adequados, segundo os apoiadores dos GAPs. Avaliações informais (no contato a cada encontro) e formais (por meio de respostas a questionário semiestruturado aplicado no transcorrer do processo) apontaram elevado grau de satisfação com o conteúdo e forma do curso. Finalmente, a produção de 22 indicadores sobre os temas atendimento à crise, atendimento em grupos, ações no território, gestão dos CAPS, projeto terapêutico individual, deficiência intelectual, uso de medicação psiquiátrica e formação continuada, de maneira articulada e consensual, atestam a efetividade da proposta na consecução dos objetivos iniciais.

Ao ofertar a possibilidade de aquisição de novos conhecimentos sistematizados na forma de curso certificado por duas universidades, pudemos iniciar os contatos com uma proposta a que os trabalhadores estão familiarizados: a educação permanente em saúde, além de fortalecer e articular a tríade acadêmica ensino-pesquisa-extensão. Atrelado a isso, dispúnhamos de recursos para custear o deslocamento dos alunos até o local de realização dos encontros.

Embora cientes do projeto como um todo, desde o início, os alunos inicialmente assimilaram somente a proposta de curso e só mais tarde, à medida que se estabelecia maior confiança entre membros dos serviços e da academia, é que a participação, entendida como efetiva troca entre os vários grupos, ocorreu de fato. Ou seja, além de disputar espaço nas agendas, o convite à participação deve enfrentar resistências justificáveis, dadas a restrita tradição dessa prática em nosso país e a desconfiança que o termo "avaliação" frequentemente suscita ³¹. Resistência cuja superação exige tal extensão e intensidade possíveis apenas por meio de vários e longos encontros que o formato de curso nos possibilitou. Como afirmado por Laperrière et al. ³⁹: "A visão de participação baseada em contrato formal supõe o estabelecimento de confiança pelo simples fato de que os parceiros respondam algumas questões. Porém, a construção de parceria inter-organizacional exige mais do que a formulação de um contrato. A solidariedade exige confiança oriunda da vivência do compartilhamento" (p. 14).

Outra questão a ser considerada é que inserir distintos grupos de interesse significa ampliar o cronograma de pesquisa, aumentar os investimentos e reduzir o controle sobre muitos dos aspectos envolvidos. Compreendida a democracia como convívio das diferenças e não como homogeneização, a decorrência inevitável e mesmo requerida pela via da participação é o incremento da complexidade e do imponderável. Por essa razão, temáticas não previstas foram inseridas no curso, novos indicadores foram propostos e alguns suprimidos. Favorecer a explicitação de diferenças, administrar os efeitos desse afloramento sem coibi-lo ou minimizá-lo, mantendo acesa a chama do interesse e efetiva participação de grupos distintos (em intensidade e qualidade) demandou grande esforço. Sendo assim, tempo e recursos poderão ser requeridos em quantidades extras, certamente maiores do que nas avaliações convencionais para que a participação possa ser levada a bom termo ⁶.

O propósito inicial de que os participantes constituíssem pontes entre o curso e suas equipes de origem foi atingido parcialmente. Por meio de questões sobre o curso, respondidas pelos participantes ao final do processo, pudemos constatar que a maior dentre as dificuldades encontradas pelos mesmos foi a interface com a equipe, sendo a maioria justificada por falta de tempo, ilustrada pela excessiva carga de pautas a serem processadas nos respectivos serviços. Além disso, os participantes expuseram situações de fragilidade e desmotivação das equipes que não partilhavam dos encaminhamentos e tarefas advindos das reflexões feitas durante o curso.

Por outro lado, também do ponto de vista dos participantes, os GAPs foram enriquecedores ao promover o encontro de profissionais e o diálogo entre realidades tão diferentes dos vários serviços. O modo de debater nos GAPs trouxe à tona a necessidade de realizar e sistematizar encontros entre as equipes nos quais se possa analisar e constituir novos horizontes para os CAPS III a partir das vivências de problemas mais ou menos comuns.

Para os trabalhadores, pensar sobre as questões políticas que estão envolvidas e sustentam a prática implicou sair de uma concepção mistificadora e idealizada de CAPS. De modo geral, os trabalhadores relataram ganhos ao participar destes encontros, por olhar para os serviços da perspectiva da reflexão e avaliação. Para os participantes, os debates nos GAPs se tornaram espaço para redirecionamento de suas práticas.

Esses relatos apontaram também para uma nova posição dos envolvidos, que reconheceram a necessidade de transformação. Houve relatos de angústia e desconforto, pois os questionamentos sobre o cotidiano do trabalho se estenderam para outros sobre a própria reforma psiquiátrica. O que pudemos verificar, então, foi que a angústia paralisante inicial de insatisfação com o que estava sendo produzido nos serviços, não só foi compartilhada, como também pode ser transformada em busca de saídas.

Movimentos de mudança foram relatados por todos os participantes. E isso se deu em parte pela aproximação com os temas debatidos nas aulas teóricas, que serviram para dar a necessária fundamentação (e às vezes até nomear) o que estavam vivenciando no dia-a-dia do trabalho. Assim, os participantes puderam produzir aproximação com o universo acadêmico e utilizá-la para superar queixas e lamúrias sobre os serviços, assumindo proposições. Podemos ver que o tipo de transformações que se escondem sob a definição de participação requer espaço, cuidado e continuidade, condição necessária para que a mudança de si ocorra ⁴⁰. Propiciando um espaço contínuo e confiável, nossos GAPs pareceram ter permitido essa transformação.

Cousins ⁴¹, comparando perspectivas de dezenas de avaliadores e não avaliadores, que participaram de um projeto avaliativo participativo de envergadura, mostrou significativa convergência entre os dois grupos sobre a importância de iniciativas colaborativas para maior conhecimento e utilização da avaliação. Nesse sentido, pudemos constatar em nosso estudo grande convergência entre os membros da academia e aqueles oriundos dos CAPS, sobretudo em relação ao aumento de conhecimento sobre os serviços, mudança de posturas em relação à avaliação e percepção de situações cotidianas que requerem mudanças importantes. Situação provavelmente decorrente da inserção, em etapas precoces da avaliação, conforme preconizado por Bilodeau et al. ²¹ e Jacob & Ouvrard ³³, uma vez que os trabalhadores puderam definir questões e colaborar na elaboração dos instrumentos e indicadores, algo ainda pouco comum em processos ditos participativos ²³. Por outro lado, a circunscrição dos participantes aos trabalhadores e gerentes dos CAPS constitui limitação do presente estudo, dada a miríade de questões e enfoques potenciais da ampliação da extensão dos tipos de participantes, conforme atestam os trabalhos de Zúñiga & Luly ³⁶ e Laperrière et al. ³⁹.

Devemos ressaltar que o trabalho desenvolvido constituiu uma primeira etapa – e pouco usual – do que virá a ser uma avaliação participativa. Tudo o que vimos discutindo e apresentando até o momento constituiu o processo de construção de instrumentos, no caso um conjunto de indicadores, a serem futuramente aplicados para a avaliação dos CAPS III. Futuras avaliações a serem realizadas, utilizando-se o conjunto de vinte e dois indicadores propostos, poderão contar com trabalhadores familiarizados com a temática da avaliação e com os próprios indicadores, dos quais mais que fornecedores de informações, constituíram-se coautores dos mesmos. Situação que permitirá ampliar a participação no conjunto de aspectos que compõem uma avaliação participativa, desde a definição de questões, a produção de dados, o estabelecimento de critérios, a construção de julgamento e as tomadas de decisões, conforme propõem Bilodeau et al. ²¹ como etapas estratégicas da avaliação.

Conclusão

A criação de uma instância participativa, constituída em torno da proposta de curso de avaliação em saúde mental, permitiu superar as limitações apresentadas pelos Comitês de Acompanhamento da Pesquisa, propiciando espaço simultaneamente para o aprendizado, domínio de conceitos básicos, trocas entre os participantes, elaboração dos indicadores, confrontação dos mesmos com a realidade dos serviços e definição coletiva de 22 indicadores direcionados a diversas áreas e aspectos constituintes dos CAPS III envolvidos no processo.

Vale ressaltar que o processo parece ter possibilitado deflagrar diferentes modos de operar clinicamente e de se fazer gestão. A homogeneidade dos participantes esteve somente na figura que representavam (CAPS III), amiúde o que se notou foi uma complexa diferenciação entre conceitos e práticas que puderam ser discutidos e alinhados, mas sem suprimir sua singularidade. A possibilidade de aprender ativamente, com a prática e o saber alheio, só se tornou possível em espaço democrático e de relações horizontais.

Em um mundo caracterizado pela instantaneidade, há que se cuidar do provimento de tempo e espaço suficientes para o desenvolvimento efetivo da participação, aqui representado pela proposta de um curso como intermediação e, dentro dele, dos GAPs. As diferenças de interesses, expectativas e saberes exigem recursos condizentes para que a colaboração e participação superem a condição de prescrição politicamente correta ou de novos nomes para velhas práticas.

Colaboradores

R. T. Onocko-Campos e J. P. Furtado participaram do desenho da pesquisa, da confecção do artigo e de sua revisão final. M. I. B. Moreira e T. L. Trapé colaboraram em todas as fases de confecção do presente artigo.

Agradecimentos

Os autores agradecem a todos os trabalhadores e gestores que participaram da presente pesquisa e compartilharam generosamente conosco suas inquietações. À Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) e International Development Research Centre (IDRC) do Canadá, pelo financiamento.

Recebido em 07/Mai/2012

Versão final reapresentada em 24/Jul/2012

Aprovado em 30/Ago/2012

• ¹
  Centro Brasileiro de Estudos de Saúde. IDSUS – números sem epidemiologia: como prestar um desserviço ao SUS e aos bons gestores. http://www.cebes.org.br/verBlog.asp?idConteudo=2370&idSubCategoria=56 (acessado em 15/Mar/2012).
• 2. Onocko-Campos R, Furtado JP, Passos E, Ferrer AL, Miranda L, Gama CAP. Avaliação da rede de Centros de Atenção Psicossocial: entre a saúde coletiva e a saúde mental. Rev Saúde Pública 2009; 43 Suppl 1:16-22.
• 3. Onocko-Campos R, Furtado JP, Passos E, Benevides R. Pesquisa avaliativa em saúde mental: desenho participativo e efeitos da narratividade. São Paulo: Editora Hucitec; 2008.
• 4. Onocko-Campos R, Furtado JP. Entre a saúde coletiva e saúde mental: um instrumental metodológico para a avaliação da rede de Centros de Atenção Psicossocial (CAPS) do SUS. Cad Saúde Pública 2006; 22:1053-62.
• 5. Furtado JP, Nakamura E, Generoso C, Guerra A, Campos FB, Tugny A. Inserção social e habitação: um caminho para a avaliação da situação de moradia de portadores de transtorno mental grave no Brasil. Interface Comun Saúde Educ 2010; 14:389-400.
• 6. Furtado JP. Avaliação da situação atual dos serviços residenciais terapêuticos existentes no SUS. Ciênc Saúde Coletiva 2006; 11:785-95.
• 7. Onocko-Campos R, Campos GWS, Ferrer AL, Corrêa CRS, Madureira PR, Gama CAP, et al. Avaliação de estratégias inovadoras na organização da atenção primária à saúde. Rev Saúde Pública 2012; 46:43-50.
• 8. Onocko-Campos R. A avaliação do uso de psicotrópicos no programa de saúde da família no Município de Campinas/SP. Campinas: Universidade Estadual de Campinas; 2012.
• 9. Avritzer L. A qualidade da democracia e a questão da efetividade da participação: mapeando o debate. In: Pires RR, organizador. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Instituto de Pesquisa Econômica Aplicada; 2011. p. 13-28.
• 10. Lavalle AG. Participação: valor, utilidade, efeitos e causa. In: Pires RR, organizador. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Instituto de Pesquisa Econômica Aplicada; 2011. p. 33-42.
• 11. Pires RR, organizador. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Instituto de Pesquisa Econômica Aplicada; 2011.
• 12. Furtado JP, Onocko-Campos R. Participação, produção de conhecimento e pesquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad Saúde Pública 2008; 24:2671-80.
• 13. Brandão C, Streck DR. Pesquisa participante. Aparecida: Editora Idéias & Letras; 2006.
• 14. Thiollent M. Metodologia da pesquisa-ação. São Paulo: Cortez Editora; 2004.
• 15. Brose M. Metodologia participativa. Porto Alegre: Tomo Editorial; 2005.
• 16. Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Editora da Unicamp; 2011.
• 17. Furtado JP. Avaliação participativa. In: Otero MR, organizador. Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Editora Peirópolis; 2012. p. 21-41.
• 18. Bosi MLM, Mercado F, organizadores. Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis: Editora Vozes; 2006.
• 19. Minayo MCS, Assis SG, Souza ER. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005.
• 20. King JA. Participatory evaluation. In: Mathison S, editor. Encylopedia of evaluation. Thousand Oaks: Sage Publications; 2005. p. 291-4.
• 21. Bilodeau A, Allard D, Gendron S, Potvin L. Les dispositifs de la participation aux étapes stratégiques de l'évaluation. Canadian Journal of Program Evaluation 2006; 21:257-82.
• 22. Stake RE. The countenance of educational evaluation. Teach Coll Rec 1967; 68:523-40.
• 23. Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. São Paulo: Edusp; 2004.
• 24. Onocko-Campos R, Furtado JP. Os desafios da avaliação de programas e serviços em saúde. Campinas: Editora da Unicamp; 2011.
• 25. Bosi MLM, Uchimura KY. Avaliação da qualidade ou avaliação qualitativa da atenção? Elementos para uma demarcação conceitual. Rev Saúde Publica 2007; 41:150-3.
• 26. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6:165-81.
• 27. Weaver L, Cousins JB. Unpacking the participatory process. Journal of MultiDisciplinariy Evaluation 2004; 1:19-40.
• 28. Baron G, Monnier E. Une approche pluraliste et participative: coproduire l'évaluation avec la société civil. Informations Sociales 2003; 6:120-9.
• 29. Ridde V. Suggestion d'ameliorations d'un cadreconceptual de l'évaluation participative. Canadian Journal of Program Evaluation 2006; 21:1-24.
• 30. Patton MQ. Utilization-focused evaluation. Beverly Hills: Sage Publications; 1997.
• 31. Furtado JP. A avaliação de programas e serviços. In: Campos GWS, Minayo MCS, organizadores. Tratado de saúde coletiva. São Paulo: Editora Hucitec; 2006. p. 715-40.
• 32. Bosi MLM, Mercado FJM. Modelos avaliativos e reforma sanitária brasileira: enfoque qualitativo-participativo. Rev Saúde Pública 2010; 44:566-70.
• 33. Jacob S, Ouvrard L. L'évaluation participative. Avantages et difficultés d'une pratique innovante. Québec: PerfEval; 2009. (Cahiers de la Performance et de l'Évaluation, 1).
• 34. Laperrière H, Zúñiga R. Cuando la comunidad guía la acción: hacia una evaluación comunitaria alternativa, Psicol Soc 2007; 19:39-45.
• 35. Preskill H, Zuckerman B, Matthews B. An exploratory study of process use: findings and implications for future research. American Journal of Evaluation 2003; 24:423-42.
• 36. Zúñiga R, Luly MH Savoir-faire et savoir-dire: un guide d'évaluation communautaire. Québec: Coalition des Organismes de Lutte Contre le SIDA; 2005.
• 37. Jalbert Y, Pinault L, Renaud G, Zúñiga R. Guide d'auto-évaluation des organismes communautaires. Québec: Coalition des Organismes de Lutte Contre le SIDA; 1997.
• 38. Laperrière H. (2008). O caso de uma comunidade avaliativa emergente: re-apropriação pelos pares-multiplicadores da apreciação de suas próprias ações preventivas contra DST/HIV/AIDS, Amazonas, Brasil. InterfaceComun Saúde Educ 2008; 12:527-40.
• 39. Laperrière H, Potvin L, Zuniga R. L'évaluabilité sociopolitique dans les rapports inter-organisationnels: la tension entre les planifications centralisées et l'action communautaire locale. In: Aubry F, Potvin L, editors. Construire l'espace socio-sanitaire. Expériences et pratiques de recherche dans la production locale de la santé. Montréal: PUM; in press.
• 40. Winnicott DW. Realidad y juego. Barcelona: Gedisa; 1971.
• 41. Cousins JB. Do evaluator and program practitioner perspectives converge in collaborative evaluation? Canadian Journal of Program Evaluation 2001; 16:113-33.

Datas de Publicação

• Publicação nesta coleção
  29 Jan 2013
• Data do Fascículo
  Jan 2013

Histórico

• Recebido
  07 Maio 2012
• Aceito
  30 Ago 2012
• Revisado
  24 Jul 2012