Rede de Atenção Psicossocial: desenvolvimento e validação de um instrumento multidimensional para avaliação da implantação (IMAI-RAPS)

Resumo

Trata-se de um estudo metodológico para desenvolvimento e validação do Instrumento Multidimensional para Avaliação da Implantação da RAPS (IMAI-RAPS) em Minas Gerais (MG)/Brasil. O estudo foi executado em três etapas: estudo de avaliabilidade, desenvolvimento do IMAI-RAPS, aplicação da Técnica Delphi para validação de conteúdo e aparência das questões. Foram realizados a análise de documentos oficiais, revisão da literatura e um engajamento estruturado com membros do programa para esclarecer sua operacionalização e focalizar os aspectos centrais a serem avaliados. Um modelo teórico-lógico da RAPS foi construído de acordo com a tríade donabediana: estrutura, processo e resultado e organizado em: Unidades Mínimas (Assistência à Saúde Mental e Reabilitação Psicossocial), Conectividade (Articulação da Rede), Integração (Governança e Gestão do Cuidado), Normatividade (Política de Saúde Mental e Participação e Controle Social), Subjetividade e Estrutura (Serviços, Sistema Logístico e Educação em Saúde). Desse modelo derivou-se o IMAI-RAPS que foi validado por 44 experts da área indicando a abordagem de questões relevantes, úteis e viáveis para avaliação da estrutura e processo de implantação do programa em MG. A utilização da Técnica Delphi possibilitou que os produtos desenvolvidos fossem balizados por estudiosos ou profissionais da RAPS de diversas regiões do país aumentando o poder analítico da ferramenta.

Palavras-Chave:
Saúde Mental; Avaliação em Saúde; Sistemas Nacionais de Saúde; Política de Saúde

Abstract

This is a methodological study for the development and validation of the Multidimensional Instrument for Evaluating of the Implementation of Psychosocial Care Network (IMAI-RAPS) in Minas Gerais (MG)/Brazil. The study was carried out in three stages: evaluability study, development of the IMAIRAPS, application of the Delphi Technique for content and appearance validation of the questions. The analysis of official documents, literature review and a structured engagement with program members were carried out to clarify its operationalization and focus on the central aspects to be evaluated. A theoreticallogical model of RAPS was built according to the Donabedian triad: structure, process and result and organized into: Minimum Units (Mental Health Care and Psychosocial Rehabilitation), Connectivity (Network Articulation), Integration (Governance and Management of the Care), Normativity (Mental Health Policy and Participation and Social Control), Subjectivity and Structure (Services, Logistics System and Health Education). The IMAI-RAPS was derived from this model, which was validated by 44 experts in the field, indicating the approach of relevant, useful and viable questions for evaluating the structure and process of implementing the program in MG. The use of the Delphi Technique made it possible for the developed products to be marked out by Psychosocial Care Network scholars or professionals from different regions of the country, increasing the analytical power of the tool.

Keywords:
Mental Health; Health Evaluation; National Health Systems; Health Policy

Introdução

A saúde mental representa um dos encargos mais significativos e crescentes para a saúde pública global: estima-se que 13% da carga global de doenças seja devido aos transtornos mentais, neurológicos e secundários ao uso de álcool ou outras drogas (VIGO; THORNICROFT; ATUN, 2016). Essa alta carga global está associada, entre outros fatores, à alta prevalência, ao início precoce e curso crônico desses transtornos e à ampla lacuna de tratamento ainda existente (KOHN et al., 2018). Dessa maneira, a necessidade de fortalecer a capacidade dos sistemas de saúde para responder a esses transtornos de maneira efetiva é premente (ZHOU et al., 2018).

Nas últimas décadas, foram feitos avanços significativos na América Latina na melhoria dos serviços de saúde mental. Essas mudanças, seguindo alterações realizadas em anos anteriores nos países de maiores recursos, se basearam na substituição do foco na assistência hospitalar para um cuidado estruturado em serviços comunitários integrados à atenção primária à saúde (APS) com destaque para a proteção dos direitos humanos e protagonismo dos usuários (ALMEIDA, 2013; PATEL et al., 2018). No Brasil, a construção de uma política nacional de saúde mental teve origem na década de 1980, impulsionada pelo movimento da Reforma Psiquiátrica, apostando em um modelo comunitário de assistência. Desde então, constatam-se diversas mudanças ligadas a implementação de serviços territoriais e práticas clínicas baseadas na atenção psicossocial, levando a experiência brasileira a ter um lugar de destaque no campo da saúde mental global (JACOB et al, 2007; ALMEIDA, 2019).

Em 2010, visando aprofundar as estratégias de descentralização e regionalização para redução da fragmentação assistencial do Sistema Único de Saúde (SUS), foram estruturadas as Redes de Atenção à Saúde que integram ações e serviços de diferentes níveis de complexidade (BRASIL, 2010). Nesse contexto, foi instituída a Rede de Atenção Psicossocial (RAPS) objetivando o aprimoramento e a articulação dos diversos pontos de atenção à saúde que a compõem: APS, atenção psicossocial especializada, atenção de urgência e emergência, atenção residencial de caráter transitório, atenção hospitalar, estratégias de desinstitucionalização e reabilitação psicossocial (BRASIL, 2011; MOREIRA; ONOCKO-CAMPOS, 2017). Foram enfocados também a ampliação dos serviços existentes privilegiando populações vulneráveis como os usuários de álcool ou outras drogas, crianças e adolescentes, populações de rua e indígenas, além do aumento do acesso e da vinculação dos usuários aos pontos de atenção (BRASIL, 2011).

A oferta de uma atenção integrada em saúde mental, ancorada no trabalho multidisciplinar e na clínica ampliada, de acesso universal para a população brasileira, entretanto, é uma tarefa complexa. A existência de lacunas entre as diretrizes político-assistenciais e a prática cotidiana foi identificada em estudos anteriores (FIOCRUZ; FUNDAÇÃO CALOUSTE GULBENKIAN, 2015), suscitando questionamentos sobre o alcance das alterações realizadas e convocando a avaliação como instrumento na busca de respostas (MOREIRA; BOSI, 2019).

Nesse sentido, a avaliação da RAPS brasileira encontra-se aquém da expansão ocorrida, conforme demonstrado em recente revisão sistemática (COSTA; COLUGNATI; RONZANI, 2015). A maioria das pesquisas realizadas ainda se concentra na análise de serviços isolados ou de populações específicas. Da mesma forma, poucos estudos fazem uso de instrumentos padronizados e validados para avaliação dessa rede (COSTA; COLUGNATI; RONZANI, 2015), na sua maioria também tratando de temas e serviços pontuais como, por exemplo, a Escala de Avaliação da Satisfação dos Pacientes com os Serviços de Saúde Mental (SATIS-BR), a Escala de Avaliação do Impacto do Trabalho em Serviços de Saúde Mental (IMPACTO-BR) (BANDEIRA; PITTA; MERCIER, 2000; BANDEIRA; SILVA, 2012) e um instrumento para avaliação da estrutura e processo da assistência em saúde mental nos Centros de Atenção Psicossocial (CAPS) (AZEVEDO; SALVETTI; TORRES, 2017). Dessa maneira, é possível perceber que a RAPS brasileira ainda carece de instrumentos capazes de avaliá-la como um todo (AMARAL; BOSI, 2017; ONOCKO-CAMPOS et al., 2018).

O objetivo do presente estudo foi desenvolver e validar um instrumento multidimensional estruturado e reprodutível para avaliação da estrutura e processo (DONABEDIAN, 1978) no contexto de implantação da RAPS em Minas Gerais (MG). Acredita-se que o uso de um instrumento validado capaz de identificar as fragilidades e fortalezas na implantação da RAPS, possa subsidiar o gerenciamento e a tomada de decisões, além de favorecer o diálogo entre os achados em diferentes regiões e de possibilitar comparações ao longo do tempo.

Metodologia

Trata-se de um estudo metodológico com abordagem quantitativa e delineamento transversal que conduziu a validação de conteúdo e aparência de um questionário multidimensional para análise da implantação da RAPS, segundo as dimensões de estrutura e processo (CHAMPAGNE et al., 2011). Os estudos metodológicos utilizam métodos de obtenção, organização e análise de dados e abordam a elaboração e validação dos instrumentos de pesquisa (POLIT; YANG, 2016).

O estudo foi executado em três etapas: (1) estudo de avaliabilidade; (2) desenvolvimento do instrumento de medidas; (3) aplicação da técnica Delphi para validação de conteúdo e aparência das questões.

No estudo de avaliabilidade, etapa que consiste no plano da avaliação, utilizou-se uma metodologia baseada no sistema de sete elementos proposto por Thurston e Ramaliu (2005): (1) identificação e revisão dos documentos disponíveis; (2) descrição do programa identificando as metas, os objetivos e as atividades que o constituem; (3) construção do modelo teórico-lógico: representação gráfica dos recursos disponíveis, das atividades pretendidas, impactos esperados e conexões causais presumidas; (4) obtenção de um entendimento preliminar de como o programa opera; (5) desenvolvimento de um Modelo Teórico da Avaliação; (6) identificação de usuários da avaliação e outros principais interessados (stakeholders); e (7) obtenção de um acordo quanto ao procedimento avaliativo.

Inicialmente, para participar do plano de avaliação, foram identificados os stakeholders, pessoas envolvidas ou afetadas pelo programa que possam apoiar e contribuir na avaliação, escolhidos a partir dos critérios propostos para avaliação de programas públicos de saúde (CENTERS FOR DISEASE CONTROL AND PREVENTION, 1999): envolvidos no planejamento e coordenação do programa, profissionais de saúde atuantes e membros da comunidade acadêmica. A amostra de conveniência foi constituída por membros da coordenação federal, estadual (MG) e municipal (Belo Horizonte, capital de MG) de saúde mental e referências técnicas regionais da Secretaria Estadual de Saúde de MG. Privilegiou-se os participantes da RAPS de MG, pela proposta de desenvolver a posteriori, uma pesquisa avaliativa da implantação da rede no Estado (CHAMPAGNE et al., 2011).

A seguir, foram identificados e revistos, no período de janeiro a julho de 2019, documentos técnicos e do arcabouço legal, disponíveis em sites governamentais, compreendendo o período de 1991 a 2019, além de revisão da literatura científica. A apropriação do conhecimento de como a RAPS opera e a identificação dos stakeholders foi de fundamental importância para a descrição do programa, a elaboração do modelo teórico-lógico e a obtenção de um acordo quanto a avaliação.

O modelo teórico-lógico da RAPS foi desenvolvido a partir do modelo analítico conceitual de redes de saúde desenvolvido por Amaral e Bosi (2017), considerando as suas cinco dimensões: unidades mínimas, conectividade, integração, normatividade, subjetividade. Para este estudo, considerou-se as cinco dimensões citadas como componentes e estes foram subdivididos em subcomponentes. Para cada subcomponente foram elencadas as atividades (processo) necessárias para alcançar os resultados esperados (curto e médio prazos), mediante os recursos empregados (estrutura) (CHAMPAGNE et al., 2016). Participaram da revisão, reelaboração e consenso do modelo, pesquisadores e stakeholders; conforme detalhado posteriormente.

No modelo teórico-lógico da RAPS subsidiou a identificação de 82 questões avaliativas (11 da dimensão estrutura e 71 da dimensão processo), sendo 34 referentes ao componente Unidades Mínimas, 14 à Conectividade, 6 à Integração, 9 à Normatividade, 8 à Subjetividade e 11 à Estrutura. Tais questões foram organizadas de modo a estabelecer o formato geral do questionário multidimensional. Ressalta-se que o instrumento seguiu o esquema proposto na modelagem da RAPS e foi estruturado para ser respondido pelos responsáveis pelas ações de saúde mental dos municípios de MG.

Para a validação de conteúdo e de aparência das questões identificadas, foi utilizada a Técnica Delphi, definida como um método de tomada de decisão em grupos de juízes com o propósito de chegar a um consenso acerca do construto a ser validado (JÜNGER et al., 2017). Neste estudo, os critérios definidos para a seleção dos juízes seguiram as recomendações de Scarparo et al. (2012): ser especialista atuante na área ou possuir título de mestre, doutor ou livre docente e apresentar atuação e/ou produção científica na área nos últimos cinco anos. Com base nos parâmetros definidos, a escolha dos juízes englobou membros da Coordenação Nacional de Saúde Mental, da Coordenação Estadual de Saúde Mental de MG e das Referências Técnicas Regionais em Saúde Mental da Secretaria Estadual de Minas Gerais, que também sugeriram outros profissionais atuantes e com uma boa percepção da RAPS brasileira. Além disso, foi utilizada a base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq), por intermédio da Plataforma Lattes, para a realização de uma busca pelos pesquisadores brasileiros mais atuantes e influentes na temática do estudo. Buscou-se compor um painel variado no que diz respeito à experiência e atuação dos juízes.

Para a coleta de dados, inicialmente, foi estabelecido um contato prévio via e-mail com os juízes selecionados, para apresentar os objetivos e a metodologia do estudo, a justificativa do processo de validação e a solicitação de participação na pesquisa. Posteriormente, foi enviado, por intermédio do software Google Forms®, o formulário que continha as questões elaboradas e solicitava que cada um deles ponderasse cada uma delas quanto aos critérios propostos por PASQUALI (2010): relevância, objetividade e clareza. As respostas foram organizadas em uma escala Likert – CP: concordo plenamente; C: concordo; NN: não discordo nem concordo; D: discordo; DP: discordo plenamente. Além disso, cada questão contava com um espaço para que os juízes pudessem sugerir alterações ou fazer comentários.

A aplicação dos formulários ocorreu em quatro tentativas no período de 19/11/19 a 20/12/19. Os convidados que não responderam ao formulário durante esse período foram excluídos da amostra. A participação dos especialistas foi precedida pela assinatura do termo de consentimento livre e esclarecido, sendo garantido o anonimato durante todo o processo.

Para análise dos dados, utilizou-se o Índice de Validade de Conteúdo (IVC) para identificar o grau de concordância dos especialistas. A indicação de ponto de corte para obtenção do consenso varia na literatura entre os valores de 50 a 80% (JÜNGER et al., 2017), tendo sido escolhido o ponto de corte de 75% de concordância neste estudo. Se este consenso não é alcançado na primeira rodada, define-se que sejam feitas até três rodadas do questionário entre os participantes. O IVC foi calculado a partir da somatória de respostas classificadas como CP e C, dividida pelo número total de respostas. Foi calculada também a Razão de Validade de Conteúdo (RVC) que compara essa proporção com o número esperado se os juízes estivessem respondendo ao acaso. Se a quantidade de concordância observada tiver mais de 5% de probabilidade de ocorrer por acaso, então o item deve ser eliminado ou revisto. Neste caso, o RVC menor que 0,54 deveria ser revisto e/ou eliminado. E por último, foi calculado o coeficiente de concordância de Kappa, que constitui a razão da proporção de vezes que os juízes concordam com a proporção máxima de vezes que os juízes poderiam concordar. Os valores de Kappa variam de -1 (ausência total de concordância) a 1 (concordância total) (ALEXANDRE; COLUCI, 2011).

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa envolvendo seres humanos (CAAE: 77798217.1.3001.5091), faz parte da pesquisa de doutoramento da primeira autora e encontra-se financiado pela Fundação de Amparo à Pesquisa de MG (FAPEMIG).

Resultados

Descrição do programa

A atenção psicossocial prestada pelo SUS no Brasil por meio de serviços territoriais começou a ser reivindicada na década de 1970, época em que a institucionalização era a principal maneira de abordagem das pessoas em sofrimento mental (FIOCRUZ; FUNDAÇÃO CALOUSTE GULBENKIAN, 2015). Após 12 anos de tramitação no congresso nacional, a promulgação da Lei nº 10.216, em 2001, constituiu um marco legislativo desse processo redirecionando o modelo de atenção.

Conforme ilustrado na FIGURA 1, a nova política assistencial se baseou inicialmente na criação dos Centros de Atenção Psicossocial (CAPS). Instituídos como serviços de caráter intermediário entre o ambulatório e a internação hospitalar, esses serviços foram progressivamente aumentando seu nível de complexidade, agregando em suas atividades o manejo das crises, o funcionamento 24 horas e a hospitalidade noturna, o acompanhamento dos pacientes graves após a estabilização e sua inserção no território. Dessa maneira, os CAPS subverteram a lógica da hierarquização e se organizaram agregando vários níveis de atenção à saúde em uma só unidade (QUINDERÉ; JORGE; FRANCO, 2014; ONOCKO-CAMPOS et al., 2018). Posteriormente os CAPS foram sendo diversificados com a criação de serviços específicos para portadores de sofrimento mental advindo do uso de álcool ou outras drogas (CAPS AD) e para crianças e adolescentes (CAPSi). Paralelamente, foram instituídas diversas estratégias para ampliação do novo modelo assistencial: reestruturação da assistência psiquiátrica hospitalar, privilegiando hospitais de pequeno porte, internações curtas definindo critérios para proteção dos direitos dos usuários; criação de Serviços Residenciais Terapêuticos (SRT) e auxílio-reabilitação para egressos de internações de longa permanência (Programa de Volta para Casa); estímulos à constituição de cooperativas sociais; atendimento aos casos de saúde mental na Atenção Primária à Saúde (APS); planos para atendimento às crianças, adolescentes e população de rua em sofrimento mental; integração com os serviços de urgência e emergência; critérios para a implantação de leitos destinados a retaguarda em saúde mental em hospitais gerais, dentre outros (BRASIL, 2015).

Figura 1
Linha do tempo da Rede de atenção Psicossocial (RAPS)

De acordo com o Ministério da Saúde (MS), no relatório Saúde Mental em Dados, lançado periodicamente até o ano de 2015, houve uma evolução considerável na implantação da RAPS no período, tendo sido alcançado o índice de 86% da população coberta no ano de 2014. Na , pode-se observar também um comparativo do número de serviços implantados no território brasileiro entre 2002 e 2014, demonstrando a implementação de uma ampla rede de serviços para atenção psicossocial, com a redistribuição dos recursos financeiros da rede hospitalar para os serviços comunitários: neste período, o orçamento destinado aos hospitais diminuiu de 95% do total de gastos com saúde mental para menos de 30%, em um cenário de aumento crescente dos recursos (BRASIL, 2015).

Em 2017, após mudanças no direcionamento político do governo federal, foi lançada a denominada “nova” Política Nacional de Saúde Mental (PNSM). As alterações preconizadas foram recebidas por profissionais e pesquisadores envolvidos na elaboração das ações públicas de saúde mental no país como um rompimento à tradição de construções de políticas pactuadas com instâncias sociais historicamente envolvidas no processo. Apesar de não alterar as bases assistenciais já instituídas, a inclusão do hospital psiquiátrico e do ambulatório em saúde mental (Equipe Multiprofissional de Atenção Especializada em Saúde Mental) no rol de componentes da RAPS; a substituição dos leitos em hospitais gerais por enfermarias especializadas com até 30 leitos; o financiamento público para aquisição de equipamentos de eletroconvulsoterapia e a manutenção e financiamento das Comunidades Terapêuticas foram vistos como fortalecedores de uma lógica da especialização e do hospitalocentrismo (ALMEIDA, 2019; BASTOS, 2019; ONOCKO-CAMPOS, 2019).

Desde então, os dados disponibilizados pelo MS sobre a RAPS são limitados. Apesar das normativas relativas a nova PNSM não terem sido revogadas, a nota técnica que havia sido publicada descrevendo as mudanças pretendidas foi retirada do site oficial após os protestos, deixando dúvidas com relação a magnitude das alterações que serão realizadas posteriormente (ONOCKO-CAMPOS, 2019).

Entendimento da operacionalização do programa, identificação dos interessados na avaliação e obtenção de um acordo quanto à avaliação

Ao longo do estudo, foram realizadas reuniões do grupo de pesquisa (professores, bolsistas de apoio técnico – mestres e alunos de iniciação científica) com os stakeholders sendo: duas reuniões com membros da Coordenação Nacional de Saúde Mental, oito reuniões com membros da Coordenação Estadual de Saúde Mental de MG; três reuniões com as 28 referências técnicas regionais em saúde mental de MG e uma reunião com a Coordenação de Saúde Mental de Belo Horizonte (capital de MG). Nesses encontros, discutiu-se a operacionalização da RAPS e os principais pontos a serem abordados na pesquisa, levando em consideração a opinião dos envolvidos, na perspectiva de construção de uma avaliação participativa. Os participantes aprovaram e estimularam a avaliação, forneceram informações e documentos administrativos, além de terem participado das reuniões de trabalho. Esse envolvimento possibilitou uma aproximação dos pesquisadores com aspectos práticos da operacionalização da RAPS e garantiu o cumprimento dos padrões de qualidade da pesquisa avaliativa: utilidade, factibilidade, propriedade e acurácia (CENTERS FOR DISEASE CONTROL AND PREVENTION, 1999; YARBROUGH et al., 2010; CRAIG; CAMPBELL, 2015). Ademais, foram identificados interessados na avaliação da RAPS mesmo sem sua participação direta na pesquisa, a saber: 1) referências técnicas nacionais e estaduais: interesse em implementar a avaliação da implantação da RAPS considerando-a uma ferramenta de gestão para monitorar o progresso da implantação, diagnosticar lacunas assistenciais, fomentar cooperações regionais na utilização dos serviços de saúde mental e alocar investimentos financeiros; 2) referências técnicas regionais: utilizar resultados para apoiar e dar suporte aos municípios, diagnosticar lacunas assistenciais e fomentar cooperações regionais na utilização dos serviços; 3) referências técnicas municipais: melhor conhecimento acerca da RAPS regional, possibilitando sua melhoria e o surgimento de novas estratégias para cooperação intermunicipal no compartilhamento de serviços; 4) profissionais da RAPS: melhor conhecimento da RAPS regional possibilitando o aprimoramento de suas atividades locais; 5) pesquisadores: utilizar as informações geradas pela avaliação da RAPS para construção de conhecimento acadêmico acerca da atenção pública em saúde mental do SUS, utilização dos resultados gerados para ampliar as pesquisas avaliativas da RAPS brasileira; 6) usuários e familiares: melhoria do cuidado em saúde mental.

Elaboração do modelo teórico-lógico para o desenvolvimento do questionário multidimensional

O modelo teórico-lógico constitui um esquema visual que demonstra o funcionamento do programa a ser avaliado e uma análise objetiva da relação causal presumida entre seus elementos, demonstrando sua articulação para resolução do problema que deu origem a intervenção (CHAMPAGNE et al., 2016). Para modelagem da RAPS, apresentada na FIGURA 2, o componente “Unidades Mínimas” (subcomponentes: Assistência à Saúde Mental e Reabilitação Psicossocial) foi estruturado como as intervenções essenciais para implementação da RAPS tal como proposta. Apesar de Amaral e Bosi (2017) privilegiarem os serviços da rede nesse componente, optamos, seguindo a tríade donabediana – estrutura/processo/resultado, por alocar os serviços, os recursos humanos, o sistema logístico e a educação em saúde dos profissionais no componente “Estrutura” (DONABEDIAN, 1978). A “Conectividade” (subcomponente: Articulação da Rede) detalhou as ações intrasetoriais e intersetoriais, incluindo as matriciais e a “Integração” (subcomponentes: Governança e Gestão do cuidado) englobou a coordenação tanto das relações entre os serviços quanto das intervenções realizadas ao longo do tempo para o acompanhamento contínuo de cada usuário. Para a “Normatividade” (subcomponentes Política de saúde mental e Participação e Controle Social), a PNSM foi considerada a linha guia através da qual a RAPS se orienta. Deve-se ressaltar que a RAPS, como outras Redes de Atenção a Saúde, supõe um funcionamento em integrado onde seus componentes se imbricam gerando relações causais indiretas entre vários deles. Entretanto, para melhor visualização, optou-se por demonstrar somente as relações presumidas diretamente, conforme indicado na .

Figura 2
Modelo teórico-lógico da Rede de Atenção Psicossocial (RAPS)

Realização da Técnica Delphi para validação de conteúdo e aparência das questões do Instrumento Multidimensional para Avaliação da Implantação da RAPS (IMAI-RAPS)

Dos 90 juízes convidados, 44 (48,9%) realizaram a avaliação das questões extraídas do modelo teórico-lógico. Dentre os participantes, 59,1% são do sexo feminino. No tocante à faixa etária, a idade dos juízes variou entre 30 e 67 anos, apresentando uma média de 44,5 anos. Quanto à escolaridade, 9,1% afirmaram possuir pós doutorado, 22,7% doutorado, 25% mestrado, 34,1% pós graduação Lato Sensu e 9,1% curso superior completo. Já no que diz respeito à formação profissional, 63,6% dos respondentes são psicólogos, 13,6% enfermeiros, 11,4% médicos e dentre os outros 11,4% encontram-se profissionais do Serviço Social, Fisioterapia, Terapia Ocupacional e Farmácia. No que se refere à relação dos juízes com a RAPS, 47,7% dos especialistas são profissionais da rede, 34,1% são pesquisadores e os demais 18,2% são profissionais que atuam ou possuem experiência de gestão, consultoria ou coordenação da RAPS. Deve-se ressaltar que entre os participantes estavam incluídos pesquisadores relevantes da área de várias regiões do país.

A partir das respostas retornadas pelos juízes, foi realizado o tratamento estatístico para validação. No tocante à relevância, todas as questões foram validadas, ou seja, apresentaram grau de concordância (IVC) acima do limiar de 0,75 esperado e valores satisfatórios nos demais testes. Em relação à objetividade, também foi encontrada alta concordância entre os juízes, sendo que a menor obteve um IVC de 0,77, RVC de 0,55 e Kappa 0,78. A análise do critério clareza, por sua vez, revelou que um item do instrumento não apresentava conteúdo adequadamente claro (IVC: 0,75 RVC: 0,50 e Kappa: 0,76), levando à exclusão da questão. Em função de vários avaliadores terem considerado o instrumento extenso e com redundâncias, foram sugeridas a exclusão de mais 26 questões. Apesar de valida-las, a maior parte dos juízes sugeriu excluir as questões referentes ao componente subjetividade deste instrumento, justificando que, devido à natureza de seu objeto, são necessárias técnicas qualitativas para alcançá-lo. Apenas uma questão desse componente foi mantida e inserida no componente Normatividade, por se relacionar ao subcomponente “Participação e Controle Social”.

O instrumento foi submetido à outras alterações sugeridas pelos juízes, tais como o desdobramento de duas perguntas em quatro, de modo a evitar interpretações errôneas e pequenas adaptações no texto. As adaptações foram possíveis, sem a necessidade de outra rodada da Técnica Delphi pois houve o consenso acima de 0,75 e os juízes forneceram sugestões semelhantes que consistiram em alterações simples de alguns termos utilizados. Quanto à validação de aparência, o instrumento foi considerado inteligível. Diante de tais modificações, o questionário foi reduzido de 82 para 55 questões distribuídas da seguinte forma: Unidades mínimas: 21; Conectividade: 12; Integração: 8; Normatividade: 8; Estrutura: 6 questões (ANEXO).

Deve-se ressaltar que não foram incluídos no instrumento perguntas relacionadas ao quantitativo de serviços da RAPS implantados, apesar deste dado ser imprescindível para análise do componente “Estrutura”, por considerar-se que esta informação pode ser acessada por meio de sistemas governamentais, como o DATASUS, e também devido à ênfase dada pelos stakeholders na necessidade de redução do questionário para melhor adesão dos respondentes. Por fim, destaca-se que, de forma geral, os juízes consideraram o instrumento abrangente e bem elaborado. Cabe ainda ressaltar que os comentários e sugestões dos juízes, detalhados e pouco genéricos, demonstraram, além de notório saber a respeito da RAPS, um bom envolvimento na validação aqui apresentada.

Discussão

Apesar da implementação de políticas nacionais para atenção psicossocial se mostrar uma ferramenta essencial para a melhoria da saúde mental populacional (PATEL et al., 2018) e da promoção ativa por organizações internacionais, até 2011, apenas 60% dos países membros da Organização Mundial da Saúde (OMS) possuíam suas próprias políticas de saúde mental, 71% tinham planos de saúde mental e 59% tinham legislação nessa área. Nesse contexto, o estudo de avaliabilidade realizado pôde verificar os avanços alcançados na implementação dessa política pública no Brasil.

Entretanto, como demonstrado, tais avanços foram mais evidentes até 2016, quando houve uma mudança de perspectiva nas posições governamentais, que resultaram em consideráveis alterações na Política Nacional de Saúde Mental em 2017 e que trazem riscos às conquistas das últimas décadas (ALMEIDA, 2019). Somam-se aos riscos, o subfinanciamento crônico desta e de outras políticas de saúde pública e a escassez de estudos de avaliação em larga escala, também associados à crescente falta de dados oficiais, desde 2015. Sendo assim, Onocko-Campos (2019) alerta para necessidade de avaliação da implantação de serviços, sob pena de desperdício de esforços e recursos financeiros.

Sabe-se que, tendo em vista os aspectos subjetivos que permeiam a atenção psicossocial e a recente reformulação do modelo assistencial brasileiro, a sistematização de estratégias avaliativas das práticas atuais constitui uma atividade desafiadora, mas necessária para acompanhamento de sua implantação e funcionalidade (OLIVEIRA et al., 2014; COSTA; COLUGNATI; RONZANI, 2015; AMARAL; BOSI, 2017; CORREIA; GOULART; FURTADO, 2017). Nesse sentido, os estudos avaliativos acerca das redes de atenção em saúde mental são escassos também na literatura internacional (ASHWOOD et al., 2018; MONTGOMERY et al., 2019). Com relação à análise de implantação, um estudo de 2015 destaca a lacuna de ferramentas para mapear os serviços de cuidado de saúde mental de adultos e propõe um protocolo para avaliar e monitorar o desenvolvimento de sistemas integrados em oito países europeus (SALVADOR-CARULLA et al., 2015). Outras experiências de utilização de instrumentos podem ser visualizadas, como por exemplo o European Service Mapping Schedule (ESMS), desenvolvido para padronizar a classificação dos serviços de saúde e do cuidado fornecido a adultos em situação de sofrimento mental, a Classificação Internacional de Cuidados em Saúde Mental (ICMHC), com o objetivo de avaliar as diferentes modalidades de cuidado ofertadas pelo sistema de saúde, bem como o European Socio-demographic Schedule (ESDS), visando uma descrição padronizada das características sociodemográficas do local de aplicação. O ESMS, por sua vez, passou por adaptações para aplicação em outros países e em outras populações, como a infanto-juvenil (ROMERO-LÓPEZ-ALBERCA et al., 2019). Outro instrumento elaborado com vistas a fornecer dados acerca dos sistemas de saúde mental é o World Health Organization Assessment Instrument for Mental Health Systems (WHO-AIMS), que tem por objetivo a coleta de informações essenciais ao sistema de saúde mental em países ou regiões (NEISI et al., 2005). No entanto, na literatura consta que a descrição fornecida pela aplicação de tal ferramenta fornece achados ainda muito gerais (ROMERO-LÓPEZ-ALBERCA et al., 2019). Além disso, devido às peculiaridades nacionais de cada sistema de saúde, a maior parte desses instrumentos é de difícil replicação e adaptação transcultural, convocando o desenvolvimento de ferramentas pensadas para o modelo brasileiro.

Previamente à execução de um estudo avaliativo, recomenda-se a realização de uma análise detalhada da situação concreta da política ou programa a ser avaliado, a fim de determinar a viabilidade e necessidade de uma avaliação propriamente dita (FIGUEIREDO; ANGULO-TUESTA; HARTZ, 2019). Nesse contexto, os estudos de avaliabilidade têm ganhado destaque, pois proporcionam uma análise detalhada da intervenção, contribuindo para estudos avaliativos futuros, na medida em que exploram as expectativas e necessidades dos grupos de interesse envolvidos e o grau de organização e implementação da iniciativa (CRAIG; CAMPBELL, 2015; FIGUEIREDO; ANGULO-TUESTA; HARTZ, 2019). Nesse aspecto, o modelo teórico-lógico desenvolvido foi essencial para compreender as premissas teóricas básicas da RAPS, condensando em uma imagem as peculiaridades desse complexo programa e constituindo um produto desta pesquisa que pode ser utilizado em pesquisas avaliativas posteriores. Ressalta-se que, ao adotarmos a Política Nacional de Saúde Mental como direcionadora do programa, os dissensos trazidos pela “nova” política não foram negligenciados, entretanto não se pode ignorar o potencial indutor de mudanças do governo federal devido a sua capacidade de alterar o financiamento dos serviços e/ou procedimentos (MOREIRA; FERRÉ; ANDRADE, 2017; ALMEIDA, 2019; BASTOS, 2019; ONOCKO-CAMPOS, 2019).

Outro aspecto relevante na avaliação em saúde é a identificação do potencial de utilização dos resultados e se há indicativo de sustentabilidade da intervenção proposta. Portanto, essa atividade não pode ser realizada apenas pela gestão e nem deixar de ser utilizada pela mesma quando se mostra relevante e útil (TANAKA; TAMAKI, 2012). Nesse sentido, o estudo de avaliabilidade realizado engajou membros da coordenação de saúde mental nacional e do estado de MG, referências técnicas regionais e trabalhadores da RAPS de MG na construção do modelo teórico-lógico focalizando os aspectos centrais a serem avaliados.

Conforme ressaltado por Amaral e Bosi (2017), a avaliação da organização das políticas de saúde em redes de atenção também se mostra um tema escasso no campo da saúde coletiva. A compreensão dos efeitos da articulação entre diferentes serviços é uma questão fundamental sendo que a falta de coordenação do cuidado é uma das causas mais frequentes de baixa resolutividade nas redes de atenção à saúde (VÁZQUEZ et al., 2015; ALMEIDA; OLIVEIRA; GIOVANELLA, 2018). Na saúde mental esses fatores são ainda mais imprescindíveis, pois a possibilidade de tratamento vai além de um único tipo de serviço e além de uma única modalidade terapêutica (PATEL et al., 2018). Nesse aspecto, a governança, abordada no modelo teórico-lógico deste estudo nos componentes “Conectividade” e “Integração”, requer ação política e técnica que concilie a demanda por recursos limitados em circunstâncias em constante mudança e é, portanto, tido como um dos aspectos mais críticos e complexos de qualquer sistema de saúde mental (NICKELS et al., 2018). Ressalta-se ainda que para se alcançar a integração de cuidados na RAPS, a adoção da região de saúde como unidade administrativa, em contraposição ao modelo municipalista adotado inicialmente pelo SUS, é necessária para concretização do compartilhamento de dispositivos que são inviáveis financeiramente para municípios menores (MACEDO et al., 2017; MOREIRA; FERRÉ; ANDRADE, 2017; TRAPÉ; CAMPOS, 2017).

Destaca-se que embora o estudo tenha sido pensado para avaliação da implantação a nível estadual, acredita-se que ele seja reprodutível, com pequenas adaptações, em outras regiões do país, uma vez que as normativas nacionais foram o ponto de partida para a formulação do modelo. Além disso, apesar de ter sido pensado para resposta no âmbito municipal, o instrumento foi gerado com base na estruturação da RAPS em cada região de saúde como uma rede hierarquizada de serviços. Um bom indício de tal reprodutibilidade foi a validação das perguntas avaliativas extraídas do modelo teórico-lógico, por especialistas expoentes no estudo da saúde mental de diversas partes do país. A validação de conteúdo foi utilizada por se mostrar essencial no processo de desenvolvimento de novos instrumentos de medidas, uma vez que representa o estágio inicial para a associação de conceitos abstratos com indicadores observáveis e mensuráveis (COLUCI; ALEXANDRE; MILANI, 2015). Nesse sentido, a utilização da Técnica Delphi constitui um método de pesquisa no qual busca-se, de maneira sistematizada, um consenso de opiniões de um grupo de especialistas a respeito de um problema complexo, quando não existem ainda instrumentos padronizados para sua avaliação (JÜNGER et al., 2017). Entretanto, seu uso por meio eletrônico é um procedimento recente que possui vantagens como o alcance de atores diversos e distantes geograficamente, a rapidez na distribuição, na coleta e no processamento de dados, mas também limitações, como o aumento das taxas de não respondentes, o que leva a perdas amostrais consideráveis (JÜNGER et al., 2017).

Como limitações do estudo, entende-se que a complexidade envolvida na RAPS engloba aspectos que ultrapassam a capacidade analítica de um questionário estruturado. Dessa maneira, apesar da identificação de perguntas avaliativas ser fundamental para o direcionamento do foco de um processo futuro de avaliação (ARAUJO et al., 2018), questões mais aprofundadas, apontadas tanto pela literatura quanto por alguns juízes, devem ser analisadas qualitativamente em estudos posteriores.

Conclusão

O estudo realizado abrangeu a investigação do processo histórico que culminou na atual RAPS brasileira, a modelagem, o planejamento e a verificação da possibilidade da avaliação de sua implantação em MG. Pretende-se enriquecer o debate sobre metodologias avaliativas capazes de analisar a relação entre os componentes da RAPS e desses com o contexto, assim como divulgar o modelo teórico-lógico e o Instrumento Multidimensional para Avaliação da Implantação da RAPS (IMAI-RAPS) validados para utilização em pesquisas posteriores.

Considerando-se a atual situação nacional, marcada por importantes crises na saúde pública e, mais recentemente, a pandemia causada pela COVID-19 que ampliou os custos pessoais, sociais e econômicos da doença mental a uma magnitude sem precedentes (LAKE, 2020), espera-se que o compartilhamento das informações produzidas possa contribuir para o desenvolvimento de estudos que documentem o avanço já alcançado por essa política no país, assim como que localizem os entraves ainda existentes potencializando a gestão estratégica do SUS na melhoria da atenção psicossocial prestada.

Referências

• ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, v. 16, n. 7, p. 3061-3068, jul. 2011.
• ALMEIDA, J. M. C. de. Política de saúde mental no Brasil: o que está em jogo nas mudanças em curso. Cadernos de Saúde Pública, v. 35, n. 11, p. e00129519, abr. 2019.
• ALMEIDA, J. M. Mental health services development in Latin America and the Caribbean: achievements, barriers and facilitating factors. International Health, v. 5, n. 1, p. 15-18, mar. 2013.
• ALMEIDA, P. F.; OLIVEIRA, S. C.; GIOVANELLA, L. Integração de rede e coordenação do cuidado: o caso do sistema de saúde do Chile. Ciência & Saúde Coletiva, v. 23, n. 7, p. 2213-2228, jul. 2018.
• AMARAL, C. E. M.; BOSI, M. L. M. O desafio da análise de redes de saúde no campo da saúde coletiva. Saúde e Sociedade, v. 26, n. 2, p. 424-434, jun. 2017.
• ARAUJO, R. F. de; et al. Avaliabilidade da compatibilização de indicadores e metas dos instrumentos de planejamento do Ministério da Saúde. Saúde em Debate, v. 42, n. 118, p. 566-578, set. 2018.
• ASHWOOD, J. S. et al. Evaluation of the Mental Health Services Act in Los Angeles County. Rand health quarterly, v. 8, n. 1, p. 4-7, ago. 2018.
• AZEVEDO, D. M. de; SALVETTI, M. D. G.; TORRES, G. V. de. Qualidade da assistência em saúde mental: desenvolvimento de um instrumento de avaliação. Revista de Enfermagem do Centro-Oeste Mineiro, v. 7, p. e1685, dez. 2017.
• BANDEIRA, M.; PITTA, A. M. F.; MERCIER, C. Escalas brasileiras de avaliação da satisfação (SATIS-BR) e da sobrecarga (IMPACTO-BR) da equipe técnica em serviços de saúde mental. Jornal Brasileiro de Psiquiatria, v. 49, n. 4, p. 105-115, abr. 2000.
• BANDEIRA, M.; SILVA, M. A. da. Escala de Satisfação dos Pacientes com os Serviços de Saúde Mental (SATIS-BR): estudo de validação. Jornal Brasileiro de Psiquiatria, v. 61, n. 3, p. 124-132, jul. 2012.
• BASTOS, F. I. Políticas de drogas no Brasil contemporâneo: aportes da ciência, da clínica e do liberalismo moderno. Cadernos de Saúde Pública, v. 35, n. 11, p. e00125519, set. 2019.
• BRASIL. Portaria no 4.279, de 30 de dezembro de 2010. Estabelece diretrizes para a organização da Rede de Atenção à Saúde no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União, Brasília, DF, 31 dez. 2010.
• BRASIL. Portaria nº 3.088, de 23 de dezembro de 2011. Institui a Rede de Atenção Psicossocial para pessoas com sofrimento ou transtorno mental e com necessidades decorrentes do uso de crack, álcool e outras drogas, no âmbito do Sistema Único de Saúde. Diário Oficial da União, Brasília, DF, 26 dez. 2011.
• BRASIL. Portaria nº 3.588, de 21 de dezembro de 2017. Altera as Portarias de Consolidação nº 3 e nº 6, de 28 de setembro de 2017, para dispor sobre a Rede de Atenção Psicossocial, e dá outras providências. Diário Oficial da União: seção 1, Brasília, DF, p. 236, 22 dez. 2017.
• BRASIL. MINISTÉRIO DA SAÚDE. Saúde Mental em Dados - 12, ano 10, no 12. Informativo Eletrônico. Brasília, 2015 (acesso em: 21/12/2020)
• CENTERS FOR DISEASE CONTROL AND PREVENTION. Framework for Program Evaluation in Public Health. Morbidity and mortality weekly report, v. 48, n. 11, p. 1-58, set. 1999.
• CHAMPAGNE, F. et al. Análise da implantação. In: BROUSSELLE, A. et al. (Org). Avaliação: Conceitos e Métodos. 1. ed. Rio de Janeiro: Ed. Fiocruz, 2011. p. 292.
• CHAMPAGNE, F. et al. Modelizar as intervenções. In: BROUSSELLE, A. et al. (Org). Avaliação: conceitos e métodos. 2. ed. Rio de Janeiro: Editora Fiocruz, 2016. p. 61-74b.
• COLUCI, M. Z. O.; ALEXANDRE, N. M. C.; MILANI, D. Construção de instrumentos de medida na área da saúde. Ciência & Saúde Coletiva, v. 20, n. 3, p. 925-936, abr. 2015.
• CORREIA, P. C. I.; GOULART, P. M.; FURTADO, J. P. A avaliabilidade dos Núcleos de Apoio à Saúde da Família (Nasf). Saúde em Debate, v. 41, n. spe, p. 345-359, mar. 2017.
• COSTA, P. H. A. da; COLUGNATI, F. A. B.; RONZANI, T. M. Avaliação de serviços em saúde mental no Brasil: revisão sistemática da literatura. Ciência & Saúde Coletiva, v. 20, n. 10, p. 3243-3253, out. 2015.
• CRAIG, P.; CAMPBELL, M. Evaluability Assessment: a systematic approach to deciding whether and how to evaluate programmes and policies: a What Works Scotland Working Paper. Glasgow, 2015.
• DONABEDIAN, A. The quality of medical care. Science, v. 200, n. 4344, p. 856-864, maio. 1978.
• FIGUEIREDO, T. A.; ANGULO-TUESTA, A.; HARTZ, Z. Avaliabilidade da Política Nacional de Regulação no SUS: uma proposta preliminar. Physis: Revista de Saúde Coletiva, v. 29, n. 2, set. 2019.
• FIOCRUZ; FUNDAÇÃO CALOUSTE GULBENKIAN. Inovações e Desafios em Desinstitucionalização e Atenção Comunitária no Brasil. Seminário Internacional de Saúde Mental: Documento Técnico Final. Rio de Janeiro: Fiocruz. Fundação Calouste Gulbenkian. Organização Mundial da Saúde. Ministério da Saúde, 2015.
• JACOB, K. S. et al. Mental health systems in countries: where are we now? The Lancet, v. 370, n. 9592, p. 1061-1077, set. 2007.
• JÜNGER, S. et al. Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliative Medicine, v. 31, n. 8, p. 684-706, set. 2017.
• KOHN, R. et al. Mental health in the Americas: an overview of the treatment gap. Revista Panamericana de Salud Pública, v. 42, p. e165, out. 2018.
• LAKE, J. A Mental Health Pandemic: The Second Wave of COVID-19. Psychiatric Times, 15 jun 2020. Disponível em: https://www.psychiatrictimes.com/view/a-mental-health-pandemic-the-second-wave-of-covid-19. Acesso em: 21 dez. 2020.
• MACEDO, J. P. et al. A regionalização da saúde mental e os novos desafios da Reforma Psiquiátrica Brasileira. Saúde e Sociedade, v. 26, n. 1, p. 155-170, mar. 2017.
• MONTGOMERY, L. et al. An evaluation of mental health service provision in Northern Ireland. Health and Social Care in the Community, v. 27, n. 1, p. 105-114, jun. 2019.
• MOREIRA, D. D. J.; BOSI, M. L. M. Qualidade do cuidado na Rede de Atenção Psicossocial: experiências de usuários no Nordeste do Brasil. Physis: Revista de Saúde Coletiva, v. 29, n. 2, p. 1-22, fev. 2019.
• MOREIRA, L. M. de C.; FERRÉ, F.; ANDRADE, E. I. G. Financiamento, descentralização e regionalização: transferências federais e as redes de atenção em Minas Gerais, Brasil. Ciência & Saúde Coletiva, v. 22, n. 4, p. 1245-1256, abr. 2017.
• MOREIRA, M. I. B.; ONOCKO-CAMPOS, R. T. Ações de saúde mental na rede de atenção psicossocial pela perspectiva dos usuários. Saúde e Sociedade, v. 26, n. 2, p. 462-474, maio. 2017.
• NEISI, L. et al. A review of the world health organization assessment instrument for mental health system: WHO-AIMS. Quarterly Journal of Nursing Management, v. 6, n. 3, p. 66-77, 2005.
• NICKELS, S. V. et al. Access to mental health care in El Salvador: a case study of progress toward decentralization. Revista Panamericana de Salud Pública, v. 42, p. e172, out. 2018.
• OLIVEIRA, M. A. F. de et al. Processos de avaliação de serviços de saúde mental: uma revisão integrativa da literatura. Saúde em Debate, v. 38, n. 101, p. 368-378, jun. 2014.
• ONOCKO-CAMPOS, R. T. et al. Atuação dos Centros de Atenção Psicossocial em quatro centros urbanos no Brasil. Revista Panamericana de Salud Pública, v. 42, p. e113, out. 2018.
• ONOCKO-CAMPOS, R. T. Saúde mental no Brasil: avanços, retrocessos e desafios. Cadernos de Saúde Pública, v. 35, n. 11, p. e00156119, jan. 2019.
• PASQUALI L. Instrumentação psicológica: Fundamentos e práticas. Porto Alegre: Artmed, 2010.
• PATEL, V. et al. The Lancet Commission on global mental health and sustainable development. The Lancet, v. 392, n. 10157, p. 1553-1598, out. 2018.
• POLIT, D.; YANG, F. Measurement and the measurement of change. China: Wolters Kluwer, 2016.
• QUINDERÉ, P. H. D.; JORGE, M. S. B.; FRANCO, T. B. Rede de Atenção Psicossocial: qual o lugar da saúde mental? Physis: Revista de Saúde Coletiva, v. 24, n. 1, p. 253-271, mar. 2014.
• ROMERO-LÓPEZ-ALBERCA, C. et al. Standardised description of health and social care: A systematic review of use of the ESMS/DESDE (European Service Mapping Schedule/Description and Evaluation of Services and DirectoriEs). European Psychiatry, v. 61, p. 97-110, ago. 2019.
• SALVADOR-CARULLA, L. et al. Developing a tool for mapping adult mental health care provision in Europe: The REMAST research protocol and its contribution to better integrated care. International Journal of Integrated Care, v. 15, out./dez. 2015.
• SCARPARO, A. F. et al. Reflexões sobre o uso da técnica Delphi em pesquisas na enfermagem. Rev Rene, v. 13, n. 1, p. 242-251, jan. 2012.
• TANAKA, O. Y.; TAMAKI, E. M. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciência & Saúde Coletiva, v. 17, n. 4, p. 821-828, abr. 2012.
• THURSTON, W. E.; RAMALIU, A. Evaluability assessment of a survivors of torture program: Lessons learned. Canadian Journal of Program Evaluation, v. 20, n. 2, p. 1-25, set. 2005.
• TRAPÉ, T. L.; CAMPOS, R. O. The mental health care model in Brazil: analyses of the funding, governance processes, and mechanisms of assessment. Revista de Saúde Pública, v. 51, p. 1-8, mar. 2017.
• VÁZQUEZ, M.-L. et al. Evaluating the effectiveness of care integration strategies in different healthcare systems in Latin America: the EQUITY-LA II quasi-experimental study protocol. BMJ Open, v. 5, n. 7, p. e007037, jul. 2015.
• VIEIRA, S. Como elaborar questionários. 1. ed. São Paulo: Atlas, 2009.
• VIGO, D.; THORNICROFT, G.; ATUN, R. Estimating the true global burden of mental illness. Lancet Psychiatry, v. 3, n. 2, p. 171–178, fev. 2016.
• YARBROUGH, D. B.; SHULA, L. M.; HOPSON, R. K.; CARUTHERS, F. The Program Evaluation Standards: A guide for evaluators and evaluation users. 3a ed. Thousand Oaks, CA: Corwin Press, 2010.
• ZHOU, W. et al. Policy development and challenges of global mental health: a systematic review of published studies of national-level mental health policies. BMC Psychiatry, v. 18, n. 1, p. 138, dez. 2018.

ANEXO

Instrumento Multidimensional para avaliação da implantação da RAPS (IMAI-RAPS)

Nome:	Telefone institucional:	Celular:
Sexo: ⚪ F   ⚪ M   ⚪ Outro	Data de nascimento:	E-mail:
Cargo (permitido marcar mais de uma resposta)	⚪ Coordenador municipal de saúde mental	⚪ Trabalhador da rede municipal de saúde mental
	⚪ Referência técnica municipal em saúde mental	⚪ Secretário Municipal de Saúde
	⚪ Coordenador (gerente) de outra área da saúde	⚪ Outro:
Formação profissional (permitido marcar mais de uma resposta)	⚪ Psicólogo(a)	⚪ Terapeuta Ocupacional
	⚪ Enfermeiro(a)	⚪ Farmacêutico(a)
	⚪ Médico(a)	⚪ Técnico(a) de Enfermagem
	⚪ Assistente Social	⚪ Outro:
	⚪ Fisioterapeuta
Pós-graduação:	⚪ Sim	⚪ Não
Você possui pós-graduação? (permitido marcar mais de uma resposta)	⚪ Não	⚪ Sim, Pós-Graduação Latu Senso em outras áreas fora do campo da saúde
	⚪ Sim, Pós-Graduação Latu Senso em Saúde Mental	⚪ Sim, Especialização via EAD
	⚪ Sim, Pós-Graduação Latu Senso em Gestão na área da Saúde	⚪ Sim, Mestrado
	⚪ Sim, Especialização em Saúde Pública	⚪ Sim, Doutorado
	⚪ Sim, Pós-Graduação Latu Senso em outra área da saúde	⚪ Outro:
Tempo de serviço no SUS (em anos trabalhados):
Tempo de serviço na Saúde Mental (em anos trabalhados):
Município:
I. Componente Unidades Mínimas
Assistência
No seu município, na assistência à saúde mental, é realizada:
1. Atendimento multidisciplinar?
Atendimento no qual profissionais com formações distintas atendem o usuário e compartilham decisões acerca do acompanhamento do caso
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
2. Oficinas terapêuticas e/ou atividades em grupo expressivas ou corporais?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
3. Elaboração do Projeto Terapêutico Singular:
Conjunto de propostas de condutas terapêuticas articuladas, direcionadas a um indivíduo, família ou coletividade. Tem como objetivo traçar uma estratégia de intervenção para o usuário, contando com os recursos da equipe, do território, da família e do próprio sujeito
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
4. (CONECTIVIDADE) Discussão de casos pela equipe que acompanha o usuário?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
5. (CONECTIVIDADE) Discussões de casos entre equipes de distintos serviços da RAPS?
Por meio do NASF ou diretamente entre as equipes envolvidas
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
6. O psiquiatra (municipal ou de outro município pactuado) costuma discutir o caso com os outros profissionais não médicos, sendo aberto a construções conjuntas para o manejo do caso?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
7. (GESTÃO DO CUIDADO) Existe fila de espera para atendimento ambulatorial com psiquiatra, psicólogo ou outro profissional de saúde mental?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
8. Em seu município, são oferecidas rodas de conversas, grupos, oficinas ou outras ações sobre promoção de saúde?
Auto-cuidado, uso adequado de medicamentos, hábitos de vida: atividade física, alimentação, consequências do uso prejudicial de álcool ou outras drogas
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
No seu município, na atenção primária em saúde:
9. Os profissionais das Unidades Básicas de Saúde realizam o acompanhamento de usuários com Transtornos Mentais Comuns:
Por ex: queixas depressivas, ansiosas, somatoformes
⚪ Sim
⚪ Na maioria das vezes — acompanha de maneira integral os usuários estabilizados
⚪ Na maioria das vezes — realiza atendimentos clínicos quando demandado pela equipe de saúde mental
⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
10. Os profissionais das Unidades Básicas de Saúde (UBS) realizam acompanhamento de usuários com transtornos graves em saúde mental?
⚪ Sim
⚪ Na maioria das vezes — acompanha de maneira integral os usuários estabilizados
⚪ Na maioria das vezes — realiza atendimentos clínicos quando demandado pela equipe de saúde mental
⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
11. Os profissionais das Unidades Básicas de Saúde (UBS) realizam acompanhamento de usuários em sofrimento psíquico secundário ao uso de álcool ou outras drogas?
⚪ Sim
⚪ Na maioria das vezes — acompanha de maneira integral os usuários estabilizados
⚪ Na maioria das vezes — realiza atendimentos clínicos quando demandado pela equipe de saúde mental
⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
Em seu município, o atendimento à crise em saúde mental:
Situações que envolvem momentos de desestabilização do usuário como, por exemplo: grave sintomatologia psiquiátrica aguda; grave ruptura das relações familiares e/ou sociais; recusa do tratamento; situações de alarme e risco no contexto familiar e/ou social; risco de suicídio
12. É realizado em Centro de Atenção Psicossocial (CAPS) municipal ou CAPS pactuado com municípios da região?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
13. Os pacientes são encaminhados para hospital psiquiátrico?
Por exemplo: 1) o paciente é atendido na Unidade de Pronto atendimento (UPA) municipal e encaminhado para o hospital psiquiátrico logo que possível; OU 2) o paciente é abordado pelo SAMU e levado diretamente para o hospital psiquiátrico mais próximo; OU 3) o paciente é abordado pelo CAPS, mas devido a falta de permanência noturna ou leitos em hospitais gerais, ele é encaminhado ao hospital psiquiátrico.
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
Em seu município, em relação à assistência aos portadores de sofrimento psíquico secundário ao uso de álcool ou outras drogas:
14. Os casos graves são atendidos em Centro de Atenção Psicossocial (CAPS) municipal ou CAPS pactuado com outro município da região?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
15. É realizada em Comunidades Terapêuticas?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
16. As crianças e adolescentes portadores de sofrimento psíquico recebem atendimento em serviços municipais?
⚪ Sempre, em CAPS infanto-juvenil (ou outro serviço específico para esse atendimento) ou Unidade Básica de Saúde dependendo da gravidade de cada caso.
⚪ Na maioria das vezes, em CAPS infanto-juvenil (ou outro serviço específico para esse atendimento) ou Unidade Básica de Saúde dependendo da gravidade de cada caso.
⚪ Algumas vezes, em CAPS infanto-juvenil (ou outro serviço específico para esse atendimento) ou Unidade Básica de Saúde dependendo da gravidade de cada caso.
⚪ Algumas vezes, em serviços não específicos da rede de saúde
⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
17. O município promove atividades esportivas e/ou culturais para a população?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
18. Em seu município são realizadas estratégias para prevenção ao uso prejudicial de álcool ou outras drogas?
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
Se sim na pergunta anterior (18), quais?
Reabilitação psicossocial:
Conjunto de ações que se destinam a aumentar as habilidades sociais do sujeito auxiliando sua integração social.
Em relação às atividades de reabilitação psicossocial realizadas em seu município:
19. São realizadas oficinas nas quais os produtos sejam comercializados?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
20. São realizadas intervenções psicossociais para integrar o usuário às redes sociais, por exemplo, estímulo à participação do usuário em grupos familiares, comunitários, etc
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
21. São realizadas ações para inserção do usuário da RAPS no mercado de trabalho?
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
22. Os profissionais da RAPS incentivam os usuários na criação e/ou participação em cooperativas ou empreendimentos solidários que facilitem sua inserção produtiva?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
23. Os profissionais da RAPS realizam ações para o aumento da autonomia dos usuários?
Por exemplo: auxílio na realização de carteiras de identidade, carteira de trabalho, confecção de currículos profissionais, regularização de questões bancárias, dentre outros
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
24. Ocorrem ações para desinstitucionalização de usuários de longa permanência em hospitais psiquiátricos ou outras instituições?
Por exemplo: inserção em Serviços Residenciais Terapêuticos; rearticulação de vínculos familiares e/ou sociais; ações que propiciem a interação das pessoas internadas com seus familiares e pessoas da cidade, com criação de espaços para promoção de encontros dentro do hospital e nos territórios da cidade.
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
II. Componente Conectividade
Sobre as relações entre os serviços da Rede de Atenção Psicossocial (RAPS) de seu município:
25. Os diversos serviços atuam de maneira independente, sem contato uns com os outros?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
26. O seu município conta com ações de matriciamento em saúde mental?
Trabalho em conjunto entre uma equipe especializada em saúde mental e equipes responsáveis pelos cuidados básicos em saúde, cuidados hospitalares ou pelas ações de urgência/emergência com o intuito de ampliar seu campo de atuação e qualificar suas ações. Estas ações podem ocorrer por meio do NASF ou independentes dele
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
27. As ações de matriciamento incluem discussões de casos ou atendimentos compartilhados?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
28. Os profissionais matriciadores vão às unidades matriciadas com qual frequência?
⚪ Semanal   ⚪ Quinzenal   ⚪ Mensal   ⚪ Bimensal ou mais   ⚪ Não sei O Não se aplica
29. Ocorrem ações de matriciamento em saúde mental da atenção primária em saúde?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
30. Ocorrem ações de matriciamento em saúde mental da rede de urgência e emergência?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
31. Ocorrem ações de matriciamento em saúde mental da rede hospitalar de referência?
Hospitais locais ou regionais que recebam os usuários da saúde mental
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca ⚪ Não sei   ⚪ Não se aplica
32. Os profissionais de saúde mental de seu município desenvolvem ações em conjunto com outros setores da administração municipal
Lazer, justiça, educação, esportes, serviço social, conselho tutelar, etc.
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca ⚪ Não sei   ⚪ Não se aplica
Em relação à articulação da RAPS em seu município, informe com qual frequência as atividades são realizadas:
33. Discussões de casos entre a equipe que acompanha o usuário e a equipe hospitalar quando os usuários estão internados (por motivos relacionados a saúde mental)
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca ⚪ Não sei   ⚪ Não se aplica
34. Reuniões de rede
Contando com a participação de representantes de vários serviços da RAPS
⚪ Mensal ou mais frequente   ⚪ Bimensal
⚪ Frequência variável, segundo demanda (periodicidade maior que bimensal)
⚪ Não são realizadas   ⚪ Não sei   ⚪ Não se aplica
III. Componente Integração
Governança
35. O município possui um coordenador específico para a saúde mental?
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
36. Seu município possui pactuações com outros municípios regionais para o compartilhamento de serviços da RAPS?
Seja recebendo ou enviando usuários
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica
37. Se sim na questão anterior (36), você avalia que as pactuações das quais participa são adequadas para a atendimento dos usuários da RAPS?
Por exemplo, existem municípios que possuem pactuação para utilização do CAPS de um município vizinho, mas, na prática, não há transporte disponível ou as distâncias não justificam que o paciente vá para a permanência dia
⚪ Muito efetiva   ⚪ Efetiva   ⚪ Razoavelmente efetiva   ⚪ Pouco efetiva
⚪ Não efetiva   ⚪ Não sei   ⚪ Não se aplica
Gestão do cuidado
Em relação ao acompanhamento dos usuários da saúde mental, no seu município:
38. Existe a definição de um (ou mais) profissional (is) de referência responsável (eis) pelo usuário ao longo de seu acompanhamento?
Aquele que tem como responsabilidade o monitoramento do usuário, o projeto terapêutico individual, o contato principal com a rede familiar, comunitária, laboral
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
39. Existem fluxos pactuados para a circulação dos usuários pelos diversos serviços de saúde da RAPS local?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
40. Na transição entre serviços, existe uma discussão entre os profissionais para articulação de um projeto compartilhado de cuidado?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
41. Ao longo do percurso do usuário pelos serviços da RAPS existe uma corresponsabilização dos profissionais de diferentes serviços no acompanhamento do caso?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
IV - Componente Normatividade
Política de Saúde Mental
42. As ações em saúde mental de seu município são embasadas nas diretrizes da Política Nacional de Saúde Mental?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
43. Os profissionais de saúde mental de seu município conhecem o funcionamento da RAPS de sua região?
Fluxos, demandas, protocolos de atendimento
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
44. No seu município, ocorrem ações de avaliação e monitoramento da atenção prestada em saúde mental?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
Se sempre, na maioria das vezes ou algumas vezes na questão anterior (44):
Como são realizadas estas ações?
Participação e controle social
45. Os usuários da RAPS de seu município participam de colegiados, conselhos, comissões, fóruns ou outros espaços de discussão coletiva em saúde mental?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
46. Nos serviços de saúde mental de seu município ocorrem assembleias de usuários?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
47. Se sempre, na maioria das vezes ou algumas vezes na questão anterior: As assembleias de usuários são deliberativas (quer dizer, tem poder decisório após consulta ou reflexão)?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
48. Os usuários e/ou seus familiares participam nas decisões acerca de seu tratamento?
Por exemplo: tendo espaço para opinar sobre quais medicamentos tomar, quais oficinas frequentar, qual familiar acionar
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
49. Os profissionais da RAPS de seu município participam de colegiados, comissões, fóruns ou outros espaços de discussões coletivas em saúde mental?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
V — Dimensão estrutural
Educação em Saúde
Em relação às ações para educação em saúde dos profissionais da Rede de Atenção Psicossocial (RAPS) de seu município:
50. O município oferece atividades educativas em saúde mental para os profissionais da RAPS?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
51. O município incentiva a participação dos profissionais da RAPS em atividades educativas?
Por exemplo: dando incentivos salariais à conclusão de pós graduação, diárias para deslocamento, liberação de carga horária parcial ou total, progressão na carreira
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
52. Na seleção de profissionais para atuação em saúde mental no seu município, é levada em conta a experiência de trabalho prévia em saúde mental ou a existência de formação condizente?
Por exemplo: especialização latu senso em saúde mental, cursos
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
Sistema Logístico
53. A atenção em saúde mental de seu município possui veículo disponível para transporte de usuários ou disponibiliza mecanismos para seu transporte até o serviço, como vale transporte, por exemplo?
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
54. A atenção em saúde mental de seu município possui veículo para transporte de profissionais em serviço?
Por exemplo: para atendimentos domiciliares, aplicação de medicação, ações de matriciamento
⚪ Sempre   ⚪ Na maioria das vezes   ⚪ Algumas vezes   ⚪ Raramente   ⚪ Nunca   ⚪ Não sei   ⚪ Não se aplica
55. Em seu município, existe um prontuário eletrônico único que pode ser acessado nos diferentes pontos de atenção à saúde?
⚪ Sim   ⚪ Não   ⚪ Não sei   ⚪ Não se aplica

Editora responsável: Jane Russo

Datas de Publicação

• Publicação nesta coleção
  05 Maio 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  21 Mar 2021
• Aceito
  10 Fev 2022
• Revisado
  21 Nov 2021