Acessibilidade / Reportar erro

Teoria da mudança para implementação de apoio matricial em saúde mental

Theory of change para implementación del apoyo matricial en salud mental

Resumo

Objetivo

Descrever o processo de elaboração da theory of change para implementação do Apoio Matricial em um município paulista de médio porte e refletir sobre contribuições dessa abordagem para o planejamento e avaliação dessa intervenção considerando as potencialidades e desafios a partir de sua execução no formato remoto.

Métodos

Estudo qualitativo realizado por meio de oficinas participativas e construção de narrativas com trabalhadores e gestores da Rede de Atenção Psicossocial seguindo as recomendações de um guia para o desenvolvimento de theory of change em intervenções complexas.

Resultados

A implementação do Apoio Matricial configura um dos três resultados distais que culminam na possibilidade de estabelecer a lógica do cuidado compartilhado relacionando-se à ativação da rede intersetorial e a implementação de um Comitê de Educação Permanente. Ainda foram reconhecidos componentes externos que deveriam ser garantidos pelo contexto organizacional para o efetivo alcance de alguns resultados intermediários e de longo prazo.

Conclusão

A elaboração da theory of change foi efetiva em delimitar objetivos e componentes da implementação a partir da perspectiva dos atores envolvidos, estabelecendo indicadores para seu monitoramento e avaliação a partir das condições do contexto e possibilitando o direcionamento de esforços dos trabalhadores para sua consolidação.

Ciência de implementação; Prática baseada em evidências; Saúde mental

Resumen

Objetivo

Describir el proceso de elaboración de la theory of change para implementar el apoyo matricial en un municipio paulista de medio porte y reflexionar sobre las contribuciones de este enfoque para la planificación y evaluación de esta intervención, considerando las posibilidades y desafíos a partir de su ejecución en formato remoto.

Métodos

Estudio cualitativo realizado por medio de talleres participativos y construcción de narrativas con trabajadores y gerentes de la Red de Atención Psicosocial, siguiendo las recomendaciones de una guía para la elaboración de la theory of change en intervenciones complejas.

Resultados

La implementación del apoyo matricial configura uno de los tres resultados distales que culminan en la posibilidad de establecer la lógica del cuidado compartido y se relaciona con la activación de la red intersectorial y la implementación de un Comité de Educación Permanente. Además, se reconocieron componentes externos que deberían estar garantizados por el contexto organizacional para llegar a algunos resultados intermedios y de largo plazo.

Conclusión

La elaboración de la theory of change fue efectiva para definir objetivos y componentes de la implementación a partir de la perspectiva de los actores involucrados, lo que permitió establecer indicadores para su monitoreo y evaluación a partir de las condiciones del contexto y orientar los esfuerzos de los trabajadores para su consolidación.

Ciencia de la implementación; Salud mental; Práctica basada en la evidencia

Abstract

Objective

To describe the process of development of the theory of change for the implementation of Matrix Support in a medium-sized municipality in São Paulo and to reflect on the contributions of this approach to the planning and evaluation of this intervention, considering the potentialities and challenges from its execution remotely.

Methods

Qualitative study performed through participatory workshops and construction of narratives with workers and managers of the Psychosocial Care Network following the recommendations of a guide for the development of the theory of change in complex interventions.

Results

The implementation of Matrix Support configures one of the three distal results that culminate in the possibility of establishing the logic of shared care related to the activation of intersectoral network and the implementation of a Continuing Education Committee. External components that should be guaranteed by the organizational context for the effective achievement of some intermediate and long-term results were also recognized.

Conclusion

The development of the theory of change was effective in delimiting objectives and implementation components from the perspective of the actors involved, establishing indicators for its monitoring and evaluation based on context conditions, and enabling the direction of workers’ efforts towards its consolidation.

Implementation Science; Mental health; Evidence base practice

Introdução

Propostas de cuidado compartilhado e colaborativo, semelhantes ao Apoio Matricial (AM) têm sido reconhecidas como boas práticas na assistência em saúde mental em todo o mundo. ( 11. Bower P , Gilbody S , Richards D , Fletcher J , Sutton A . Collaborative care for depression in primary care . Making sense of a complex intervention: systematic review and meta-regression. Br J Psychiatry . 2006 ; 189 ( 6 ): 484 – 93 . Review. , 22. Smith SM , Cousins G , Clyne B , Allwright S , O’Dowd T . Shared care across the interface between primary and specialty care in management of long term conditions . Cochrane Database Syst Rev . 2017 ; 2 ( 2 ): CD004910 . ) Desde a década de 90 surgiu um arcabouço substancial de evidências para cuidados colaborativos. Mais de 90 ensaios clínicos randomizados e diversos estudos com meta-análises demonstraram que o modelo de cuidado colaborativo é mais eficaz do que o tratamento usual para pacientes com depressão, ansiedade e outras condições comportamentais de saúde. ( 33. Advanced Integrated Mental Health Solutions (AIMS) . Collaborative-care . Washington : University of Washington ; 2023 [ cited 2023 Mar 21 ]. Available from: https://aims.uw.edu/collaborative-care/evidence-base-cocm
https://aims.uw.edu/collaborative-care/e...
) Paralelamente, no Brasil, o AM se insere, dentre outras dimensões, como uma metodologia que busca superar a fragmentação do cuidado em saúde mental através da corresponsabilização da equipe interdisciplinar que compõe a rede através da comunicação constante e deliberação conjunta. ( 44. Treichel CA , Onocko-Campos RT , Campos GW . A consolidação e efetividade do apoio matricial em saúde mental no Brasil - gargalos e desafios . Interface Comun Saúde Educ . 2019 ; 23 : 1 - 18 . )

Após mais de dez anos de sua incorporação por meio dos Núcleos de Apoio à Saúde da Família, uma série de desafios continua atravessando a efetiva implementação dos arranjos de AM em municípios de todo o país. Entre esses desafios, destaca-se as subjetividades dos trabalhadores, falta de delineamentos claros para o desenvolvimento dos processos de trabalho como o compartilhamento de casos, deficiências nos sistemas de referência e contrarreferência e a baixa articulação intersetorial com pouca utilização dos recursos comunitários são os principais desafios apontados na literatura. ( 44. Treichel CA , Onocko-Campos RT , Campos GW . A consolidação e efetividade do apoio matricial em saúde mental no Brasil - gargalos e desafios . Interface Comun Saúde Educ . 2019 ; 23 : 1 - 18 . ) Por implicar na necessidade de reorganização nos diversos níveis e serviços que compõem a Rede de Atenção Psicossocial (RAPS), a implementação do AM se constitui enquanto uma intervenção complexa em saúde, caracterizada por englobar componentes capazes de atuar de forma individual e/ou conjunta: recursos, condições de trabalho, clima organizacional, trabalhadores e usuários. Articular e sustentar essa mobilização é um desafio que se estende desde o delineamento da intervenção até sua fase de avaliação. ( 55. Silva MD , Lee L , Ryan G . Using theory of change in the development, implementation and evaluation of complex health interventions. A practical guide . Genebra : Mental Health Innovations Network ; 2015 [ cited 2021 Oct 4 ]. Available from: https://www.mhinnovation.net/sites/default/files/downloads/resource/MHIN%20ToC%20guidelines_May_2015.pdf
https://www.mhinnovation.net/sites/defau...

6. Craig P , Petticrew M . Developing and evaluating complex interventions: reflections on the 2008 MRC guidance . Int J Nurs Stud . 2013 ; 50 ( 5 ): 585 – 7 .
- 77. Craig P , Dieppe P , Macintyre S , Michie S , Nazareth I , Petticrew M ; Medical Research Council Guidance . Developing and evaluating complex interventions: the new Medical Research Council guidance . BMJ . 2008 ; 337 : a1655 . )

Como passo fundamental para que esses processos sejam bem sucedidos, é fundamental entender como a intervenção se relaciona com os diversos componentes do sistema para produzir seu efeito, sendo necessária assim uma abordagem sistêmica, que contemple a perspectiva dos diversos atores envolvidos em sua execução. ( 88. Leischow SJ , Best A , Trochim WM , Clark PI , Gallagher RS , Marcus SE , et al . Systems thinking to improve the public’s health . Am J Prev Med . 2008 ; 35 ( 2 Suppl ): S196 – 203 . , 99. De Silva MJ , Breuer E , Lee L , Asher L , Chowdhary N , Lund C , et al . Theory of Change: a theory-driven approach to enhance the Medical Research Council’s framework for complex interventions . Trials . 2014 ; 15 ( 1 ): 267 . )

Nesse sentido, a elaboração participativa da Theory of Change (ToC) em intervenções complexas em saúde tem sido apontada na literatura como uma maneira efetiva de planejar e avaliar essas intervenções. ( 1010. Paina L , Wilkinson A , Tetui M , Ekirapa-Kiracho E , Barman D , Ahmed T , et al . Using Theories of Change to inform implementation of health systems research and innovation: experiences of Future Health Systems consortium partners in Bangladesh, India and Uganda . Health Res Policy Syst . 2017 ; 15 ( S2 Suppl 2 ): 109 .

11. Ghate D . Developing theories of change for social programmes: co-producing evidence-supported quality improvement . Palgrave Commun . 2018 ; 4 ( 1 ): 90 .
- 1212. Maini R , Mounier-Jack S , Borghi J . How to and how not to develop a theory of change to evaluate a complex intervention: reflections on an experience in the Democratic Republic of Congo . BMJ Glob Health . 2018 ; 3 ( 1 ): e000617 . ) Sua utilização para esse fim, já foi documentada em pelo menos 49 intervenções conduzidas no campo da Saúde Pública, ( 1313. Breuer E , Lee L , De Silva M , Lund C . Using theory of change to design and evaluate public health interventions: a systematic review . Implement Sci . 2016 ; 11 ( 1 ): 63 . ) área na qual foi capaz de informar o processo de implementação, desenvolvimento de indicadores, delineamento do processo avaliativo e de análise dos dados.

Trata-se de uma abordagem que busca representar como, por que, e em que medida os resultados podem ser esperados enquanto produtos da intervenção. Dessa forma, corresponde a uma articulação formal e explícita dos pressupostos que sustentam a lógica e a concepção de uma intervenção. ( 1010. Paina L , Wilkinson A , Tetui M , Ekirapa-Kiracho E , Barman D , Ahmed T , et al . Using Theories of Change to inform implementation of health systems research and innovation: experiences of Future Health Systems consortium partners in Bangladesh, India and Uganda . Health Res Policy Syst . 2017 ; 15 ( S2 Suppl 2 ): 109 .

11. Ghate D . Developing theories of change for social programmes: co-producing evidence-supported quality improvement . Palgrave Commun . 2018 ; 4 ( 1 ): 90 .
- 1212. Maini R , Mounier-Jack S , Borghi J . How to and how not to develop a theory of change to evaluate a complex intervention: reflections on an experience in the Democratic Republic of Congo . BMJ Glob Health . 2018 ; 3 ( 1 ): e000617 . )

O objetivo dessa representação é nomear os resultados intermediários e a articulação destes com cadeias causais. Essas, por sua vez, direcionam a relação entre os resultados intermediários e evidenciam como eles levam aos resultados distais. Entre os resultados intermediários, destaca-se as intervenções (estratégias que objetivam integrar a intervenção no sistema); justificativa teórica (evidência que sugere uma abordagem específica para o contexto); componentes externos (condições externas para que o resultado intermediários seja alcançado) e indicadores vinculados aos resultados esperados (métricas que permitirão identificar mudanças e suas proporções). ( 55. Silva MD , Lee L , Ryan G . Using theory of change in the development, implementation and evaluation of complex health interventions. A practical guide . Genebra : Mental Health Innovations Network ; 2015 [ cited 2021 Oct 4 ]. Available from: https://www.mhinnovation.net/sites/default/files/downloads/resource/MHIN%20ToC%20guidelines_May_2015.pdf
https://www.mhinnovation.net/sites/defau...
) A literatura internacional aponta diversos estudos que utilizam a ToC na área de saúde mental, inclusive em países com contextos similares ao brasileiro. ( 1414. Breuer E , De Silva MJ , Fekadu A , Luitel NP , Murhar V , Nakku J , et al . Using workshops to develop theories of change in five low and middle income countries: lessons from the programme for improving mental health care (PRIME) . Int J Ment Health Syst . 2014 ; 8 ( 1 ): 15 .

15. Esponda GM , Ryan GK , Estrin GL , Usmani S , Lee L , Murphy J , et al . Lessons from a theory of change-driven evaluation of a global mental health funding portfolio . Int J Ment Health Syst . 2021 ; 15 ( 1 ): 18 .
- 1616. Breuer E , De Silva MJ , Shidaye R , Petersen I , Nakku J , Jordans MJ , et al . Planning and evaluating mental health services in low- and middle-income countries using theory of change . Br J Psychiatry . 2016 ; 208 ( Suppl 56 ): s55 – 62 . )

Diante do exposto, o presente estudo tem o objetivo de descrever o processo de elaboração da ToC para implementação do Apoio Matricial em um município paulista de médio porte e refletir sobre contribuições dessa abordagem para o planejamento e avaliação dessa intervenção considerando as potencialidades e desafios a partir de sua execução no formato remoto.

Métodos

Trata-se de um estudo descritivo sobre um processo de elaboração da ToC composto por metodologias qualitativas como oficinas participativas e construção de narrativas ( 1818. Furtado JP , Campos RO . Participação, produção de conhecimento e pesquisa avaliativa: a participação de diferentes atores em um estudo de saúde mental . Cad Saude Publica . 2008 ; 24 ( 11 ): 2671 – 80 . , 1919. Onocko Campos RT , Furtado JP . Narratives: use in qualitative health-related research . Rev Saude Publica . 2008 ; 42 ( 6 ): 1090 – 6 . ) durante os meses de setembro e outubro de 2020 junto a trabalhadores e gestores da RAPS de um município paulista de médio porte. Com população estimada de 122581 habitantes, o município possui 19 serviços de Atenção Primária à Saúde (APS) e, além de serviços hospitalares e de emergência, conta com três serviços especializados de saúde mental responsáveis por atender aproximadamente 1958 usuários. Em relação à demanda em saúde mental na APS do município, aponta-se um estudo descritivo realizado anteriormente na pesquisa matriz, referente ao diagnóstico situacional da rede de saúde mental que estimou um número de 3022 usuários recebendo consultas de saúde mental em 13 serviços de ESF. ( 1717. Treichel CA , Campos RT . Campos RT . Avaliação da atuação da rede comunitária de saúde mental em um município paulista de médio porte . Saúde Debate . 2022 ; 46 ( 132 ): 121 – 34 . )

Buscando orientar a elaboração da ToC a partir da perspectiva dos atores implicados na intervenção, adotamos como ponto de partida para seleção dos participantes o Comitê Gestor da Pesquisa (CGP). ( 2020. Treichel CA , Silva MC , Presotto RF , Onocko-Campos RT . Research Management Committee as strategic device for a mental health implementation research . Saúde Debate . 2019 ; 43 : 35 – 47 . ) Trata-se de uma instância deliberativa acerca da condução do processo de implementação que conta, com a participação de 7 pesquisadores vinculados à uma instituição de ensino, cujo papel é realizar a síntese e tradução de evidências e dar suporte a implementação, e, com 5 gestores e trabalhadores locais, alocados nos serviços de saúde mental do município, além de 2 membros da gestão municipal diretamente envolvidos na coordenação dos serviços de saúde mental, que, conjuntamente, compreendem o sistema de implementação do AM. Além dos membros do CGP, foram incluídos na elaboração da ToC, 3 trabalhadores dos serviços da APS do município, totalizando assim, 17 participantes. A escolha destes considerou a qualidade do engajamento em uma atividade piloto de formação, incluída como componente da intervenção. Cabe ressaltar que todos os profissionais que participaram deste estudo, estavam atuando diretamente em ações de cuidado compartilhado, ou seja, no AM do município, campo deste estudo. No quadro 1 a caracterização dos participantes pode auxiliar em uma melhor compreensão da amostra.

Quadro 1
Descrição das características dos participantes do estudo

O acesso à perspectiva dos atores implicados na intervenção, concomitante à elaboração da ToC se deu através de encontros que, inicialmente, não eram previstos em um número específico e que se seguiram conforme o consenso geral do grupo, totalizando assim, três encontros e uma validação. Durante os quatro encontros, todos os participantes citados no Quadro 1 tiveram adesão integral e regular.

Esse processo foi orientado pelo guia prático proposto por Silva et al. ( 55. Silva MD , Lee L , Ryan G . Using theory of change in the development, implementation and evaluation of complex health interventions. A practical guide . Genebra : Mental Health Innovations Network ; 2015 [ cited 2021 Oct 4 ]. Available from: https://www.mhinnovation.net/sites/default/files/downloads/resource/MHIN%20ToC%20guidelines_May_2015.pdf
https://www.mhinnovation.net/sites/defau...
) “Using Theory of Change in the development, implementation and evaluation of complex health interventions: A practical guide” . Nesse sentido, foi designado um facilitador familiarizado do ponto de vista teórico-prático acerca da elaboração da ToC. O facilitador era enfermeiro, pesquisador em saúde coletiva e sua função foi mediar o diálogo entre o grupo, utilizando questões disparadores com objetivo de emergir no grupo aspectos relacionados à mudança pretendida, bem como os elementos necessários para que esta fosse alcançada.

Dado o contexto sanitário imposto pela pandemia de COVID-19, a realização dos encontros ocorreu por meio da plataforma Google-Meet© , com link privado e controlado pelo facilitador das oficinas. Os participantes foram motivados a utilizar como forma preferencial de contato, os recursos audiovisuais, resguardando o uso do chat para momentos de dificuldades com a conexão. Os encontros tiveram duração média de duas horas e seguiu o seguinte roteiro: (1) abertura; (2) esclarecimento sobre a dinâmica do diálogo; (3) estabelecimento do setting; (4) diálogo; (5) síntese dos momentos anteriores e (6) encerramento.

A fim de coordenar a elaboração da ToC em uma superfície que todos os participantes pudessem visualizar, utilizou-se um quadro branco virtual por meio da plataforma Miro©, que oferece esse recurso de forma gratuita, permitindo a edição de forma colaborativa, bem como a visualização em tempo real por meio do compartilhamento de tela. Nesse contexto, dois pesquisadores ficaram responsáveis por registrar as ideias levantadas pelo grupo por meio da utilização de post-its virtuais em diferentes cores, sendo este um primeiro exercício de codificação das unidades de registro.

Para o diálogo, conduzido no formato de chuva de ideias, o facilitador utilizou algumas questões norteadoras definidas em um roteiro adaptado a partir da proposta do guia prático: 1) Qual é o impacto ou mudança que queremos alcançar na RAPS de ITATIBA?; 2) Quais resultados intermediários (o que precisa acontecer no meio do caminho) para produzir esse impacto ou mudança?; 3) Quais intervenções são necessárias para essas coisas acontecerem? e 4) Quais recursos são necessários para executar essas intervenções? Esses recursos estão disponíveis?

Os participantes respondiam cada questão individualmente e também eram encorajados a interagir uns com os outros, a fim de explorar e esclarecer perspectivas individuais e compartilhadas. O objetivo das questões era fazer emergir percepções acerca dos seguintes aspectos: (1) o impacto esperado como resultado final da intervenção; (2) os resultados intermediários necessários para que isso aconteça; (3) as intervenções necessárias a fim de assegurar a adoção, a integração e a sustentabilidade da intervenção; (4) as justificativas teóricas e/ou empíricas para a realização das ações propostas; (5) os componentes externos que afetam a intervenção e por fim (6) os indicadores vinculados a cada um dos resultados esperados.

O registro das oficinas foi realizado por meio da construção de narrativas. Dois pesquisadores ficaram responsáveis por reconhecer os núcleos argumentais presentes nos diálogos, produzindo assim um material denso, fiel aos acontecimentos dos encontros, mas não necessariamente à sua sequência temporal nem, tampouco às formas lexicais do grupo. ( 1818. Furtado JP , Campos RO . Participação, produção de conhecimento e pesquisa avaliativa: a participação de diferentes atores em um estudo de saúde mental . Cad Saude Publica . 2008 ; 24 ( 11 ): 2671 – 80 . ) As narrativas foram construídas de forma síncrona e compartilhada por meio da ferramenta Google-Docs©, sendo validadas com o grupo por meio da leitura, discussão e retificação do material ao final de cada encontro.

A figura 1 demonstra como as narrativas produzidas foram utilizadas como material de análise para a sistematização do desenho da ToC. Dessa forma, nos encontros síncronos, priorizou-se o levantamento do conteúdo e das percepções acerca de como a intervenção deveria interagir com o contexto em detrimento de definições claras de nomenclaturas ou de uma representação gráfica bem delineada.

Figura 1
Panorama resumido do processo de elaboração da ToC

O estudo foi submetido e aprovado pelo CEP da Faculdade de Ciências Médicas da UNICAMP sob o parecer de n°3.065.312 (Certificado de Apresentação de Apreciação Ética: 00827918.8.0000.5404). Todos os participantes consentiram sua participação por meio do TCLE mediante anonimato.

Resultados

A elaboração da ToC resultou na definição clara de que a implementação do AM configura um dos três resultados distais que culminam na possibilidade de estabelecer a lógica do cuidado compartilhado na RAPS do município. Para atingir esse objetivo, a implementação do AM se relacionaria ainda com a ativação da rede intersetorial e a implementação de um Comitê de Educação Permanente. A obtenção dos resultados distais foi condicionada ao estabelecimento de sete resultados intermediários, sendo cinco deles resultados diretos dos esforços da implementação e outros dois produzidos colateralmente como resultado da influência da mesma no contexto em questão. Destaca-se ainda que quatro dos resultados levantados, sendo dois intermediários e dois distais, foram pontuados como tendo relação de retroalimentação. A representação gráfica completa da ToC elaborada a partir deste estudo pode ser observada na figura 2 .

Figura 2
Representação gráfica completa da ToC elaborada a partir do estudo

Como recursos iniciais do processo de implementação, identificou-se a criação do próprio CGP e a avaliação do funcionamento da rede, sendo essa última performada na fase de pré-implementação, com vistas a estabelecer um diagnóstico situacional da RAPS. Além de pontuar justificativas teóricas para esses e outros aspectos ( Quadro 2 ), os participantes identificaram uma série de intervenções (estratégias de implementação) voltadas à viabilização do alcance dos resultados intermediários e distais.

Quadro 2
Justificativas teóricas adotadas pelo grupo durante a elaboração da ToC

O processo de elaboração da ToC resultou ainda na pactuação de oito indicadores, sendo dois qualitativos e seis quantitativos. Do ponto de vista qualitativo, estiveram condensados em um único indicador o grau de aceitabilidade, adoção, adequação e viabilidade, desfechos de implementação essenciais para que as intervenções propostas possam acontecer. Também foi entendido como um indicador qualitativo a incorporação do Comitê de Educação Permanente ao organograma da Secretaria Municipal de Saúde, o que, no entendimento dos participantes, configuraria uma evidência de sua institucionalização. Do ponto de vista quantitativo, foram elencados indicadores acerca do processo de implementação propriamente dito e suas repercussões diretas, indicadores acerca da qualidade e integralidade dos cuidados prestados nos serviços e indicadores relacionados às mudanças no ordenamento e fluxo da rede, entendidas como principais marcadores da efetividade do AM e do cuidado compartilhado em rede. A interpretação, fonte de dados utilizada e método de aferição para cada um dos indicadores pactuados pode ser observado no quadro 3 .

Quadro 3
Interpretação, fonte de dados utilizada e método de aferição dos indicadores pactuados por meio da elaboração da ToC

Por fim, foram reconhecidos quatro componentes externos, além do controle do projeto de implementação, que deveriam ser disponibilizados para o efetivo alcance de alguns resultados intermediários e de longo prazo: aquisição de insumos e materiais para qualificação dos cuidados clínicos aos usuários; implementação de um sistema de prontuário eletrônico para qualificação do processo de referência e contrarreferência; garantia de estrutura física e recursos necessários para encontros matriciais; e garantia de estrutura física e orçamentária para operacionalização do Comitê de Educação Permanente, originado a partir da qualificação de trabalhadores e gestores junto ao CGP.

Discussão

Na literatura, a construção da ToC é documentada de diversas maneiras, havendo experiências que tomaram por base revisões de literatura ( 2424. Walker JS , Matarese M . Using a theory of change to drive human resource development for wraparound . J Child Fam Stud . 2011 ; 20 ( 6 ): 791 – 803 . ) e avaliação de registros administrativos. ( 2525. Schierhout G , Hains J , Si D , Kennedy C , Cox R , Kwedza R , et al . Evaluating the effectiveness of a multifaceted, multilevel continuous quality improvement program in primary health care: developing a realist theory of change . Implement Sci . 2013 ; 8 ( 1 ): 119 . ) Contudo, assim como observado por Breuer et al., ( 1313. Breuer E , Lee L , De Silva M , Lund C . Using theory of change to design and evaluate public health interventions: a systematic review . Implement Sci . 2016 ; 11 ( 1 ): 63 . ) avaliamos que conduzir esse processo com a contribuição de diferentes partes interessadas por meio de oficinas colaborativas possibilitou ampliar e aprofundar o processo participativo. Isso possibilitou o alcance de um consenso realista entre os envolvidos acerca de como e quais resultados deveriam ser alcançados a partir da implementação, bem como quais recursos serão necessários e quais restrições estão impostas ao processo.

Cabe ainda ressaltar que o trabalho com as partes interessadas permitiu um deslocamento do planejamento da implementação e de sua avaliação do campo teórico para o campo prático, possibilitando um delineamento que partisse da perspectiva daqueles que vivem a realidade cotidiana dos serviços e possuem condições concretas de agir sobre eles. ( 2626. Furtado JP , Onocko-Campos RT , Moreira MI , Trapé TL . Desenvolvimento participativo de indicadores para avaliação de saúde mental . Cad Saude Publica . 2013 ; 29 ( 1 ): 102 – 10 . ) Entretanto, sinaliza-se como uma fragilidade do processo a falta de participação de usuários e seus familiares, especialmente ao considerar que uma forma de potencializar a elaboração da ToC é ser o mais inclusivo possível, reconhecendo a importância de incluir um leque de perspectivas na compreensão dos fundamentos teóricos da intervenção implementada. ( 2727. Mukumbang FC , van Belle S , Marchal B , van Wyk B . Towards developing an initial programme theory: programme designers and managers assumptions on the antiretroviral treatment adherence club programme in primary health care facilities in the metropolitan area of western cape province, South Africa . PLoS One . 2016 ; 11 ( 8 ): e0161790 . )

Nesse sentido, é preciso considerar que a participação de diferentes atores na elaboração da ToC está condicionada ao contexto, ( 2626. Furtado JP , Onocko-Campos RT , Moreira MI , Trapé TL . Desenvolvimento participativo de indicadores para avaliação de saúde mental . Cad Saude Publica . 2013 ; 29 ( 1 ): 102 – 10 . ) que em nossa experiência esteve marcado pela necessidade de distanciamento social imposta pela pandemia de Covid-19. Dessa forma, optamos por conduzir as oficinas de forma virtual, o que por um lado impossibilitou a inclusão efetiva dessas partes interessadas, mas ao mesmo tempo possibilitou dar seguimento a execução da implementação mesmo em um contexto tão desafiador.

Destaca-se que a realização das atividades de forma virtual demandou a busca por experiências prévias que permitissem identificar ferramentas e metodologias que pudessem ser empregadas a fim de manter o formato das oficinas o mais participativo possível. Dessa forma, com base em experiências recentes reportadas na literatura, ( 2828. Corrêa LM , Lima RC . O transtorno bipolar na rede: a construção do diagnóstico em um grupo on-line . Physis (Rio J.) . 2018 ; 28 ( 4 ): e280406 . , 2929. Nobrega S , El Ghaziri M , Giacobbe L , Rice S , Punnett L , Edwards K . Feasibility of Virtual Focus Groups in Program Impact Evaluation . Int J Qual Methods . 2021 ; 20 : 10.1177/16094069211019896 .
https://doi.org/10.1177/1609406921101989...
) identificamos o uso de plataformas síncronas de comunicação e quadro branco virtual como estratégias possíveis.

Enquanto o uso de plataformas síncronas de comunicação possibilitou o encontro com os participantes, o uso do quadro branco virtual buscava oportunizar uma visualização conjunta da representação gráfica da ToC bem como a construção coletiva da mesma. Entretanto, apesar do recurso ter permitido o engajamento dos participantes, aspectos como a variada qualidade de conexão dos participantes e a falta de segurança para utilizar as plataformas se colocaram enquanto desafio para realização dessa tarefa. Nesse sentido, ressalta-se aqui, a importância do método utilizado com dois pesquisadores, já descrito anteriormente, estes ficaram responsáveis por traduzir os apontamentos orais ou escritos dos participantes para o quadro branco, além da utilização de narrativas. ( 1919. Onocko Campos RT , Furtado JP . Narratives: use in qualitative health-related research . Rev Saude Publica . 2008 ; 42 ( 6 ): 1090 – 6 . )

A escolha de trabalhar com as narrativas foi tomada com base em estudos prévios que obtiveram sucesso em sua utilização para condução de processos participativos de avaliação ( 2323. Brasil . Ministério da Saúde . Guia prático de matriciamento em saúde mental . Brasília (DF) : Ministério da Saúde ; 2011 [ citado 2022 Out 12 ]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/guia_pratico_matriciamento_saudemental.pdf
https://bvsms.saude.gov.br/bvs/publicaco...
) e para pactuação de indicadores. ( 3030. Bustamante V , Onocko-Campos R , Silva AA , Treichel CA . Assessment indicators of psychosocial children and teenager care centers: results of an intervention research . Interface Comun Saúde Educ . 2020 ; 24 : e190276 . ) Nesses estudos, o uso das narrativas se destacou por permitir o registro dos aspectos da relação entre os sujeitos frente aos acontecimentos, experiências e sentidos produzidos pelo encontro, produzindo assim uma memória coletiva, narrada na primeira voz do plural. ( 1919. Onocko Campos RT , Furtado JP . Narratives: use in qualitative health-related research . Rev Saude Publica . 2008 ; 42 ( 6 ): 1090 – 6 . , 3030. Bustamante V , Onocko-Campos R , Silva AA , Treichel CA . Assessment indicators of psychosocial children and teenager care centers: results of an intervention research . Interface Comun Saúde Educ . 2020 ; 24 : e190276 . ) Em nossa experiência, as narrativas foram utilizadas como base para os pesquisadores estruturarem a representação gráfica da ToC entre os encontros, validando-a posteriormente junto aos participantes.

Um dos resultados mais importantes obtidos a partir da elaboração da ToC em nosso estudo foi a delimitação dos indicadores que seriam utilizados para avaliar o processo de implementação. Através desse exercício, foi possível definir indicadores que se relacionavam com resultados de curto, médio e longo prazo, favorecendo assim o delineamento de um processo avaliativo orientado pelas condições reais do contexto e a integração das avaliações de implementação e de efetividade sob uma mesma estrutura teórica. ( 3131. Breuer E , De Silva MJ , Fekadu A , Luitel NP , Murhar V , Nakku J , et al . Using workshops to develop theories of change in five low and middle income countries: lessons from the programme for improving mental health care (PRIME) . Int J Ment Health Syst . 2014 ; 8 ( 1 ): 15 .

32. Weitzman BC , Mijanovich T , Silver D , Brecher C . Finding the impact in a messy intervention: using an integrated design to evaluate a comprehensive citywide health initiative . Am J Eval . 2009 ; 30 ( 4 ): 495 – 514 .
- 3333. Clarke DJ , Godfrey M , Hawkins R , Sadler E , Harding G , Forster A , et al . Implementing a training intervention to support caregivers after stroke: a process evaluation examining the initiation and embedding of programme change . Implement Sci . 2013 ; 8 ( 1 ): 96 . )

Cabe destacar que assim como em um estudo prévio, ( 1212. Maini R , Mounier-Jack S , Borghi J . How to and how not to develop a theory of change to evaluate a complex intervention: reflections on an experience in the Democratic Republic of Congo . BMJ Glob Health . 2018 ; 3 ( 1 ): e000617 . ) inicialmente os participantes estavam relutantes em definir indicadores para avaliação da implementação, especialmente os quantitativos. Em nossa avaliação, essa realidade esteve associada a um temor de que um eventual fracasso no alcance desses indicadores implicaria em uma avaliação negativa do desempenho dos trabalhadores. Esse sentimento foi dissipado na medida em que o facilitador propôs atrelar aos desfechos e indicadores os componentes externos que precisam ser trabalhados para que as metas fossem alcançadas, desvinculando assim a ideia de que o sucesso da implementação depende unicamente do desempenho dos participantes.

Entretanto, a apresentação desse processo é inovadora na medida em que descreve uma valiosa metodologia participativa explorando peculiaridades dos processos de trabalho e da pactuação de indicadores de eficácia na perspectiva de atores atravessados pela prática do cuidado em saúde mental (no caso gestores e trabalhadores da rede), sustentando assim, o desenvolvimento e a avaliação de intervenções pautadas conforme as necessidades e fatores reais de seus respectivos contextos. Frente a isso, o presente estudo contribui para o preenchimento da lacuna entre a prática e a teoria das práticas baseadas em evidências na assistência em saúde mental, considerada um dos grandes desafios da Pesquisa de Implementação e do mundo. ( 3434. Proctor EK , Landsverk J , Aarons G , Chambers D , Glisson C , Mittman B . Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges . Adm Policy Ment Health . 2009 ; 36 ( 1 ): 24 – 34 . )

Conclusão

O estudo conclui que os objetivos foram atingidos: sobre a descrição da ToC para implementação do AM, o texto descreve com detalhamento robusto os detalhes e as representações gráficas, permitindo a transparência no processo e visualização da aplicabilidade da teoria em um estudo de implementação. Em relação às reflexões sobre as contribuições dessa abordagem, conclui-se que o processo de elaboração da ToC foi efetivo em delimitar, a partir de diferentes perspectivas, os objetivos e componentes da implementação, bem como a relação estabelecida entre eles e os resultados esperados como desdobramento de cada ação planejada. De igual modo, foi um processo potente para o estabelecimento de indicadores para o monitoramento e avaliação da intervenção, que pactuados a partir das condições reais do contexto, permitirão aos atores direcionar esforços em ações de cuidado que favoreçam o sucesso da intervenção. Sendo assim, reconhece-se a elaboração da ToC como uma atividade potente para nortear os caminhos desse processo e de sua avaliação.

Agradecimentos

À Fundação de Amparo à Pesquisa do Estado de S. Paulo (FAPESP), à Universidade Estadual de Campinas (UNICAMP), à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CNPQ), à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) pelo financiamento.

Referências

  • 1
    Bower P , Gilbody S , Richards D , Fletcher J , Sutton A . Collaborative care for depression in primary care . Making sense of a complex intervention: systematic review and meta-regression. Br J Psychiatry . 2006 ; 189 ( 6 ): 484 – 93 . Review.
  • 2
    Smith SM , Cousins G , Clyne B , Allwright S , O’Dowd T . Shared care across the interface between primary and specialty care in management of long term conditions . Cochrane Database Syst Rev . 2017 ; 2 ( 2 ): CD004910 .
  • 3
    Advanced Integrated Mental Health Solutions (AIMS) . Collaborative-care . Washington : University of Washington ; 2023 [ cited 2023 Mar 21 ]. Available from: https://aims.uw.edu/collaborative-care/evidence-base-cocm
    » https://aims.uw.edu/collaborative-care/evidence-base-cocm
  • 4
    Treichel CA , Onocko-Campos RT , Campos GW . A consolidação e efetividade do apoio matricial em saúde mental no Brasil - gargalos e desafios . Interface Comun Saúde Educ . 2019 ; 23 : 1 - 18 .
  • 5
    Silva MD , Lee L , Ryan G . Using theory of change in the development, implementation and evaluation of complex health interventions. A practical guide . Genebra : Mental Health Innovations Network ; 2015 [ cited 2021 Oct 4 ]. Available from: https://www.mhinnovation.net/sites/default/files/downloads/resource/MHIN%20ToC%20guidelines_May_2015.pdf
    » https://www.mhinnovation.net/sites/default/files/downloads/resource/MHIN%20ToC%20guidelines_May_2015.pdf
  • 6
    Craig P , Petticrew M . Developing and evaluating complex interventions: reflections on the 2008 MRC guidance . Int J Nurs Stud . 2013 ; 50 ( 5 ): 585 – 7 .
  • 7
    Craig P , Dieppe P , Macintyre S , Michie S , Nazareth I , Petticrew M ; Medical Research Council Guidance . Developing and evaluating complex interventions: the new Medical Research Council guidance . BMJ . 2008 ; 337 : a1655 .
  • 8
    Leischow SJ , Best A , Trochim WM , Clark PI , Gallagher RS , Marcus SE , et al . Systems thinking to improve the public’s health . Am J Prev Med . 2008 ; 35 ( 2 Suppl ): S196 – 203 .
  • 9
    De Silva MJ , Breuer E , Lee L , Asher L , Chowdhary N , Lund C , et al . Theory of Change: a theory-driven approach to enhance the Medical Research Council’s framework for complex interventions . Trials . 2014 ; 15 ( 1 ): 267 .
  • 10
    Paina L , Wilkinson A , Tetui M , Ekirapa-Kiracho E , Barman D , Ahmed T , et al . Using Theories of Change to inform implementation of health systems research and innovation: experiences of Future Health Systems consortium partners in Bangladesh, India and Uganda . Health Res Policy Syst . 2017 ; 15 ( S2 Suppl 2 ): 109 .
  • 11
    Ghate D . Developing theories of change for social programmes: co-producing evidence-supported quality improvement . Palgrave Commun . 2018 ; 4 ( 1 ): 90 .
  • 12
    Maini R , Mounier-Jack S , Borghi J . How to and how not to develop a theory of change to evaluate a complex intervention: reflections on an experience in the Democratic Republic of Congo . BMJ Glob Health . 2018 ; 3 ( 1 ): e000617 .
  • 13
    Breuer E , Lee L , De Silva M , Lund C . Using theory of change to design and evaluate public health interventions: a systematic review . Implement Sci . 2016 ; 11 ( 1 ): 63 .
  • 14
    Breuer E , De Silva MJ , Fekadu A , Luitel NP , Murhar V , Nakku J , et al . Using workshops to develop theories of change in five low and middle income countries: lessons from the programme for improving mental health care (PRIME) . Int J Ment Health Syst . 2014 ; 8 ( 1 ): 15 .
  • 15
    Esponda GM , Ryan GK , Estrin GL , Usmani S , Lee L , Murphy J , et al . Lessons from a theory of change-driven evaluation of a global mental health funding portfolio . Int J Ment Health Syst . 2021 ; 15 ( 1 ): 18 .
  • 16
    Breuer E , De Silva MJ , Shidaye R , Petersen I , Nakku J , Jordans MJ , et al . Planning and evaluating mental health services in low- and middle-income countries using theory of change . Br J Psychiatry . 2016 ; 208 ( Suppl 56 ): s55 – 62 .
  • 17
    Treichel CA , Campos RT . Campos RT . Avaliação da atuação da rede comunitária de saúde mental em um município paulista de médio porte . Saúde Debate . 2022 ; 46 ( 132 ): 121 – 34 .
  • 18
    Furtado JP , Campos RO . Participação, produção de conhecimento e pesquisa avaliativa: a participação de diferentes atores em um estudo de saúde mental . Cad Saude Publica . 2008 ; 24 ( 11 ): 2671 – 80 .
  • 19
    Onocko Campos RT , Furtado JP . Narratives: use in qualitative health-related research . Rev Saude Publica . 2008 ; 42 ( 6 ): 1090 – 6 .
  • 20
    Treichel CA , Silva MC , Presotto RF , Onocko-Campos RT . Research Management Committee as strategic device for a mental health implementation research . Saúde Debate . 2019 ; 43 : 35 – 47 .
  • 21
    Jamtvedt G , Flottorp S , Ivers N . Audit and feedback as a quality strategy . In: Busse R , Klazinga N , Panteli D , Quentin W , editors . Improving healthcare quality in Europe: characteristics, effectiveness and implementation of different strategies . Copenhagen, Denmark : European Observatory on Health Systems and Policies ; 2019 [ cited 2022 Oct 12 ]. Available from: https://www.ncbi.nlm.nih.gov/books/NBK549284/
    » https://www.ncbi.nlm.nih.gov/books/NBK549284/
  • 22
    Brasil . Ministério da Saúde . Política Nacional de Educação Permanente em Saúde: o que se tem produzido para o seu fortalecimento? Brasília (DF) : Ministério da Saúde ; 2018 [ citado 2022 Out 12 ]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/politica_nacional_educacao_permanente_saude_fortalecimento.pdf
    » https://bvsms.saude.gov.br/bvs/publicacoes/politica_nacional_educacao_permanente_saude_fortalecimento.pdf
  • 23
    Brasil . Ministério da Saúde . Guia prático de matriciamento em saúde mental . Brasília (DF) : Ministério da Saúde ; 2011 [ citado 2022 Out 12 ]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/guia_pratico_matriciamento_saudemental.pdf
    » https://bvsms.saude.gov.br/bvs/publicacoes/guia_pratico_matriciamento_saudemental.pdf
  • 24
    Walker JS , Matarese M . Using a theory of change to drive human resource development for wraparound . J Child Fam Stud . 2011 ; 20 ( 6 ): 791 – 803 .
  • 25
    Schierhout G , Hains J , Si D , Kennedy C , Cox R , Kwedza R , et al . Evaluating the effectiveness of a multifaceted, multilevel continuous quality improvement program in primary health care: developing a realist theory of change . Implement Sci . 2013 ; 8 ( 1 ): 119 .
  • 26
    Furtado JP , Onocko-Campos RT , Moreira MI , Trapé TL . Desenvolvimento participativo de indicadores para avaliação de saúde mental . Cad Saude Publica . 2013 ; 29 ( 1 ): 102 – 10 .
  • 27
    Mukumbang FC , van Belle S , Marchal B , van Wyk B . Towards developing an initial programme theory: programme designers and managers assumptions on the antiretroviral treatment adherence club programme in primary health care facilities in the metropolitan area of western cape province, South Africa . PLoS One . 2016 ; 11 ( 8 ): e0161790 .
  • 28
    Corrêa LM , Lima RC . O transtorno bipolar na rede: a construção do diagnóstico em um grupo on-line . Physis (Rio J.) . 2018 ; 28 ( 4 ): e280406 .
  • 29
    Nobrega S , El Ghaziri M , Giacobbe L , Rice S , Punnett L , Edwards K . Feasibility of Virtual Focus Groups in Program Impact Evaluation . Int J Qual Methods . 2021 ; 20 : 10.1177/16094069211019896 .
    » https://doi.org/10.1177/16094069211019896
  • 30
    Bustamante V , Onocko-Campos R , Silva AA , Treichel CA . Assessment indicators of psychosocial children and teenager care centers: results of an intervention research . Interface Comun Saúde Educ . 2020 ; 24 : e190276 .
  • 31
    Breuer E , De Silva MJ , Fekadu A , Luitel NP , Murhar V , Nakku J , et al . Using workshops to develop theories of change in five low and middle income countries: lessons from the programme for improving mental health care (PRIME) . Int J Ment Health Syst . 2014 ; 8 ( 1 ): 15 .
  • 32
    Weitzman BC , Mijanovich T , Silver D , Brecher C . Finding the impact in a messy intervention: using an integrated design to evaluate a comprehensive citywide health initiative . Am J Eval . 2009 ; 30 ( 4 ): 495 – 514 .
  • 33
    Clarke DJ , Godfrey M , Hawkins R , Sadler E , Harding G , Forster A , et al . Implementing a training intervention to support caregivers after stroke: a process evaluation examining the initiation and embedding of programme change . Implement Sci . 2013 ; 8 ( 1 ): 96 .
  • 34
    Proctor EK , Landsverk J , Aarons G , Chambers D , Glisson C , Mittman B . Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges . Adm Policy Ment Health . 2009 ; 36 ( 1 ): 24 – 34 .

Editado por

Editor Associado (Avaliação pelos pares): Thiago da Silva Domingos (https://orcid.org/0000-0002-1421-7468) Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil

Datas de Publicação

  • Publicação nesta coleção
    21 Ago 2023
  • Data do Fascículo
    2023

Histórico

  • Recebido
    21 Out 2022
  • Aceito
    16 Maio 2023
Escola Paulista de Enfermagem, Universidade Federal de São Paulo R. Napoleão de Barros, 754, 04024-002 São Paulo - SP/Brasil, Tel./Fax: (55 11) 5576 4430 - São Paulo - SP - Brazil
E-mail: actapaulista@unifesp.br