SciELO - Scientific Electronic Library Online

 
vol.23Are we talking about food? Journalists’ speech and content analysis of popular newsDiscourses on the healthcare of lesbian, gay, bisexual, and transgender (LGBT) people adopted by doctors working in Brazil’s Family Health Strategy author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Interface - Comunicação, Saúde, Educação

Print version ISSN 1414-3283On-line version ISSN 1807-5762

Interface (Botucatu) vol.23  Botucatu  2019  Epub July 10, 2019

https://doi.org/10.1590/interface.180184 

Artigos

Serviços de Telessaúde como apoio à Educação Permanente na Atenção Básica à Saúde: uma proposta de modelo avaliativo

Telehealth services as support for Continuing Education in Primary Health Care: an evaluation framework

Servicios de Telesalud como apoyo a la Educación Permanente en la Atención Básica de la Salud: una propuesta de modelo evaluativo

(a)Pós-graduanda do Programa de Saúde Coletiva (Doutorado), Departamento de Saúde Pública, Universidade Federal de Santa Catarina (UFSC). Campus Reitor João David Ferreira Lima, Rua Delfino Conti, s/nº, Bloco H, Bairro Trindade. Florianópolis, SC, Brasil. 88040-900. <luiseludke@gmail.com>

(b, c, d)Programa de Pós-Graduação em Saúde Coletiva, Centro de Ciências da Saúde, UFSC. Florianópolis, SC, Brasil. <jtelino@gmail.com> <sonianatal2010@gmail.com> <cristina.clv@gmail.com>


RESUMO

Um dos objetivos do Programa Telessaúde Brasil Redes é apoiar ações de Educação Permanente em Saúde (EPS) das equipes de Atenção Básica à Saúde (ABS) por meio de Tecnologias de Informação e Comunicação em Saúde (TIC). O objetivo deste estudo é propor um modelo avaliativo dos serviços de Telessaúde enquanto estratégia de EPS para profissionais da ABS. Desenvolveu-se um estudo de avaliabilidade com a finalidade de propor um modelo teórico, um modelo lógico e uma matriz de análise para avaliações futuras. O estudo cumpriu o objetivo de realizar uma descrição completa do programa e definiu o objeto como avaliável, sugerindo-se como possível linha para pesquisa avaliativa um estudo de caso de abordagem qualitativa e análise baseada na identificação de convergências e divergências por meio do confronto dos modelos propostos com a realidade empírica do caso.

Palavras-Chave: Educação permanente em saúde; Telessaúde; Avaliação de programas e projetos de saúde

ABSTRACT

One of the objectives of Brazil’s National Telehealth Network Program is to support continuing health education for primary care providers through the use of health information and communication technologies. The aim of this study was to develop a telehealth services evaluation framework that can be used as a tool for assessing continuing health education for primary care providers. An availability study was conducted to provide the basis for the development of theoretical, logical, and analytical frameworks for future evaluations. A comprehensive description of the program is provided and it is concluded that it is evaluable. Finally, we suggest that a qualitative case study should be conducted using the frameworks developed as an evaluation tool.

Key words: Continuing health education; Telehealth; Evaluation of health programs and projects

RESUMEN

Uno de los objetivos del Programa Telesalud Brasil Redes es dar apoyo a acciones de Educación Permanente en Salud (EPS) de los equipos de Atención Básica de la Salud (ABS) por medio de Tecnologías de Información y Comunicación en Salud (TIC). El objetivo de este estudio es proponer un modelo evaluativo de los servicios de Telesalud como estrategia de EPS para profesionales de la ABS. Se desarrolló un estudio de capacidad de evaluación con la finalidad de proponer un modelo teórico, un modelo lógico y una matriz de análisis para evaluaciones futuras. El estudio cumplió el objetivo de realizar una descripción completa del programa y definió el objeto como evaluable, sugiriéndose como posible línea para investigación evaluativa un estudio de caso de abordaje cualitativo y análisis basado en la identificación de convergencias y divergencias por medio de la comparación de los modelos propuestos con la realidad empírica del caso.

Palabras-clave: Educación permanente en salud; Telesalud; Evaluación de programas y proyectos de salud

Introdução

A Educação Permanente em Saúde (EPS) é uma das apostas do Ministério da Saúde para a implementação do Sistema Único de Saúde (SUS) com base em seus princípios essenciais, transformando os espaços de trabalho também em espaços de educação e aprendizagem 1,2 .

Por meio da reflexão sobre a realidade local, da produção do conhecimento embasado nesta realidade, do planejamento e da ação para resolução de problemas, espera-se que as equipes exerçam uma democracia participativa e o trabalho interdisciplinar, trocando e compartilhando experiências com vistas à qualificação permanente e constante do cuidado em saúde, respeitando a voz da população em que se insere 1,3-5 .

Diversas ações e programas foram colocados em prática pela Secretaria de Gestão do Trabalho e da Educação na Saúde (SGTES) do Ministério da Saúde com este objetivo, como a Universidade Aberta do SUS (UNA-SUS); Comunidade de Práticas; VER-SUS; PET-Saúde; Pró-Saúde e Programa Nacional Telessaúde Brasil Redes 6 .

O Programa Nacional Telessaúde Brasil Redes (Telessaúde Brasil Redes) foi criado em 2007 com nove núcleos-piloto de Telessaúde vinculados às universidades federais e coordenados em parceria com as Secretarias Estaduais de Saúde para apoiar especialmente os profissionais de saúde que atuam distantes dos principais centros de formação por meio da EPS a distância 6-9 .

Os principais objetivos desse programa são apoiar a tomada de decisão clínica no âmbito da ABS, evitando e qualificando encaminhamentos para outros níveis de atenção; e apoiar as ações de EPS das equipes de ABS por meio do uso de TIC 8-10 .

Estudos demonstram a importância e os benefícios da Telessaúde para a qualificação profissional, a melhoria do acesso de pacientes aos serviços de saúde, a redução de custos e a resolubilidade na ABS, colocando também em discussão as barreiras e as facilidades no uso de serviços de Telessaúde. Como facilidades, são destacadas: vontade política, boa administração e aplicação de estratégias efetivas de implantação de serviços de Telessaúde, tecnologias de simples e de fácil utilização, boa estrutura, bons equipamentos e boa compreensão dos benefícios da Telessaúde pelos profissionais que a usam. Como barreiras, apresentam-se: baixa longevidade e manutenção dos programas de Telessaúde, falta de recursos; resistência de profissionais e usuários a novos modelos de serviços de saúde; falta de treinamento para uso da Telessaúde; falta de clareza sobre os objetivos da Telessaúde; falta de políticas governamentais e protocolos de uso e oferta de serviços de Telessaúde; e infraestrutura inadequada 11-18 .

Muitas são as pesquisas voltadas para a avaliação de TIC em saúde para diagnóstico, monitoramento remoto de pacientes, teleconsultas e desenvolvimento de novas ferramentas aplicáveis à saúde. Também alguns estudos de implantação e desempenho propõem indicadores de monitoramento e avaliação de Núcleos de Telessaúde 10,13,17,19-23 .

Apesar de algumas pesquisas realizarem avaliação pontual de atividades educativas ofertadas por Núcleos de Telessaúde, não foram identificadas propostas de modelos avaliativos destes especificamente como estratégia de apoio à EPS de profissionais da ABS que sejam replicáveis em nível nacional 22,24 .

Em seu estudo, Silva 22 apresenta 16 demandas de estudos avaliativos; entre elas, “avaliar como se estima se um serviço de Telessaúde promove Educação Permanente do profissional”. Os resultados do estudo de Nilson et al 24 , que propõem um modelo teórico do funcionamento e organização de Núcleos de Telessaúde, indicam a avaliabilidade do objeto e a necessidade de se desenvolver uma linha de pesquisa que avalie os serviços de Telessaúde especificamente como estratégia de EPS. Essas pesquisas justificam e fortalecem a importância da realização de estudos com esse objetivo.

A motivação deste estudo se deu pelo interesse dos pesquisadores e de um Núcleo de Telessaúde em compreender como os serviços ofertados promovem e apoiam a EPS das equipes de ABS e em identificar os fatores que podem potencializar e qualificar a oferta dos serviços para atender a esse objetivo específico de um Núcleo de Telessaúde.

Portanto, o objetivo deste artigo é apresentar uma proposta de modelo avaliativo dos serviços de Telessaúde enquanto uma estratégia de EPS para profissionais da ABS, composta por modelo teórico, modelo lógico e matriz de análise.

Métodos

Desenvolveu-se um Estudo de Avaliabilidade com a finalidade de propor um modelo avaliativo de Telessaúde com foco na educação permanente. Esse desenvolvimento consiste em uma pré-avaliação, com descrição completa do programa (representado de forma gráfica em modelos teórico e lógico) à luz da teoria, princípios, diretrizes e fluxos organizativos sobre os quais foram criados. A intenção é potencializar as chances de se realizar uma avaliação em que os resultados sejam úteis para o programa e para os profissionais envolvidos 25 . O estudo foi desenvolvido entre janeiro de 2016 e junho de 2017.

Os resultados de um Estudo de Avaliabilidade podem ser usados para compreender a cultura e contexto do programa; auxiliar no planejamento de pesquisas avaliativas com indicadores e critérios de avaliação mais assertivos; reorientar o planejamento de atividades e investimentos e estabelecer um acordo entre os interessados 26-28 .

O estudo adotou as quatro etapas propostas por Trevisan et al 29 , a saber: definição da finalidade e âmbito da análise; desenvolvimento da teoria inicial do programa; feedback sobre a teoria do programa, e uso do estudo. Esse processo define a avaliabilidade do objeto.

Na primeira etapa foram realizadas reuniões entre a coordenação geral do Núcleo de Telessaúde (n=1), os coordenadores dos serviços de Telessaúde (n=5), os colaboradores do Núcleo (n=6) e os pesquisadores para a elaboração do projeto de pesquisa. Nessas reuniões iniciais, foram identificados e delineados em conjunto os objetivos, escopo e limites do estudo. A decisão dos atores envolvidos no programa foi averiguar a avaliabilidade de um Núcleo de Telessaúde e seus serviços enquanto estratégia de apoio à EPS para as equipes de ABS, por meio de um estudo de avaliabilidade.

A descrição da teoria do programa (segunda etapa) foi subsidiada por revisão de literatura e de documentos oficiais disponíveis como manuais, protocolos, relatórios, projetos e sites, além de entrevistas com informantes-chave e envolvidos no programa.

A revisão de literatura aprofundou-se em Educação Permanente em Saúde e Telessaúde para identificar os aspectos da Telessaúde como ferramenta de apoio à Educação Permanente na ABS, à luz da estrutura de serviços preconizada na legislação vigente. As bases eletrônicas utilizadas foram: Biblioteca Virtual em Saúde (BVS/Bireme) – que reúne 14 bases de dados bibliográficos em ciências da saúde como SciELO, Lilacs, Medline/Pubmed, Cochrane, DeCS, LIS e Portal de Revistas Científicas em Ciências da Saúde da BVS –; PubMed, da Medical Literature Analysis and Retrieval System Online (Medline); Scopus; Web of Science; e banco de teses e dissertações da Capes. Também foram identificadas outras referências nos documentos selecionados na pesquisa nas bases de dados.

Foram consultadas as páginas oficiais do Departamento de Atenção Básica; da Secretaria de Gestão do Trabalho e Educação em Saúde; do Programa Telessaúde Brasil Redes; da Associação Brasileira de Telemedicina e Telessaúde; da Associação Americana de Telemedicina; e documentos sobre EPS do Departamento de Saúde do Reino Unido e documentos da Organização Mundial da Saúde (OMS).

Para as entrevistas com os informantes-chave, foram selecionados intencionalmente profissionais que atuam ou já atuaram no Programa Telessaúde Brasil Redes. Foram realizadas entrevistas individuais não estruturadas com a coordenação geral atual de um Núcleo de Telessaúde, com um ex-coordenador e com dois colaboradores que trabalham no mesmo Núcleo desde sua implantação. Solicitou-se que os entrevistados falassem livremente sobre as origens, a história da implantação, os objetivos e a organização do Programa Telessaúde Brasil Redes e do Núcleo de Telessaúde. Os pesquisadores anotaram os principais pontos abordados, confirmando o registro com os entrevistados.

O produto da revisão de literatura e das entrevistas foi apresentado em uma reunião e debatido por um grupo de cinco colaboradores do Núcleo de Telessaúde (coordenador atual, ex-coordenador, dois subcoordenadores e um colaborador), que sugeriram modificações e inclusões nas informações, sendo elas registradas e acatadas pelos pesquisadores durante o debate.

Os dados coletados foram compreendidos por meio de análise temática de conteúdo 30 , iniciando por leitura flutuante de todo o material e posteriormente classificando as unidades de registro do texto em categorias de análise. As evidências sobre o Programa Telessaúde Brasil Redes e sobre um Núcleo de Telessaúde foram então graficamente sistematizadas em um modelo teórico e um modelo lógico, e ainda em uma matriz de análise de um Núcleo de Telessaúde como estratégia de apoio à EPS de equipes da ABS. O processo de análise dos conteúdos coletados pautou-se pelos princípios da exaustividade, representatividade, homogeneidade e adequação.

A etapa subsequente consistiu em submeter os modelos e a matriz à análise de especialistas da área e envolvidos no programa a fim de responderem se estes contemplam as especificidades do contexto, da implementação, da metodologia e da lógica do programa; analisando se há congruência entre a teoria e o que é observado na prática do programa.

Para validar esses produtos, foi utilizada a técnica mista de validação chamada Conferência de Consenso 31 . Sete especialistas com experiência em Telessaúde e EPS analisaram os três produtos em duas rodadas. As etapas foram realizadas a distância por meio do software Survey Monkey®. Na primeira rodada, os especialistas indicaram concordância plena, concordância parcial ou discordância, apontando sugestões de alteração e correções das propostas. Na segunda rodada, os pesquisadores adequaram na íntegra as propostas de acordo com as sugestões e apontamentos dos especialistas e devolveram o documento para validação e consenso final.

Por fim, tendo os modelos e a matriz de análise validados, o uso do estudo deve ser planejado. Nessa etapa é necessário que os pesquisadores definam se o programa é passível de avaliação. Sendo o resultado positivo, devem-se decidir qual será a melhor abordagem do estudo; os métodos e técnicas de coleta de dados; os participantes; entre outros detalhes de condução da pesquisa, o que se consolida como o resultado final deste artigo.

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de Santa Catarina, conforme parecer no 1.466.605. Foram respeitados todos os preceitos éticos para a construção de pesquisas envolvendo seres humanos e obtida a anuência livre e consentida de todos os interessados e envolvidos.

Resultados

Etapa 1: Definição da finalidade e âmbito da análise

A definição da finalidade e do âmbito da análise na primeira etapa se deu a partir do interesse dos atores-chave – pesquisadores e profissionais com experiência em Telessaúde – em aprofundar os estudos que relacionam os serviços de Telessaúde e a EPS, iniciando por um Estudo de Avaliabilidade para averiguar a linha metodológica mais adequada de desenvolvimento de um estudo avaliativo nesta perspectiva.

Etapa 2: Desenvolvimento da teoria inicial do programa

Na segunda etapa foi elaborado um modelo teórico de serviços de Telessaúde enquanto estratégia de EPS para profissionais da ABS ( figura 1 ) e um modelo lógico ( figura 2 ), que ilustra a oferta e o uso dos serviços de Telessaúde a partir de quatro dimensões: 1) Identificação de problemas no contexto de trabalho; 2) Ampliação do conhecimento aplicado ao contexto local; 3) Trabalho interdisciplinar; e 4) protagonismo das equipes na tomada de decisão.

Fonte: Elaborado pelos autores.

Figura 1 Modelo teórico de um núcleo de Telessaúde como apoio à EPS na ABS (Adaptado de Haddad, 1994).Legenda: SUS – Sistema Único de SaúdeABS – Atenção Básica à SaúdeEPS – Educação Permanente em SaúdeSOF – Segunda opinião formativaN2 – Necessidades de aprendizagem 2 

Fonte: Elaborado pelos autores.

Figura 2 Modelo lógico de um núcleo de Telessaúde como apoio à EPS na ABSLegenda: ABS – Atenção Básica à Saúde; EPS – Educação Permanente em Saúde. 

O modelo teórico proposto ( figura 1 ) permitiu visualizar a lógica esperada da relação entre as equipes de Telessaúde e as equipes de ABS (representada pela seta central de via dupla) para que as atividades planejadas e executadas cumpram com o objetivo (apoiar a EPS) e atinjam os resultados esperados. Dessa forma, tanto os núcleos quanto as equipes podem planejar a oferta e o uso dos serviços de Telessaúde de maneira a atender tal objetivo.

Cada dimensão está orientada por um Rationale ( quadro 1 ), que expressa e descreve o arcabouço teórico e o que se espera dos serviços de Telessaúde. Este Rationale deve ser considerado no momento de análise dos dados coletados.

Quadro 1 Rationales dos modelos teórico e lógico de um Núcleo de Telessaúde como apoio à EPS na ABS/APS. 

Dimensão Rationale
Identificação de problemas no contexto de trabalho A identificação de problemas na realidade de trabalho é um pressuposto básico da Educação Permanente em Saúde. Tem como protagonistas vários atores, incluindo gestores dos diversos níveis, a própria equipe de saúde e os usuários. A partir dela, busca-se diagnosticar e analisar a realidade de trabalho; e identificar, priorizar e analisar problemas das práticas de saúde, sempre com a intenção de qualificá-la 1,2,4,5,32-38 . As equipes de Telessaúde devem ofertar seus serviços criando oportunidades para que as equipes de ABS reflitam sobre esses processos de trabalho e as práticas clínicas, estimulando a iniciativa ou aprimoramento dos diagnósticos como parte da rotina de trabalho.
Ampliação do conhecimento aplicado ao contexto local A ampliação do conhecimento aplicado ao contexto local acontece em vários momentos do processo de trabalho, como na interação entre profissionais e de profissionais com a comunidade, ou mesmo individualmente, podendo gerar demanda de aprendizagem. A demanda de aprendizagem é fruto do processo crítico de problematização, a partir do que se atualiza e dos conhecimentos produzidos necessários para a qualificação da prática 1,2,4,5,32,34,36-40 . As equipes de Telessaúde devem facilitar e promover o acesso à informação e ao conhecimento em saúde com a elaboração de objetos de aprendizagem contextualizados e relacionados tanto ao processo de trabalho quanto aos aspectos de assistência, baseados na melhor evidência científica.
Trabalho interdisciplinar O trabalho interdisciplinar também tem um peso muito forte nas ações de Educação Permanente. Apesar de a Educação Permanente ter um impacto no aspecto individual e na postura da pessoa em fazer do seu processo de trabalho também um processo de aprendizagem, ela só tem sentindo quando ganha corpo no coletivo, na discussão conjunta da realidade, no exercício da democracia participativa, na escuta cuidadosa do outro e na produção de consensos entre os profissionais e a população 1,4,5,11,32-35,38-42 . As equipes de Telessaúde, a partir do pressuposto da integralidade, devem promover a reflexão sobre a importância do trabalho interdisciplinar na qualificação das práticas de saúde e incentiva a sistematização de espaços democráticos de planejamento do cuidado e da escuta qualificada da população.
Protagonismo das equipes na tomada de decisão O protagonismo na tomada de decisão é objetivo maior da Educação Permanente em Saúde, no contexto brasileiro. Traduz-se pela responsabilização das equipes na transformação das práticas com sua qualificação e se reflete na consolidação do SUS enquanto modelo integral de atenção à saúde 2,4,5,32,35-40 . As equipes de Telessaúde devem estimular e incentivar a responsabilização e o protagonismo das equipes de ABS na qualificação de suas práticas de trabalho e disponibilizam objetos de aprendizagem e instrumentos para realização do planejamento, sempre em consonância com as demandas apresentadas e analisadas.

Fonte: Elaborado pelos autores.

No modelo lógico ( Figura 2 ), observa-se o detalhamento de cada uma das quatro dimensões, considerando os Rationales, do ponto de vista das atividades que se esperam de uma ação de EPS, relacionadas tanto ao contexto das equipes de ABS quanto das equipes de Telessaúde. A partir delas, são descritos os produtos e os resultados intermediários e finais que se esperam de um Núcleo de Telessaúde enquanto estratégia de apoio à EPS das equipes de ABS.

As quatro dimensões do modelo lógico orientam a matriz de análise ( quadro 2 ), na qual são indicados os critérios de avaliação e o modo como estes serão observados na realidade da equipe de um Núcleo de Telessaúde e das equipes de ABS usuárias dos serviços de Telessaúde. A elaboração desta matriz já corresponde ao início da quarta etapa, quando são discutidas as possibilidades de uso dos modelos criados em pesquisas avaliativas, o que acontece concomitantemente ao desenvolvimento das segunda e terceira etapas.

Quadro 2 Matriz de análise de Núcleos de Telessaúde enquanto estratégia de apoio à Educação Permanente de equipes da Atenção Básica à Saúde. 

Dimensão Critério Modo de verificação
Identificação de problemas no contexto de trabalho A equipe de Telessaúde: Propõe nos objetos de aprendizagem dos serviços ofertados a reflexão sobre o processo de trabalho e as práticas clínicas realizadas; e o levantamento de informações sobre as condições de saúde da população, no sentido de identificar possibilidade de qualificação do cuidado. Orienta o uso de metodologias de realização de diagnóstico comunitário ou situacional e de análise e priorização de problemas, considerando o conceito ampliado de saúde. a) Análise da metodologia de oferta dos serviços de Telessaúde b) Análise dos conteúdos dos objetos de aprendizagem produzidos pelos serviços de Telessaúde c) Grupo focal ou entrevistas com profissionais do Núcleo Telessaúde.
A equipe de ABS: Realiza diagnóstico situacional dos processos de trabalho, das práticas assistenciais e das condições de saúde da população. Sistematiza e utiliza periodicamente as informações da unidade de saúde; e identifica, analisa e prioriza problemas e nós críticos do trabalho a serem enfrentados. a) Análise dos conteúdos das participações dos profissionais das equipes selecionadas nos serviços de Telessaúde b) Entrevista com médico, enfermeiro, odontólogo, técnico de enfermagem, técnico de saúde bucal e agente comunitário de saúde.
Ampliação do conhecimento aplicado ao contexto local A equipe de Telessaúde: Produz os objetos de aprendizagem a partir do conceito ampliado de saúde, considerando as necessidades locais de aprendizagem dos profissionais da ABS e baseados na melhor evidência científica. Facilita o acesso aos objetos de aprendizagem produzidos e a outros materiais produzidos por outras instituições. a) Análise da metodologia de oferta dos serviços de Telessaúde b) Análise dos conteúdos dos objetos de aprendizagem produzidos pelos serviços de Telessaúde c) Grupo focal ou entrevistas com profissionais do Núcleo Telessaúde
A equipe de ABS: A equipe e os profissionais individualmente têm um plano de Educação Permanente em Saúde (agenda de discussão de temas e casos em reuniões de equipe, grupos de estudo interdisciplinar, participação em cursos, leituras de artigos, participação em webpalestras, oficinas, treinamentos, entre outros). Busca os serviços de Telessaúde como fonte e estratégia de aprendizagem em serviço a partir da demanda do contexto local de serviço. a) Análise dos conteúdos das participações dos profissionais das equipes selecionadas nos serviços de Telessaúde b) Entrevista com médico, enfermeiro, odontólogo, técnico de enfermagem, técnico de saúde bucal e agente comunitário de saúde.
Trabalho interdisciplinar A equipe de Telessaúde: Estimula o trabalho em equipe e a prática colaborativa entre os profissionais da ABS e entre outros serviços da rede. Estimula a escuta cuidadosa da população e o acolhimento de seus interesses e opiniões. a) Análise da metodologia de oferta dos serviços de Telessaúde b) Análise dos conteúdos dos objetos de aprendizagem produzidos pelos serviços de Telessaúde c) Grupo focal ou entrevistas com profissionais do Núcleo Telessaúde.
A equipe de ABS: Realiza Clínica Ampliada, trabalho em equipes matriciais e o trabalho em rede. Tem espaços colaborativos instituídos para produção de consensos na realização conjunta do trabalho. Promove o diálogo com a população atendida e participa dos Conselhos Locais de Saúde. a) Análise dos conteúdos das participações dos profissionais das equipes selecionadas nos serviços de Telessaúde b) Entrevista com médico, enfermeiro, odontólogo, técnico de enfermagem, técnico de saúde bucal e agente comunitário de saúde
Protagonismo das equipes na tomada de decisão A equipe de Telessaúde: Incentiva a tomada de decisão e protagonismo da equipe na qualificação do trabalho e do cuidado desenvolvido. Orienta o uso de instrumentos e metodologias de planejamento e monitoramento de ações. a) Análise da metodologia de oferta dos serviços de Telessaúde b) Análise dos conteúdos dos objetos de aprendizagem produzidos pelos serviços de Telessaúde c) Grupo focal ou entrevistas com profissionais do Núcleo Telessaúde
A equipe de ABS: Assume a responsabilidade pela qualificação do trabalho e do cuidado; e toma decisões dentro de sua governabilidade. Utiliza instrumentos de planejamento de ações coerentes com as necessidades de qualificação do trabalho identificadas. Monitora e avalia as ações realizadas. a) Análise dos conteúdos das participações dos profissionais das equipes selecionadas nos serviços de Telessaúde b) Entrevista com médico, enfermeiro, odontólogo, técnico de enfermagem, técnico de saúde bucal e agente comunitário de saúde.

Concluiu-se que os serviços de Telessaúde devem ser entendidos e identificados pelas equipes de ABS como uma ferramenta de apoio para a identificação de problemas de seu processo de trabalho, ampliação do conhecimento aplicado ao contexto local, trabalho interdisciplinar e protagonismo na tomada de decisão para melhoria das práticas de saúde. Esse apoio deve acontecer a partir da demanda apresentada pela própria equipe de ABS (lógica ascendente), tendo como eixos norteadores a integralidade e a implicação com o usuário.

Etapa 3: Feedback sobre a teoria do programa

A análise das opiniões dos especialistas durante a primeira rodada da Conferência de Consenso demonstrou que houve coerência entre eles, não sendo registrada nenhuma discordância que exigisse um encontro presencial para discussão mais aprofundada. As sugestões concentraram-se no quadro de Rationales e na matriz de análise.

Na dimensão “Identificação de problemas no contexto de trabalho”, sugeriu-se incluir também os gestores de diversos níveis da área da saúde como atores e protagonistas das atividades relacionadas. Além disso, solicitou-se que fossem destacados como aspectos relevantes da reflexão tanto os processos de organização do trabalho quanto as práticas clínicas.

Na dimensão “Ampliação do conhecimento aplicado ao contexto local”, sugeriu-se incluir que a aprendizagem significativa acontece em diversos momentos do processo de trabalho da equipe, como na interação com a comunidade, deixando claro que o produto esperado não é fruto apenas de ações formais de educação.

Foi sugerido que o título da dimensão 3 utilizasse o termo “Trabalho interdisciplinar” no lugar do termo “Trabalho multidisciplinar”. O termo “interdisciplinar” pressupõe o trabalho integrado, em equipe, de várias categorias profissionais que compartilham os saberes para o alcance de um objetivo em comum, o que traduz melhor as atividades descritas e esperadas na dimensão 3.

Já na dimensão “Protagonismo das equipes na tomada de decisão”, a sugestão foi acrescentar que o protagonismo na tomada de decisão é um objetivo da EPS no contexto brasileiro.

Em relação à matriz de análise, sugeriu-se deixar claro no texto dos critérios estabelecidos em cada dimensão que as atividades de EPS se relacionam com aspectos tanto da organização do processo de trabalho quanto do cuidado clínico e assistencial. Na dimensão “Ampliação do conhecimento aplicado ao contexto local”, sugeriu-se ainda que fossem citados no critério 7 exemplos de atividades que poderiam compor um plano de EPS ( quadro 2 ).

Etapa 4: Definição do uso do estudo

Na quarta etapa, com os modelos e a matriz devidamente validados, sugeriu-se utilizá-los em um processo avaliativo de abordagem qualitativa, a partir de um estudo de caso com um Núcleo de Telessaúde, aplicando os critérios da matriz, por meio da realização de entrevistas tanto com as equipes usuárias dos serviços de Telessaúde quanto com a equipe do Núcleo de Telessaúde. Além disso, sugeriu-se ainda uma análise das metodologias de oferta de cada serviço de Telessaúde, bem como a análise dos produtos gerados em cada um dos serviços.

A partir dos dados coletados por cada uma dessas estratégias, será possível realizar uma análise simples dos dados identificando padrões e existência de convergências e divergências entre equipes de ABS e a equipe de Telessaúde; confrontar os modelos com a realidade empírica do caso para emissão de juízo do grau de implantação dos serviços como apoio à EPS e identificar fatores de contexto que podem influenciar no grau de implantação do programa e no efeito esperado (limites e potencialidades).

Discussão

O desenvolvimento deste estudo foi útil para uma melhor compreensão do objeto avaliado na perspectiva do apoio à EPS das equipes de ABS. A EPS tem um arcabouço teórico complexo, que exigiu a revisão exaustiva da literatura e um aprofundamento qualitativo para que fosse possível propor categorias de análise e avaliação 26-29 .

Apoiar as ações de EPS das equipes de ABS é um objetivo bem claro e presente nas legislações e documentos oficiais do Programa Nacional Telessaúde Brasil Redes, apesar de a maior discussão e investimento em pesquisas estarem voltados para o objetivo de ofertar apoio clínico-assistencial para o aumento da resolubilidade na ABS. A escassez de estudos e pesquisas que avaliem o apoio dos núcleos para a EPS demonstra a importância de se aprofundar e de se debruçar nessa discussão 6-10,43 .

O Telessaúde Brasil Redes, por meio de seus núcleos e da oferta de serviços de Telessaúde (Teleconsultoria, Tele-educação, Telediagnóstico e Segunda Opinião Formativa), é identificado por vários autores como uma potente ferramenta de EPS, no sentido de apoiar as equipes de ABS na articulação e coordenação dos fluxos nas redes assistenciais, no apoio clínico a distância, no apoio matricial e na resolução de problemas 9,22,35,44-49 .

No modelo teórico, ao se observar o contexto referente às equipes de ABS, percebe-se que o processo de trabalho se apresenta como um espaço de aprendizagem. As equipes de ABS, ao identificarem uma situação-problema, geram uma necessidade de aprendizagem. Os conhecimentos buscados para suprir essas necessidades vão se integrando ao trabalho e, por meio do planejamento, dão base para a tomada de decisão e para a realização de intervenções que transformem a situação problemática 2,4,33 .

Todo este processo no contexto das equipes de ABS caracteriza a educação permanente em serviço, que pode ser apoiada por ações e programas de Educação Permanente em Saúde, como o Programa Telessaúde Brasil 8,10,43,45,47,50-52 .

Já no contexto do Núcleo de Telessaúde, observa-se a oferta dos quatro serviços previstos de maneira independente, cada um com metodologia e fluxos próprios, mas que são interligados a partir das demandas dos usuários 8,10,43,53 .

A equipe de Telessaúde, ao receber a demanda da equipe de ABS, inicia seu próprio processo de reflexão e ampliação do conhecimento baseado em evidências para responder às necessidades de aprendizagem identificadas na etapa anterior. A partir da aprendizagem significativa, a equipe de Telessaúde consegue elaborar a melhor estratégia para atender a demanda da equipe de ABS. Acontece então a oferta do serviço, que é avaliada na sequência, o que permite que a equipe de Telessaúde identifique necessidades de adequação dos serviços e possa planejar ações para qualificar a oferta. Todo esse percurso se caracteriza como processo de aprendizagem em serviço 2,4,33 .

Como a interação entre o contexto do Telessaúde e da equipe de ABS é de mão dupla, também há a possibilidade de os serviços de Telessaúde servirem como ações intencionais de apresentação de demandas importantes às equipes de ABS, a partir de demandas regionais, estaduais e federais, apesar de a lógica preferencial ser ascendente (das equipes de ABS para os serviços de Telessaúde) 33 .

Os resultados esperados dessa interação são: práticas coerentes com o modelo da integralidade; aumento da resolubilidade na ABS; trabalho coletivo e em redes qualificado; qualidade no cuidado ao usuário; e qualificação dos serviços de Telessaúde 1,3,4,32 .

A principal crítica sobre os serviços de Telessaúde enquanto estratégia de EPS é o perigo de se reduzir o apoio à EPS apenas aos serviços de tele-educação, como cursos e webpalestras, que são em primeira instância ações de educação continuada, que partem de uma proposição do núcleo para as equipes 35,54,55 . A questão é que mesmo as ações de educação continuada devem ser pensadas e ofertadas na perspectiva de um projeto maior, que considere as demandas e necessidades das equipes, incentivando permanentemente a identificação de problemas no contexto de trabalho, a ampliação do conhecimento aplicado ao contexto local, o trabalho interdisciplinar e o protagonismo das equipes na tomada de decisão.

Podemos concluir desse processo de revisão e proposição de um modelo avaliativo que o potencial de EPS do Telessaúde Brasil Redes está justamente na articulação integrada das ações e serviços de Telessaúde 35,54 , que devem ser elaborados, ofertados e usados na perspectiva das quatro dimensões apresentadas nos modelos, tendo como imagem-objetivo práticas mais coerentes com o modelo da integralidade; aumento da resolubilidade na ABS; trabalho coletivo e em redes qualificado; qualidade no cuidado ao usuário e a própria qualificação dos serviços de Telessaúde para esses fins.

Nesse sentido, a modelização do programa foi fundamental para identificar os aspectos que devem ser observados em um núcleo de Telessaúde para o apoio à EPS. O processo de modelização permite observar a diferença entre a intervenção ideal e a intervenção de fato implantada e executada; registrar o sentido do programa e suas relações; identificar aspectos contextuais importantes que podem influenciar os resultados do programa e ainda identificar indicadores, critérios e medidas adequadas e coerentes para sua avaliação 25,28,29,56,57 .

As dimensões propostas no modelo lógico dão a direção dos aspectos a serem observados e avaliados em uma ação ou estratégia de EPS, a partir dos quais se pode estimar como um Núcleo de Telessaúde deve apoiar a EPS dos profissionais de saúde. A descrição de atividades e produtos esperados pode ser adaptada para outras ações e estratégias de EPS, o que também conduz a elaboração de uma matriz de análise adaptada a cada estratégia.

Nesse sentido, os resultados do presente estudo indicam que os serviços de Telessaúde são avaliáveis enquanto estratégia de apoio à EPS dos profissionais e equipes de ABS, pois a teoria do programa foi identificada de forma clara e consistente dentro do escopo da Educação Permanente em Saúde e da Educação a Distância na Saúde, bem como foi possível descrever detalhadamente as atividades necessárias e os resultados esperados.

Considerando-se os modelos propostos e a natureza do objeto de estudo, indica-se como caminho metodológico para avaliação de serviços de Telessaúde enquanto estratégia de apoio à EPS uma pesquisa qualitativa, por meio de um estudo de caso com envolvimento tanto da equipe do Núcleo de Telessaúde quanto dos usuários dos serviços. Sugere-se uma análise dos dados coletados baseada na identificação de convergências e divergências, bem como no confronto dos modelos com a realidade empírica do caso 58 .

Conclusão

Ao longo do desenvolvimento desta pesquisa, percebeu-se claramente a grande contribuição do Estudo de Avaliabilidade como estratégia para apoiar a tomada de decisão quanto ao caminho metodológico para se avaliar um Núcleo de Telessaúde enquanto estratégia de apoio à EPS da ABS.

Outra contribuição diz respeito ao processo formativo dos pesquisadores e atores envolvidos no sentido de compreender com mais clareza como um Núcleo de Telessaúde pode se organizar e planejar suas ações para atingir seu propósito de apoiar a EPS dos profissionais de saúde na ABS.

Além disso, considera-se que os modelos aqui apresentados se mostram como uma estratégia avaliativa que vai além da avaliação pontual de satisfação dos profissionais de saúde com a metodologia das ações de EPS, pois avança para uma avaliação que engloba aspectos do planejamento e uso dessas ações para a finalidade da EPS.

A definição da avaliabilidade do objeto aqui analisado não esgota a discussão sobre a atuação dos Núcleos de Telessaúde enquanto estratégia de EPS. É necessário colocar o instrumento proposto à prova, avançando na realização de estudos de caso com os Núcleos de Telessaúde existentes. É possível ainda que outros programas e ações de EPS possam utilizar os modelos aqui propostos, substituindo e adaptando a lógica de organização dos Núcleos de Telessaúde para sua realidade de funcionamento, atendendo às suas necessidades.

Referências

1. Brasil. Ministério da Saúde. Secretaria de Gestão do Trabalho e Educação na Saúde. Departamento de Gestão da Educação na Saúde. Política Nacional de Educação Permanente em Saúde. Brasília, DF: Ministério da Saúde; 2009. (Série B. Textos Básicos de Saúde) (Série Pactos pela Saúde, v. 9, 64 p.). [ Links ]

2. Davini MC. Enfoques, problemas e perspectivas na educação permanente dos recursos humanos de saúde. In: Brasil. Ministério da Saúde. Secretaria de Gestão do Trabalho e Educação na Saúde. Diretoria de Gestão da Educação em Saúde. Política Nacional de Educação Permanente em Saúde. Brasília, DF: Ministério da Saúde; 2009. p. 39-63. [ Links ]

3. Brasil. Ministério da Saúde. Secretaria de Gestão do Trabalho e Educação na Saúde. Departamento de Gestão da Educação na Saúde. Política de educação e desenvolvimento para o SUS: caminhos para a educação permanente em saúde. Brasília, DF: Ministério da Saúde; 2004. [ Links ]

4. Figueiredo MCB, organizador. Formação de facilitadores de educação permanente em saúde. Rio de Janeiro: Ead/Ensp; 2014. [ Links ]

5. Merhy EE, Feuerweker LCM. Educação permanente em Saúde: educação, saúde, gestão e produção do cuidado. In: Mandarino ACS, Gallo E, Gomberg E, organizadores. Informar e educar em saúde: análises e experiências. Salvador, BA: Edufba, Fiocruz; 2014. p. 9-26. [ Links ]

6. Brasil. Ministério da Saúde. Secretaria de Gestão do Trabalho e Educação na Saúde. Programas e projetos [Internet]. Brasília: Ministério da Saúde; 2017 [citado 26 Mar 2018]. Disponível em: http://portalms.saude.gov.br/sgtesLinks ]

7. Brasil. Ministério da Saúde. Departamento de Atenção Básica. Telessaúde Brasil Redes na Atenção Básica à Saúde [Internet]. Brasília: Ministério da Saúde; 2017 [citado 26 Mar 2018]. Disponível em: http://dab.saude.gov.br/portaldab/ape_telessaude.phpLinks ]

8. Brasil. Ministério da Saúde. Portaria nº 2.546, de 27 de Outubro de 2011. Redefine e amplia o Programa Telessaúde Brasil, que passa a ser denominado Programa Nacional Telessaúde Brasil Redes (Telessaúde Brasil Redes). Brasília: Ministério da Saúde; 2011. [ Links ]

9. Figueiredo AM, Guedes TAL. Programa Nacional Telessaúde Brasil Redes. In: Valentim RAM, Araújo BG, Guedes TAL, Figueiredo AM, organizadores. A Telessaúde no Brasil e a inovação tecnológica na atenção primária. Natal: EDUFRN; 2015. p. 27-46. [ Links ]

10. Brasil. Ministério da Saúde. Manual de Telessaúde para Atenção Básica/Atenção Primária à Saúde. Brasília: Ministério da Saúde, Universidade Federal do Rio Grande do Sul; 2012. [ Links ]

11. World Health Organization. Telemedicine: opportunities and developments in Member States: report on the second global survey on eHealth. Global Observatory for eHealth Series. Geneva: WHO; 2010. [ Links ]

12. Nepal S, Li J, Jang-Jaccard J, Alem L. A framework for telehealth program evaluation. Telemed J E Health. 2014; 20(4):393-404. [ Links ]

13. Alkmim MBM, Marcolino MS, Figueira RM, Sousa L, Nunes MS, Cardoso CS, et al. Factors associated with the use of a teleconsultation system in Brazilian Primary Care. Telemed J E Health. 2015; 21(6):1-11. [ Links ]

14. Scott RE, Mars M. Telehealth in the developing world: current status and future prospects. Smart Homecare Technol Telehealth. 2015; 3:25-37. [ Links ]

15. Organização Panamericana de la Salud. Marco de implementación de um servicio de telemedicina. Washington: Opas; 2016. [ Links ]

16. Akhlaq A, McKinstry B, Muhammad KB, Sheikh A. Barriers and facilitators to health information exchange in low- and middle-income country settings: a systematic review. Health Policy Plan. 2016; 31(9):1310-25. [ Links ]

17. Pessoa CG, Sousa L, Ribeiro A, Oliveira T, Silva JL, Alkmim MB, et al. Description of factors related to the use of the teleconsultation system of a large telehealth service in Brazil – the telehealth network of Minas Gerais. J Int Soc Telemed eHealth. 2016; 3(e4):1-9. [ Links ]

18. Schmitz CAA, Harzheim E. Oferta e utilização de teleconsultorias para Atenção Primária à Saúde no Programa Telessaúde Brasil Redes. Rev Bras Med Fam Comunidade. 2017; 12(39):1-11. [ Links ]

19. Novaes MA, Machiavelli JL, Villa Verde FC, Campos Filho AS, Rodrigues TRC. Tele-educação para educação continuada das equipes de saúde da família em saúde mental: a experiência de Pernambuco, Brasil. Interface (Botucatu). 2012; 16(43):1095-106. [ Links ]

20. Campos PD, Ferrari DV. Telessaúde: avaliação da eficácia da teleconsulta na programação e adaptação de aparelho de amplificação sonora individual. J Soc Bras Fonoaudiol. 2012; 24(4):301-8. [ Links ]

21. Silva AB, Moraes IHS. O caso da rede universitária de telemedicina: análise da entrada da telessaúde na agenda política brasileira. Physis. 2012; 22(3):1211-35. [ Links ]

22. Silva AB. Telessaúde no Brasil: conceito e aplicações. Rio de Janeiro: Doc Editora; 2014. [ Links ]

23. Oliviera DG, Frias PG, Vanderlei LCM, Vidal AS, Novaes MA, Souza WV. Análise da implantação do Programa Telessaúde Brasil em Pernambuco, Brasil: estudo de casos. Cad Saude Publica. 2015; 31(11):2367-78. [ Links ]

24. Nilson LG, Dolny LL, Natal S, Lacerda JT, Calvo MCM. Telehealth centers: a proposal of a theoretical model for evaluation. Telemed J E Health. 2017; 23(11):1-8. [ Links ]

25. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health. 2010; 31:213-33. [ Links ]

26. Thurston WE, Potvin L. Evaluability assessment: a tool for incorporating evaluation in social change programmes. Evaluation. 2003; 9(4):453-69. [ Links ]

27. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Can J Program Eval. 2005; 20(2):1-25. [ Links ]

28. Walser TM, Trevisan MS. Evaluability assessment thesis and dissertation studies in graduate professional degree programs: review and recommendations. Am J Eval. 2016; 37(1):118-38. [ Links ]

29. Trevisan MS, Walser TM. Evaluability assessment. Improving evaluation quality and use. Thousand Oaks: Sage Publications; 2015. [ Links ]

30. Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. 14a ed. São Paulo: Hucitec; 2014. [ Links ]

31. Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: Edufba, Rio de Janeiro: Fiocruz; 2010. [ Links ]

32. Merhy EE, Feuerweker LCM, Ceccim RB. Educación permanente en salud: una estrategia para intervenir en la micropolítica del trabajo en salud. Rev Salud Colect. 2006; 2(2):147-60. [ Links ]

33. Berbel NAN. A metodologia da problematização e os ensinamentos de Paulo Freire: uma relação mais que perfeita. In: Berbel NAN, organizador. Metodologia da problematização: fundamentos e aplicações. Londrina: Uel; 1999. p. 1-28. [ Links ]

34. Freire P. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra; 2005. [ Links ]

35. Pinto H. Política nacional de educação permanente em saúde: aprender para Transformar. In: Gomes LB, Barbosa MG, Ferla AA, organizadores. A educação permanente em saúde e as redes colaborativas: conexões para a produção de saberes e práticas. Porto Alegre: Rede Unida; 2016. p. 23-65. [ Links ]

36. Hadaad QJ. Las necesidades de intervención y el monitoreo de los procesos educativos. In: Hadaad QJ, Roscke MAC, Davini MC, organizadores. Educacion permanente de personal de salud. Washington: Opas; 1994. p. 145-86. (Serie Desarrollo Recursos Humanos nº 100). [ Links ]

37. Rovere MR. Gestion estrategica de la educacion permanente em salud. In: Hadaad QJ, Roscke MAC, Davini MC, organizadores. Educacion permanente de personal de salud. Washington: OPAS; 1994. p. 63-106. (Serie Desarrollo Recursos Humanos nº 100). [ Links ]

38. Fundação Oswaldo Cruz. Escola Politécnica de Saúde Joaquim Venâncio. Laboratório de Trabalho e Educação Profissional em Saúde. Observatório dos Técnicos em Saúde. Análise da política de educação permanente em saúde: um estudo exploratório de projetos aprovados pelo Ministério da Saúde [Relatório final]. Rio de Janeiro: Fiocruz; 2006. [ Links ]

39. United Kingdom. Department of Health. ‘Working Together – Learning Together’ A framework for lifelong learning for the NHS. London: Department of Health Publications; 2001. [ Links ]

40. United Kingdom. Department of Health. Liberating the NHS: developing the healthcare workforce from design to delivery. London: Department of Health Publications; 2012. [ Links ]

41. Ceccim RB, Ferla AA. Educação permanente em saúde. In: Pereira IB, Lima JC, coordenadores. Dicionário da educação profissional em saúde. Escola Politécnica de Saúde Joaquim Venâncio e Estação de Trabalho Observatório de Técnicos em Saúde. 2a ed. Rio de janeiro: EPSJV; 2008. p. 162-8. [ Links ]

42. Ferreira GE, Brondani JP, Neves M, Duarte ERM. Da avaliação à cooperação: constituindo espaços de Educação Permanente em Saúde no trabalho avaliativo. In: Gomes LB, Barbosa MG, Ferla AA, organizadores. A educação permanente em saúde e as redes colaborativas: conexões para a produção de saberes e práticas. Porto Alegre: Rede Unida; 2016. [ Links ]

43. Brasil. Ministério da Saúde. Portaria nº 2.554, de 28 de Outubro de 2011. Institui, no Programa de Requalificação de Unidades Básicas de Saúde, o Componente de Informatização e Telessaúde Brasil Redes na Atenção Básica, integrado ao Programa Nacional Telessaúde Brasil Redes. Brasília: Ministério da Saúde; 2011. [ Links ]

44. Santos AF, Souza C, Alves HJ, Santos SF. Telessaúde: um instrumento de suporte assistencial e educação permanente. Belo Horizonte: UFMG; 2006. [ Links ]

45. Carneiro VF, Brant LC. Telessaúde: dispositivo de educação permanente em saúde no âmbito da gestão de serviços. Rev Eletronica Gest Saude. 2013; 4(2):494-516. [ Links ]

46. Magalhães Júnior HM, Pinto HA. Atenção básica enquanto ordenadora da rede e coordenadora do cuidado: ainda uma utopia? Saude Debate. 2014; 1(51):14-29. [ Links ]

47. Pinto HA, Souza ANA, Ferla AA. O programa nacional de melhoria do acesso e da qualidade da atenção básica: várias faces de uma política inovadora. Saude Debate. 2014; 1(51):43-57. [ Links ]

48. Lucena BEB, Diniz Junior J, Diniz RVZ. Telessaúde como ferramenta de apoio à atenção primária à saúde: um olhar sobre as teleconsultorias em cardiologia. Rev Bras Inov Tecnol Saude. 2015; 5(1):13-25. [ Links ]

49. Merhy EE, Gomes LB. Colaborações ao debate sobre a revisão da política nacional de educação permanente em saúde. In: Gomes LB, Barbosa MG, Ferla AA, organizadores. A educação permanente em saúde e as redes colaborativas: conexões para a produção de saberes e práticas. Porto Alegre: Rede Unida; 2016. p. 67-92. [ Links ]

50. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Política Nacional de Atenção Básica. Brasília: Ministério da Saúde, Departamento de Atenção Básica; 2012. [ Links ]

51. Oliveira MAN. Educação à distância como estratégia para a educação permanente em saúde: possibilidades e desafios. Rev Bras Enferm. 2007; 60(5):585-9. [ Links ]

52. Santos CM, Tenório FPS, Kich FD. Educação permanente em saúde no estado de Sergipe: saberes e tecnologias para implantação de uma política. Aracajú: Funesa; 2011. (Livro do aprendiz 2). [ Links ]

53. Oliveira DG. Análise do grau de implantação da telessaúde na estratégia saúde da família em Pernambuco: estudo de casos [dissertação]. Recife: Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz; 2010. [ Links ]

54. Merhy EE, Gomes LB. Colaborações ao debate sobre a revisão da política nacional de educação permanente em saúde. In: Gomes LB, Barbosa MG, Ferla AA, organizadores. A educação permanente em saúde e as redes colaborativas: conexões para a produção de saberes e práticas. Porto Alegre: Rede Unida; 2016. p. 67-92. [ Links ]

55. Zepeda J. Comentários sobre o texto “contribuições ao debate sobre a revisão da política nacional de educação permanente”, de Emerson Merhy e Luciano Gomes. In: Gomes LB, Barbosa MG, Ferla AA, organizadores. A educação permanente em saúde e as redes colaborativas: conexões para a produção de saberes e práticas. Porto Alegre: Rede Unida; 2016. p. 93-104. [ Links ]

56. Champagne F, Brousselle A, Hartz ZMA, Contandriopoulos AP. Modelizar as intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011. p. 61-74. [ Links ]

57. Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: Edufba, Rio de Janeiro: Fiocruz; 2005. p. 41-63. [ Links ]

58. Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP, Denis JL. A análise da implantação. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011. p. 217-38. [ Links ]

Recebido: 29 de Março de 2018; Aceito: 06 de Novembro de 2018

Contribuições dos autores

Todos os autores participaram ativamente de todas as etapas de elaboração do manuscrito.

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.