Validação do modelo lógico de implementação da Política de Educação Permanente em Saúde na Atenção Primária

Validation of the logical model of implementation of the ongoing education in Health Policy in Primary Health Care

Validación del modelo lógico de implementación de la Política de Educación Continua en Salud en la Atención Primaria

Resumo

O objetivo foi descrever o processo de validação do modelo lógico de implementação da Política de Educação Permanente em Saúde na Atenção Primária no município de Vitória, Espírito Santo. Estudo de avaliabilidade, com utilização de técnicas quantiqualitativas. Usou-se a técnica de Delfos com 15 especialistas (municipais e estaduais), no período de janeiro a junho de 2019. Os participantes classificaram os componentes estruturais, atividades e produtos necessários para implementação da Política e seus respectivos resultados e impactos. Houve consenso sobre os itens que alcançaram mais de 80% de concordância, confirmados pela análise da mediana e do intervalo interquartil. Os resultados foram organizados segundo os componentes técnicos. Os recursos financeiros e humanos foram considerados imprescindíveis. No que tange aos processos, os itens julgados relevantes para implementação da Política foram: construção coletiva das ações de Educação Permanente em Saúde e elaboração de documento que oriente as ações no município e instrumentos de avaliação. Os itens referentes aos resultados e impacto foram considerados relevantes, exceto aqueles relacionados à organização e à estruturação da Política em níveis estadual e regional. O modelo lógico validado configurou-se como uma contribuição para a gestão da Política de Educação Permanente em Saúde em Vitória.

Educação profissional em saúde pública; Educação Permanente; Política de Saúde; Atenção Primária à Saúde; Estudos de Validação

Abstract

The goal of this study was to describe the process of validation of the logical model of implementation of the Ongoing Education in Health Policy in Primary Health Care in the municipality of Vitória, state of Espírito Santo, Brazil. It was an evaluability study in which quantitative and qualitative techniques were used. We used the Delphi method with 15 (municipal and state) specialists, between January and June 2019. The participants classified the structural components, and the activities and products needed for the implementation of the policy and its respective results and impacts. There was a consensus regarding the items that would reach more than 80% of agreement, which were confirmed by the analysis of the median and interquartile range. The results were organized according to the technical components. Financial and human resources were considered indispensable. Regarding the processes, the items considered relevant for the implementation of the policy were: collective development of the ongoing education in health actions and of a document to guide the actions of the municipality, as well as evaluation instruments. The items regarding the results and impact were considered relevant, except for those related to the organization and structuring of the policy at the state and regional levels. The validated logical model was established as a contribution to the management of the Ongoing Education in Health Policy in Vitória.

professional education in public health; ongoing education; health policy; primary health care; validation studies

Resumen

El objetivo fue describir el proceso de validación del modelo lógico de implementación de la Política de Educación Continua en Salud en la Atención Primaria en el municipio de Vitória, estado de Espírito Santo, Brasil. Se trata de un estudio de evaluabilidad en el que se utilizaron técnicas cuanticualitativas. Usamos el método Delphi con 15 especialistas (municipales y provinciales), entre Enero y Julio de 2019. Los participantes clasificaron los componentes estructurales, las actividades y productos necesarios para la implementación de la política y sus respectivos resultados e impactos. Hubo consenso sobre los ítems que alcanzaron más de 80% de concordancia, confirmados por el análisis de la mediana y del rango intercuartílico. Los resultados fueron organizados según los componentes técnicos. Se consideraron imprescindibles los recursos financieros y humanos. Con relación a los procesos, los ítems considerados relevantes para la implementación de la política fueron: desarrollo colectivo de las acciones de educación continua en salud e elaboración de documento que oriente las acciones en el municipio e instrumentos de evaluación. Se consideraron relevantes los ítems referentes a los resultados e impacto, excepto por los que tenían relación con la organización y estructuración de la política en los niveles provincial y e regional. El modelo lógico validado se configuró como una contribución para la gestión de la Política de Educación Continua en Salud en Vitória.

educación profesional en salud pública; educación continua; política de salud; atención primaria de salud; estudios de validación

Introdução

A força de trabalho e a educação profissional nos sistemas de saúde têm sido internacionalmente debatidas, principalmente devido a uma série de mudanças no perfil da morbimortalidade nos diferentes países. Essas transformações são percebidas no aumento das demandas de cuidado em saúde, na precarização e difícil fixação dos profissionais de saúde, na incorporação crescente de novas tecnologias em saúde, na exigência da competência técnica e melhoria da qualidade da atenção à saúde (Frenk et al., 2010). No Brasil, com a expansão da Atenção Primária à Saúde (APS), a Educação Permanente em Saúde (EPS) tornou-se impulsionadora do modelo de atenção à saúde, com ênfase na APS, centrando-se na atualização cotidiana das práticas segundo os aportes teóricos, metodológicos e tecnológicos disponíveis. Exemplos destas contribuições são as metodologias ativas de ensino-aprendizagem, a educação à distância e o Telessaúde, além da construção conjunta de práticas organizacionais, interinstitucionais e intersetoriais, envolvendo profissionais de saúde, gestores, professores e usuários (Ceccim, 2005; Silva et al., 2017; Ferreira et al., 2019).

A EPS ganhou status de política pública, configurando-se como um processo de ensino-aprendizagem realizado no cotidiano do trabalho dos serviços de saúde. A Política Nacional de Educação Permanente em Saúde (PNEPS), criada por meio por meio das portarias n. 198/2004 e n. 1.996/2007, tem como objetivo nortear a formação e a qualificação dos profissionais inseridos nos serviços públicos de saúde. Sua finalidade é a de transformar as práticas profissionais e a própria organização do trabalho, com base nas necessidades e dificuldades do Sistema Único de Saúde (SUS) (Brasil, 2009), tendo como um dos seus campos de prática a APS. Aspectos da atenção primária, como a estruturação, os serviços de saúde e o contínuo desenvolvimento e valorização dos trabalhadores da saúde, apresentam-se como desafios à sua implantação e ao fortalecimento do SUS (Silva et al., 2017). Há a necessidade de valorização das condições de trabalho, gestão de pessoas, trabalho integrativo pela equipe multiprofissional e ênfase no planejamento e em programas de EPS (Seidl et al., 2014).

Deve-se ressaltar, também, a função da EPS como política que se operacionaliza no âmbito locorregional de saúde, com o envolvimento de atores previstos no quadrilátero da formação (ensino, serviço, gestão e controle social). Nesse sentido, é necessária uma reflexão permanente da realidade posta e uma busca de alternativas para a superação dos problemas de saúde, com vistas à qualificação das ações e ao aumento da resolubilidade do sistema de saúde (Ceccim e Feuerwerker, 2004). Assim, precisa ser pensada e adaptada, em cada nível local do sistema, de acordo com as suas especificidades.

Avanços na formação e no desenvolvimento dos trabalhadores da saúde foram gerados com a PNEPS. Contudo, entraves ainda permanecem constantes e referem-se: à pouca articulação entre gestores, trabalhadores, controle social e Instituições de Ensino Superior (IESs); à reduzida implantação das Comissões de Integração Ensino-Serviço (CIESs); participação incipiente dos gestores municipais; à ausência de avaliação acerca dos projetos desenvolvidos e às dificuldades quanto aos recursos financeiros (Brasil, 2018). Esses entraves apontam para a existência de fragilidades no processo de implementação dessa política, comprometendo o alcance de seus objetivos.

A PNEPS é influenciada pelas características de cada localidade e assume uma configuração própria em cada região do país. Tal fato justifica a importância de sua modelização, definida como uma construção de uma representação da forma como operacionalizar a intervenção e os componentes essenciais da política e do contexto que a envolve, facilita seus processos de planejamento e de avaliação (Bezerra, Cazarin e Alves, 2010). De acordo com Castro (2014), o conhecimento da estruturação dessa política em um cenário municipal permite maior compreensão de como ela alcança o cotidiano dos serviços e sua realidade locorregional.

O próprio processo de validação permite o intercâmbio de ideias e percepções sobre determinado tema entre pessoas com vivências e experiências diferenciadas ‒ gestores, pesquisadores ou usuários ‒ sobre um objeto, o que confere maior credibilidade ao estudo (Esher et al., 2012). Portanto, entende-se a modelização da Política de Educação Permanente em Saúde (PEPS) como forma de obter um melhor conhecimento sobre seu funcionamento, possibilitando um recorte mais preciso de parte da intervenção de determinado local.

Diante disso, o objetivo deste estudo consiste em descrever o processo de validação do modelo lógico (ML) de implementação da Política de Educação Permanente em Saúde na APS no município de Vitória, Espírito Santo (ES). Optou-se pela realização de uma validação de forma participativa em todo o processo da validação, no intuito de se construir coletivamente a tomada de consciência sobre o processo de trabalho e seus resultados. Desse modo, os participantes tornam-se sujeitos de suas ações e avançam para a etapa do agir.

Métodos

Trata-se de um estudo de avaliabilidade, com abordagem mista, com utilização de técnica quantitativa e aspectos da técnica qualitativa para validação do ML de implementação da PEPS na APS no município de Vitória. Considerou-se o processo de implementação dessa política no município desde o ano de 2007, momento este em que a PNEPS foi reformulada, por meio da portaria n. 1.996/2007 (Brasil, 2009).

O modelo lógico é definido como uma ferramenta utilizada para sistematizar e comunicar as relações causais existentes entre os recursos disponíveis, as atividades realizadas e os resultados esperados de uma intervenção (Brousselle et al., 2011). Expresso por meio de um desenho gráfico, o ML explica a sequência de eventos com uma síntese dos principais componentes da intervenção (Elias e Patrocolo, 2005).

Como vantagens, a construção e a validação do ML contribuem para ampliar o debate, fortalecer a implementação de uma política e a aprendizagem dos envolvidos, tanto os pesquisadores, gestores, profissionais como os usuários da intervenção. Possibilitam, também, ampliar a validade interna do próprio modelo e abrir uma oportunidade para o diálogo entre a teoria e sua crítica a respeito de convicções, experiências e conhecimento dos envolvidos (Brousselle et al., 2011). Além disso, seu desenho consiste na primeira etapa para o planejamento da avaliação, pois a compreensão da estrutura da intervenção em todos os níveis é fundamental para a elaboração de indicadores adequados de avaliação (Bueno, Cordoni Júnior e Mesas, 2011).

Para a elaboração do ML foram identificados e selecionados os documentos oficiais referentes ao processo de gestão municipal e estadual do SUS, representados pelo Plano Municipal de Saúde, Plano Estadual de Saúde, Relatório Anual de Gestão Municipal e Relatório Anual de Gestão Estadual, bem como documentos referentes à gestão da PEPS, em níveis regional e estadual. Estes últimos foram representados pelo Plano Estadual de Educação Permanente em Saúde (PEEPS) e pelo Plano de Ação Regional de Educação Permanente em Saúde (PAREPS), publicados no período de 2010 a 2018. Além dos documentos citados, lançou-se mão da literatura científica disponível sobre a PEPS no município. A descrição e a delimitação da intervenção foram realizadas por meio de um roteiro de extração de dados e foram utilizados aspectos da análise de conteúdo temática para análise dos documentos (Minayo, 2016), assim como a identificação dos componentes técnicos da intervenção.

O modelo construído baseou-se nos objetivos da intervenção quanto à qualificação dos profissionais de saúde e teve como um dos campos de atuação a APS. O ML apoiou-se na integração entre ensino-serviço-gestão-comunidade e nos componentes estruturais atividades, produtos e resultados; foi apresentado na forma de esquema visual. Para estabelecer o consenso entre especialistas em relação aos itens descritos no modelo, utilizou-se a técnica de Delfos. O uso de técnicas de consenso, como a técnica de Delfos (ou Delphi) tem sido amplamente difundido nos estudos avaliativos (Esher et al., 2012; Costa, 2012), possibilitando envolver e incorporar o ponto de vista de pesquisadores, gestores, profissionais de saúde e usuários (Revorêdo et al., 2015).

Nessa técnica, o uso de metodologia e processos estruturados permite que, por meio de análise subjetiva, um julgamento coletivo seja realizado, com a finalidade de obter o consenso de especialistas, aqueles com experiência, habilidade ou determinados conhecimentos técnicos, científicos ou práticos sobre um tema específico (Esher et al., 2012; Uchoa et al., 2008). O ML deve ser flexível para permitir a revisão por um grupo de especialistas e, se necessário, readequado para abranger novos fatores que não foram previstos anteriormente (Mclaughlin e Jordan, 2010; Bezerra, Cazarin e Alves, 2010).

Dentre as principais características da técnica de Delfos estão o anonimato, a construção e apresentação da resposta do grupo como um todo, e a possibilidade de revisão e alteração das respostas. No que diz respeito ao anonimato, tem-se a ausência de exposição da identidade do participante, o que auxilia na expressão de opiniões sem interferência de outros membros. No que se refere à construção e apresentação da resposta do grupo como um todo, são apresentadas, ao final, as informações não só do ponto de vista da maioria, mas aquelas que representam todas as opiniões. Já a possibilidade de revisão e alteração das respostas permite aos especialistas conhecer os diferentes pontos de vista, e modificar sua opinião caso os argumentos apresentados por outros lhes pareçam mais apropriados (Munaretto, Corrêa e Cunha, 2013; Marques e Freitas, 2018).

Para a busca do consenso, 15 especialistas da região do estudo (município de Vitória e estado do Espírito Santo) foram identificados e convidados a participar da pesquisa. Esses especialistas representaram seis grupos: três representantes da Escola Técnica de Formação Profissional de Saúde (ETSUS Vitória); três representantes da Gerência de Recursos Humanos da Secretaria Estadual de Saúde (SESA) do ES; três representantes da Comissão de Integração Ensino-Serviço da Região Metropolitana (CIES/Metropolitana); três representantes de IESs (docentes e pesquisadores); um representante municipal da área técnica da APS; e dois representantes dos usuários no Conselho Municipal de Saúde, distribuídos entre: gestão, ensino e pesquisa, serviço e controle social. Optou-se pela seleção de especialistas nas quatro atuações mencionadas; contudo, foi localizado apenas um representante municipal da APS para participação no estudo.

A seleção da amostra utilizou como critério de inclusão ter experiência acadêmica ou prática profissional com o tema da Educação Permanente em Saúde no município de Vitória e no ES, mensurada de acordo com o tempo de atuação e participação em atividades de EPS. Além dos profissionais selecionados pela sua experiência acadêmica, foram também selecionados participantes indicados por estes profissionais. Foram convidados a participar do estudo todos os 15 participantes identificados inicialmente e que atendessem ao critério mencionado. No primeiro contato realizado, explicou-se o objetivo do estudo, a técnica a ser utilizada e a importância da participação. Dos 15 especialistas selecionados, quatro recusaram-se a participar da pesquisa, sendo um representante do Conselho Municipal de Saúde, dois da CIES/Metropolitana e um da ETSUS Vitória.

A Figura 1 apresenta a sequência de etapas do processo de construção e validação do ML. Na primeira rodada, realizada em janeiro de 2019, foi disponibilizado, via correio eletrônico aos que aceitaram participar, um texto introdutório sobre os objetivos do estudo, juntamente com o termo de consentimento livre e esclarecido, a descrição sobre a modelização da intervenção no processo avaliativo e sobre a implementação da PEPS, a primeira versão do modelo lógico de implementação da PEPS na APS no município de Vitória (Figura 2) e as instruções para o preenchimento do instrumento e devolução do material.

Figura 1
Processo de validação do Modelo Lógico de Implementação da PEPS na APS no município de Vitória-ES. Vitória-ES, Brasil, 2019.

Figura 2
Modelo Lógico inicial da Implementação da PEPS na Atenção Primária em Saúde em Vitória, ES. Vitória-ES, Brasil, 2019.

APS: Atenção Primária à Saúde; CIES: Comissão de Integração Ensino-Serviço; CMS: Conselho Municipal de Saúde; EPS: Educação Permanente em Saúde; ETSUS: Escola Técnica do SUS; IES: Instituição de Ensino Superior; PAREPS: Plano de Ação Regional de Educação Permanente em Saúde; PEEPS: Plano Estadual de Educação Permanente em Saúde; PEPS: Política de Educação Permanente em Saúde; SEMUS: Secretaria Municipal de Saúde de Vitória; SESA: Secretaria Estadual de Saúde do Espírito Santo.

O segundo instrumento foi enviado em março de 2019 somente aos 11 participantes que devolveram o primeiro instrumento preenchido. O documento constituía de um breve consolidado do primeiro instrumento, com a descrição do ML já incorporando as contribuições trazidas na primeira rodada e o esquema visual modificado, além do instrumento para análise da relevância dos itens (Figura 1).

Uma parte da teoria, ao que se refere à PEPS no município, foi apresentada por meio do ML, no que consiste à estrutura, ao processo, aos resultados e ao contexto político-organizacional, para ser analisada e classificada pelos especialistas quanto à pertinência dos itens, em Sim ou Não, e quanto à relevância dos itens, por meio de uma escala de likert, como mostra o fluxograma da Figura 1.O primeiro instrumento da pesquisa foi organizado em oito blocos, sendo os de números 1, 2, 3 e 4 referentes aos processos, que incluem as atividades subdivididas em quatro componentes. Os blocos 5, 6 e 7 referem-se aos resultados a curto, médio e longo prazos. O bloco 8 diz respeito ao contexto político-organizacional.

Quanto aos processos, nos blocos 1 e 2, foi avaliada, pelos participantes, a pertinência das atividades de planejamento e de articulação política que envolvem a gestão da PEPS no município de Vitória-ES. Já o bloco 3 consistiu da avaliação da pertinência das atividades de coordenação da PEPS; no bloco 4, foram apreciadas as atividades relativas à orientação conceitual, técnica e prática para implementação da PEPS.

Quanto aos produtos, no bloco 5, o foco foi nos resultados gerados imediatamente após a realização das atividades. Tais resultados foram subdivididos de acordo com os componentes planejamento, articulação política, coordenação e orientação conceitual, técnica e prática; do mesmo modo, foram subdivididos os resultados alcançados a médio prazo no bloco 6. No bloco 7, foi avaliada a pertinência dos itens relacionados aos impactos, que consistem nos resultados a longo prazo.

No que concerne ao contexto, o bloco 8 versou sobre a avaliação da pertinência de itens referentes ao contexto político-organizacional que influenciam na gestão da PEPS em Vitória. A descrição do referido contexto procurou identificar aspectos relacionados ao processo de implementação da intervenção. Considerou que a implementação da PEPS na APS em Vitória depende do modelo de gestão adotado e da estruturação da PEPS local.

Os instrumentos preenchidos e devolvidos foram codificados e as respostas digitadas em planilha no Microsoft Excel. Em seguida, foram analisadas por meio de estatística descritiva antes de ser representada na rodada seguinte. Houve consenso sobre o item que recebeu pelo menos 80% de votos ‘sim’ no quesito pertinência.

Nessa primeira rodada, além de julgarem a pertinência de cada item, os participantes puderam dar sugestões, bem como puderam discorrer livremente sobre o tema caso não concordassem com o que fora apresentado. Realizou-se a análise qualitativa das sugestões dos participantes com a utilização de aspectos da análise de conteúdo temática (Minayo, 2016). Os itens não pertinentes foram reformulados ou excluídos e as considerações dos participantes, listadas e categorizadas, resultando na inclusão ou reformulação de itens no segundo instrumento (Figura 1).

Na segunda rodada, foi solicitado aos participantes que analisassem novamente o esquema visual e sua respectiva descrição e que respondessem sobre a relevância dos itens do instrumento. O segundo instrumento de pesquisa foi organizado em nove blocos: o bloco 1, inserido após a primeira rodada, com conteúdo referente aos recursos financeiros, materiais e humanos; os blocos 2, 3, 4 e 5, relativos aos processos; o bloco 6, concernente aos produtos; o bloco 7, relacionado aos resultados; o bloco 8, referente ao impacto e o bloco 9, alusivo ao contexto político-organizacional (Figura 1).

O nível de relevância foi atribuído a cada item, com base em uma escala de Likert de quatro pontos para determinar seu valor de relevância: (0) nada relevante, (1) pouco relevante, (2) relevante e (3) muito relevante. Os dados foram inseridos no software Statistics, versão 21 (SPSS). Em seguida, a análise descritiva foi realizada com cálculo da soma, mediana e intervalo interquartil dos itens. Houve consenso, quanto à relevância, sobre os itens cujas pontuações finais alcançaram mais de 80% do valor máximo disponível e que apresentaram alto nível de concordância, confirmado pela análise da mediana das respostas e do intervalo interquartil (Esher et al., 2012; Vitorino, Cruz e Barros, 2017).

Tanto na primeira quanto na segunda rodada, foi estabelecido um prazo de 20 dias para a devolução dos instrumentos devidamente preenchidos. Na primeira rodada, a maioria dos participantes respondeu dentro do prazo definido e dois deles enviaram suas respostas com no máximo dois dias de atraso. Já na segunda rodada, o prazo estendeu-se para 30 dias, já que três dos participantes responderam depois do prazo inicialmente estabelecido. O processo de validação do ML ocorreu em um período de seis meses, entre janeiro e junho de 2019.

A pesquisa faz parte de tese de doutorado¹ , o projeto foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz, com aprovação sob parecer nº 2.464.885, de 11 de Janeiro de 2018.

Resultados

Neste estudo, com base na realização da técnica de Delfos com os especialistas, foi possível obter, em duas rodadas, a análise da pertinência e da relevância de cada item do ML de implementação da PEPS em Vitória, organizados em nove blocos sobre estrutura, processo, resultados e contexto político-organizacional relacionados à implementação da PEPS na APS no município.

Dos 15 especialistas selecionados inicialmente, 11 participaram da primeira rodada e 10 da segunda rodada, com representatividade em todos os grupos (gestão; ensino e pesquisa; serviço e controle social).

Na Tabela 1, encontram-se o conteúdo referente aos recursos, os itens analisados, seguido do somatório total alcançado, do valor da mediana e do intervalo interquartil. Já a Tabela 2 refere-se ao conteúdo dos processos, representados pelas atividades, juntamente com seus respectivos produtos e organizados em quatro componentes técnicos: planejamento, articulação política, coordenação e orientação conceitual, técnica e prática. Na Tabela 3, encontra-se o conteúdo referente aos resultados e aos impactos da PEPS na APS no município de Vitória-ES e ao contexto político-organizacional que influencia na implementação da PEPS.

Tabela 1
Itens relacionados aos recursos para implementação da PEPS na APS no município de Vitória-ES, distribuídos de acordo com o total de pontos, mediana e intervalo interquartil. Vitória, ES, Brasil, 2019.

Itens analisados	Total de pontos	Mediana	Intervalo interquartil
Recursos financeiros	28	3	0,3
Recursos materiais	24	2	1
Recursos humanos	30	3	0

Fonte: As autoras

Tabela 2
Itens relacionados às atividades e respectivos produtos para implementação da PEPS na APS no município de Vitória, distribuídos de acordo com o total de pontos, mediana e intervalo interquartil. Vitória-ES, Brasil, 2019.

Componente técnico	Atividades a serem realizadas	Total de pontos	Mediana	Intervalo interquartílico	Produtos	Total de pontos	Mediana	Intervalo interquartílico
Planejamento	Plano de Ação Municipal de EPS ou documento legal que oriente as ações de EPS	30	3	0	Plano de Ação Municipal de EPS ou documento legal que oriente as ações de EPS elaborado e coerente com o PAREPS ou com o PEEPS	29	3	0
	Plano de Ação de EPS da Região Metropolitana da Grande Vitória (PAREPS)	22	2	1
	Plano Estadual de EPS (PEEPS)	22	2	1
	Construir de forma coletiva (trabalhadores, gestores, IES e controle social) as ações de EPS no município	29	3	0	Ações de EPS a serem implementadas no município construídas de forma coletiva por trabalhadores, gestores, IES e controle social	28	3	0,3
	Instrumentos para avaliação e monitoramento das ações de EPS	28	3	0,3	Modelo-padrão de relatório elaborado conforme execução e prestação de contas	25	2,5	1
Articulação Política	Espaço de articulação no âmbito municipal com ampla participação da gestão regional, estadual e dos trabalhadores de saúde	26	3	1	Espaço de articulação no âmbito municipal definido e com ampla participação	26	3	1
	Participação na composição da CIES regional metropolitana	24	2,5	1	Composição da CIES regional com participação municipal	23	2	1
	Participação no Conselho Municipal de Saúde (CMS)	29	3	0	Participação regular de representante do município no Conselho Municipal de Saúde para acompanhamento da PEPS	26	3	1
	Participação da SEMUS na formulação, condução e desenvolvimento da PEPS	29	3	0	Formulação, condução e desenvolvimento da PEPS realizada pela SEMUS	28	3	0,3
Coordenação	Elaboração do orçamento para as ações da PEPS no município	28	3	0	Recursos financeiros aprovados para a PEPS	26	3	1
	Critérios para distribuição dos recursos financeiros para a PEPS no município	26	3	1	Critérios definidos para distribuição dos recursos financeiros para o desenvolvimento da PEPS	25	3	1
	Governança local (por meio da ETSUS Vitória) para administração dos recursos financeiros e desenvolvimento de ações pedagógicas pró-ativas no município	29	3	0	Administração dos recursos financeiros e das ações pedagógicas pró-ativas por governança local (ETSUS Vitória)	28	3	0,3
Orientação Conceitual, Técnica e Prática	Qualificação técnica para as práticas de educação na saúde	28	3	0,3	Gestores, professores e profissionais de saúde qualificados para o desenvolvimento das práticas de educação na saúde	29	3	0
	Formação e desenvolvimento de pessoal para APS pela ETSUS, IES e pelo próprio serviço	28	3	0,3	Formação e desenvolvimento de pessoal para APS gerido pela ETSUS, integrada à IES, áreas técnicas, gestores e pelo próprio serviço	29	3	0
	Alinhamento conceitual de EPS para realização das práticas pelos atores envolvidos na condução da PEPS	30	3	0	Alinhamento conceitual de EPS estabelecido entre os atores envolvidos na condução da PEPS no município	28	3	0,3
	Supervisão técnica, monitoramento e avaliação das ações de educação na saúde	26	3	1	Mecanismos de supervisão técnica, monitoramento e avaliação das ações de educação na saúde realizadas	27	3	1
	Integração dos diferentes atores e instituições (ETSUS, SESA...) nas atividades de EPS no município	28	3	0,3	Evento integrado entre município e Estado com apresentação anual dos resultados alcançados referentes à EPS no município	21	2	1,3
					Instância de pactuação municipal (ex. CIES municipal) instituída e os processos formativos geridos pela ETSUS	26	3	1

• Nota: APS: Atenção Primária à Saúde; CIES: Comissão de Integração Ensino-Serviço; CMS: Conselho Municipal de Saúde; EPS: Educação Permanente em Saúde; ETSUS: Escola Técnica do SUS; IES: Instituição de Ensino Superior; PAREPS: Plano de Ação Regional de Educação Permanente em Saúde; PEEPS: Plano Estadual de Educação Permanente em Saúde; PEPS: Política de Educação Permanente em Saúde; SEMUS: Secretaria Municipal de Saúde de Vitória; SESA: Secretaria Estadual de Saúde do Espírito Santo.
Fonte: As autoras

Tabela 3
Itens relacionados aos resultados e ao impacto da implementação da PEPS e relacionados ao contexto político-organizacional que influenciam na implementação da PEPS na APS, distribuídos de acordo com o total de pontos, mediana e intervalo interquartil. Vitória, ES, Brasil, 2019.

Componente técnico	Resultados	Total de pontos	Mediana	Intervalo interquartílico
Planejamento	PEPS implementada por meio do Plano de Ação Municipal de EPS ou de documento legal que oriente as ações de EPS	29	3	0
	Ações de EPS construídas de forma coletiva e coladas em prática no município	28	3	0,3
	Avaliação e monitoramento das ações de EPS realizada conforme execução e prestação de contas	29	3	0
Articulação Política	Condução da PEPS realizada por um espaço de articulação municipal e com a participação de diferentes atores e instâncias	27	3	1
	Profissionais de saúde qualificados para atuação na APS	30	3	0
	Práticas e processos de trabalho na APS modificados	29	3	0
Coordenação	Recurso financeiro viabilizado para o desenvolvimento da PEPS no município	27	3	0,3
	Coordenação da EPS do município realizada por governança local (ETSUS Vitória)	27	3	1
Orientação Conceitual, técnica e prática	Melhoria da qualidade técnica e da formação dos gestores, professores e profissionais de saúde vinculados à APS do município	30	3	0
	Adequação das práticas de educação na saúde realizadas sob uma orientação conceitual de EPS	29	3	0
	Uso da informação de supervisão, monitoramento e avaliação das ações de educação na saúde para a melhoria da qualidade da APS por meio da prestação de contas aos espaços de gestão e comunidade, trabalhadores e usuários do SUS	29	3	0
Impacto	Itens analisados	Total de pontos	Mediana	Intervalo interquartílico
	Qualificação dos profissionais de saúde para atuação na atenção primária em saúde no município	30	3	0
	Monitoramento e avaliação anual das ações de EPS, por meio de indicadores específicos	28	3	0,3
	Avaliação institucional da qualidade das ações de EPS ofertadas e do impacto nos processos de trabalho	28	3	0,3
	Fortalecimento da relação gestão- serviço- ensino- comunidade	29	3	0
	PAREPS e PEEPS em consonância com o Plano de Saúde municipal ou documento legal, no que tange à educação na saúde	26	3	1
	Existência da CIES estadual, das CIESs regionais e do Colegiado de Gestão Regional	24	2,5	1
	Na SESA, existência de setor específico para o planejamento e condução da PEPS no Estado	22	2	1
	Ampla participação e articulação das diferentes representações que conduzem a PEPS no município: IES, Conselho Municipal de Saúde, ETSUS, profissionais de saúde, áreas técnicas e outros	29	3	0

Fonte: As autoras
• APS: Atenção Primária à Saúde; CIES: Comissão de Integração Ensino-Serviço; EPS: Educação Permanente em Saúde; ETSUS: Escola Técnica do SUS; IES: Instituição de Ensino Superior; PAREPS: Plano de Ação Regional de Educação Permanente em Saúde; PEEPS: Plano Estadual de Educação Permanente em Saúde; PEPS: Política de Educação Permanente em Saúde; SESA: Secretaria Estadual de Saúde do Espírito Santo.

As marcações nas Tabelas 1, 2 e 3 correspondem aos itens considerados não relevantes pelos participantes, ou seja, aqueles que alcançaram somatória de pontos inferior ou igual a 24 pontos, confirmado pela mediana inferior a 3 e intervalo interquartil igual ou superior a 1.

A aplicação da técnica de Delfos com especialistas permitiu a realização de modificações no ML inicial e uma melhor compreensão dos componentes essenciais da política local. Na primeira rodada, baseado nas contribuições dos especialistas quanto à pertinência dos itens, realizou-se a inserção de aspectos da estrutura que tangenciam todos os componentes técnicos do modelo, sendo eles os recursos financeiros, materiais e humanos. Também foram realizadas a inserção e a reformulação de itens referentes às atividades, produtos e resultados dos componentes técnicos coordenação e orientação conceitual, técnica e prática que mais se aproximam da governança local e de estruturas locais de condução da PEPS.

Na segunda rodada, os itens relacionados à estrutura considerados relevantes pelos especialistas para implementação da PEPS no município de Vitória foram os recursos financeiros e humanos. Já os itens referentes à estruturação e participação na PEPS no âmbito estadual e regional não foram considerados relevantes, tanto nos aspectos das atividades quanto dos produtos e do contexto político-organizacional. Todos os itens referentes aos resultados e ao impacto dos quatro componentes técnicos foram considerados relevantes.

A Figura 3 apresenta o ML de Implementação da PEPS na APS do município de Vitória-ES validado por meio da técnica de Delfos, estruturado segundo a tríade estrutura, processo e resultados. Os dois primeiros são equivalentes às atividades enquanto os resultados são relativos aos produtos, resultados e impacto, de acordo com os quatro componentes (técnicos, planejamento, articulação política, coordenação e orientação conceitual, técnica e prática), além do contexto político-organizacional. Nota-se que as principais modificações obtidas por meio da aplicação da técnica de consenso consistem na inclusão de itens que refletem a estruturação, condução e participação da PEPS em âmbito municipal e, consequentemente, na reformulação dos itens que condizem à estruturação da PEPS em âmbito estadual e regional.

Figura 3
Modelo Lógico final da Implementação da PEPS na Atenção Primária em Saúde. Vitória, ES, Brasil, 2019.

Discussão

A descrição da implementação da PEPS na APS na forma de um modelo lógico partiu do entendimento de que uma intervenção pode ser tanto um programa quanto uma política. Essa intervenção pode ser concebida como um sistema organizado de ação no qual inclui atores nela envolvidos; como uma estrutura, que trata do conjunto de recursos e das regras que escapam ao controle dos atores, e objetivos a serem alcançados (Brousselle et al., 2011). Os componentes de estrutura, processo e resultados que orientaram a elaboração do ML também nortearão a discussão dos resultados.

A estrutura, que se refere às características mais estáveis dos serviços de saúde, foi descrita em termos de recursos financeiros, materiais e humanos que se relacionam com todos os componentes técnicos do ML. O recurso material não foi reconhecido como item relevante pelos participantes do Delphi; já os recursos financeiros e humanos foram considerados imprescindíveis. Da mesma maneira, Sade e Peres (2015), França (2017) e Brasil (2018) citam que, para a execução da política de educação permanente, há a necessidade de investimento, principalmente financeiro.

Tal estrutura caracteriza-se pelos recursos utilizados pelos atores para produzir determinados processos. Desse modo, os objetivos pretendidos da intervenção são alcançados. No que se referem aos processos, destacados no ML como atividades no componente técnico planejamento, os itens julgados como relevantes para a implementação da PEPS foram: construir, de forma coletiva, com trabalhadores, gestores, IESs e controle social as ações de EPS no município; elaborar o Plano de Ação Municipal de EPS ou documento legal que oriente as ações de EPS; e elaborar instrumentos para avaliação e monitoramento das ações de EPS.

A articulação interinstitucional, com vistas a uma construção conjunta das ações entre gestores estaduais e municipais, instituições de ensino, docentes e estudantes, instâncias de controle social em saúde e serviços de atenção à saúde, configura-se em um dispositivo necessário para o desenvolvimento da política (Campos, Sena e Silva, 2017). Do mesmo modo, a construção coletiva das diretrizes para a formação e desenvolvimento dos profissionais de saúde (Lopes, 2007) e de instrumentos de avaliação dos processos educativos (Lemos, 2016) contribuem para a promoção da referida política.

Os itens Plano de Ação de EPS da Região Metropolitana da Grande Vitória (PAREPS) e Plano Estadual de EPS (PEPS), apesar de serem instrumentos necessários para o planejamento das ações de EPS, não foram considerados relevantes pelos participantes, possivelmente, devido ao seu aspecto mais regional e estadual, não retratando as ações de EPS em nível municipal.

Quanto aos componentes técnicos, coordenação e orientação conceitual, técnica e prática, todos os itens foram considerados relevantes, assim como os itens do componente articulação política, exceto a participação na composição da CIES regional metropolitana, considerada como não relevante. No que tange ao papel das CIESs na implementação da PEPS, pesquisas anteriores (Cavalcante, 2013; Viana, 2008) apontam uma desarticulação e pouca atuação dessas comissões nos estados brasileiros, corroborando com as opiniões dos participantes deste estudo.

Ainda sobre o componente da articulação política, foi sugerida a inclusão da criação da CIES municipal para auxiliar na condução da gestão da educação, assim como a participação da ETSUS Vitória na formulação, condução e desenvolvimento da PEPS. As CIESs são importantes instâncias e espaços de negociação, pactuação e desenvolvimento da EPS, pois assumem o papel de indutoras de mudanças e promovem o trabalho articulado entre as várias esferas de gestão e as instituições formadoras (Brasil, 2009). A criação dessa instância em nível municipal pode contribuir para o desenvolvimento da EPS local, assim como a ETSUS do município de Vitória, que tem como papel central ordenar todos os processos que envolvem pesquisa, integração entre ensino e serviço e a educação permanente do município (Torres, 2013). Compreende-se a existência de autonomia do município de Vitória na condução da PEPS local, desde a criação da ETSUS Vitória, responsável pela formação e desenvolvimento dos trabalhadores do SUS (Peixoto-Pinto e Romualdo, 2018).

Quanto aos objetivos pretendidos da intervenção, estes são apresentados na forma de produtos, resultados e impactos, que se referem aos resultados da intervenção em curto, médio e longo prazos, respectivamente. Sobre os produtos, a maioria dos itens foi considerada relevante pelos participantes, com exceção daqueles de caráter mais regional, por não retratarem a realidade local. Para Castro (2014), embora a PNEPS seja única, ela será influenciada pelas características de cada localidade, assumindo uma identidade própria em cada região do país, o que justifica o estudo em cada local.

Todos os itens referentes aos resultados e ao impacto da implementação da PEPS na APS no município de Vitória foram considerados relevantes pelos participantes do estudo, com destaque para os itens melhoria da qualidade técnica e da formação dos gestores, professores e profissionais de saúde vinculados à APS do município, qualificação dos profissionais de saúde para atuação na APS e fortalecimento da relação gestão-serviço-ensino-comunidade. Tais itens encontram-se em consonância com as diretrizes da PNEPS, que têm como objetivo a formação e o desenvolvimento de trabalhadores da saúde, tendo em vista a articulação entre as possibilidades de desenvolver a educação dos profissionais e a ampliação da capacidade resolutiva dos serviços de saúde (Brasil, 2009) e que também podem ser observados nos estudos de Lima, Albuquerque e Wenceslau (2014) e de Ferreira et al. (2019).

Da mesma forma, Ceccim e Feuerwerker (2004) citam a EPS como proposta de ação estratégica para transformar a organização dos serviços, dos processos formativos e as práticas de saúde. Do mesmo modo, tais autores asseveram que, para qualificar a formação dos trabalhadores para as reais necessidades de saúde, torna-se relevante a integração ensino-serviço-gestão-controle social.

De modo a finalizar a construção do ML, o bloco contexto político-organizacional foi inserido para análise dos itens pelos participantes. Uma reflexão sobre as possíveis influências do contexto na implementação da política torna-se significante para a identificação dos fatores importantes que auxiliam ou dificultam o desenvolvimento da política (Cassiolato e Gueresi, 2010).

Nesse bloco, alguns itens relacionados à organização e à estruturação da PEPS em níveis estadual e regional não foram considerados relevantes. Foi sugerida a inclusão do item sensibilização de todos os atores envolvidos, incluindo a sociedade civil, quanto aos preceitos da EPS que regem a PEPS, visto que a dificuldade na compreensão do conceito de EPS já foi identificada em diversos estudos (Campos, Sena e Silva, 2017; Marandola et al., 2017). Tal conceito, muitas vezes, foi utilizado como sinônimo de ‘educação continuada’ ou ‘educação em saúde’, dificultando o processo de mudança das práticas de saúde.

Quanto ao número de rodadas de validação, este depende do nível de consenso alcançado, pois quanto menor a discordância entre os itens avaliados, mais rapidamente o processo pode ser concluído (Esher et al., 2012; Uchoa et al., 2008). Neste estudo, pelo elevado grau de consenso obtido desde a primeira rodada, foram realizadas somente duas rodadas. Quanto à perda esperada no estudo de validação, na primeira rodada é de 30% a 50% e, na segunda, de 20% a 30%. Neste estudo, a perda foi de 26% e 9%, respectivamente (Wright e Giovinazzo, 2000), não comprometendo a consistência interna da validação. Destaca-se que houve representatividade de todos os grupos envolvidos.

Como limitações do estudo, destacam-se a demora na execução de todo o processo, incluindo as rodadas necessárias para a definição do consenso e a dependência do engajamento dos participantes para a qualidade do material gerado.

Considerações Finais

Este artigo apresentou o processo de validação do ML referente à implementação da PEPS na APS no município de Vitória, fundamentada na contribuição e consenso dos especialistas.

Considerou-se a importância da construção do ML, com base em uma representação esquemática dos componentes e da forma de operacionalização da intervenção, visando a uma compreensão melhor dos seus componentes e do contexto que a envolve.

Buscou-se a construção coletiva das ideias e percepções dos atores com diferentes inserções na área da EPS, distribuídos entre gestão, ensino e pesquisa, serviço e controle social. Estas medidas só foram possíveis graças à utilização da técnica de consenso Delfos, o que ressalta ser um passo importante no envolvimento de potenciais interessados no processo avaliativo, na perspectiva de garantir o uso futuro dos resultados da avaliação.

O ML validado configura-se como uma contribuição para a gestão da PEPS na APS em Vitória-ES, na medida em que permite um acompanhamento do progresso mais correspondente e legítimo, em nível local, dos itens referentes à intervenção.

Em todo caso, faz-se importante a revisão periódica do modelo lógico, visando à sua adequação para contemplar novos aspectos ou outros não previstos que apareçam com o aprimoramento dos processos referentes a essa política.

O ML validado apresenta características da implementação da PEPS que podem contribuir para ratificar ou repensar as estratégias adotadas pela PNEPS, com vistas a aprimorar a formação dos trabalhadores e gestores inseridos no SUS, qualificando os processos de trabalho e a atenção à saúde.

Referências

• BEZERRA, Luciana C. A.; CAZARIN, Gisele; ALVES, Cinthia K. A. Modelagem de programas: da teoria à operacionalização. In: SAMICO, Isabella et al. (org.). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p. 65-78.
• BRASIL. Ministério da Saúde. Secretaria de Gestão do Trabalho e da Educação na Saúde. Departamento de Gestão da Educação em Saúde. Política nacional de educação permanente em saúde. Brasília: Ministério da Saúde, 2009. 64 p. (Série B. Textos Básicos de Saúde) (Série Pactos pela Saúde 2006; v.9). Disponível em: <http://portal.anvisa.gov.br/documents/33856/396770/Pol%C3%ADtica+Nacional+de+Educa%C3%A7%C3%A3o+Permanente+em+Sa%C3%BAde/c92db117-e170-45e7-9984-8a7cdb111faa> Acesso em: 3 mar. 2019.
  » http://portal.anvisa.gov.br/documents/33856/396770/Pol%C3%ADtica+Nacional+de+Educa%C3%A7%C3%A3o+Permanente+em+Sa%C3%BAde/c92db117-e170-45e7-9984-8a7cdb111faa>
• BRASIL. Ministério da Saúde. Secretaria de Gestão do Trabalho e da Educação na Saúde. Departamento de Gestão da Educação na Saúde. Política nacional de educação permanente em saúde: o que se tem produzido para o seu fortalecimento? 1. ed. rev. Brasília: Ministério da Saúde, 2018.
• BROUSSELLE, Astrid et al. Modelizar as intervenções. In: CHAMPAGNE, François et al. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 61-74.
• BUENO, Vera L. R. C.; CORDONI JÚNIOR, Luiz; MESAS, Arthur E. Desenvolvimento de indicadores para avaliação de serviço público de odontologia. Ciência & Saúde Coletiva, Rio de Janeiro, v. 6, n. 7, p. 3.069- 3.082, 2011. Disponível em: <http://www.scielo.br/pdf/csc/v16n7/07.pdf >. Acesso em: 5 mar. 2019.
  » http://www.scielo.br/pdf/csc/v16n7/07.pdf
• CAMPOS, Kátia F. C.; SENA, Roseni R.; SILVA, Kênia L. Educação permanente nos serviços de saúde. Escola Anna Nery, Rio de Janeiro, v. 21, n. 4, p. 1-10, 2017.
• CASSIOLATO, Martha; GUERESI, Simone. Nota técnica: como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Brasília: IPEA, 2010. . Disponível em: <http://www.ipea.gov.br/portal/images/stories/PDFs/nota_tecnica/100924_notatec6disoc.pdf> Acesso em: 3 mar. 2019.
  » http://www.ipea.gov.br/portal/images/stories/PDFs/nota_tecnica/100924_notatec6disoc.pdf>
• CASTRO, Fernanda C. A. Q. Concepções de educação permanente em saúde difundidas por gestores. 2014. 74 f. Dissertação (Mestrado em Saúde Coletiva)- Universidade Federal do Espírito Santo, Centro de Ciências da Saúde, Vitória, 2014. Disponível em: <https://docplayer.com.br/17662778-Concepcoes-de-educacao-permanente-em-saude-difundidas-por-gestores.html> Acesso em: 3 de mar. 2019.
  » https://docplayer.com.br/17662778-Concepcoes-de-educacao-permanente-em-saude-difundidas-por-gestores.html>
• CAVALCANTE, Elisângela F. O. et al. Prática da educação permanente pela enfermagem nos serviços de saúde. Revista Enfermagem UFPE, Recife, v. 7, n. 2, p. 598-607, fev. 2013.
• CECCIM, Ricardo B. Educação permanente em saúde: desafio ambicioso e necessário. Interface: Comunicação, Saúde, Educação, Botucatu, v. 9, n. 16, p. 161-168, 2005.
• CECCIM, Ricardo B.; FEUERWERKER, Laura C. M. O quadrilátero da formação para a área da saúde: ensino, gestão, atenção e controle social. Physis: Revista de Saúde Coletiva, Rio de Janeiro, v. 14, n. 1, p. 41-65, 2004.
• COSTA, Maira M. As bibliotecas brasileiras em 2018: resultados da técnica de delfos. Perspectivas em Ciência da Informação, Belo Horizonte, v.17, n.1, p.74-93, jan./mar. 2012. Disponível em: <http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1363/1028> Acesso em: 4 abr. 2019.
  » http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1363/1028>
• ELIAS, Flávia T. S.; PATROCLO, Maria A. de A. Utilização de pesquisas: como construir modelos teóricos para avaliação? Ciência & Saúde Coletiva, Rio de Janeiro, v. 10, n. 1, p. 215- 227, jan./mar. 2005. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232005000100028> Acesso em: 5 abr. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232005000100028>
• ESHER, Angela et al. Logic models from an evaluability assessment of pharmaceutical services for people living with HIV/AIDS. Ciência & Saúde Coletiva, Rio de Janeiro, v. 16, n. 12, p. 4.833-4.844, 2011.
• FERREIRA, Lorena et al. Educação permanente em saúde na atenção primária: uma revisão integrativa da literatura. Saúde Debate, Rio de Janeiro, v. 43, n. 120, p. 223-239, 2019.
• FRANÇA, Tânia et al. Política de Educação Permanente em Saúde no Brasil: a contribuição das Comissões Permanentes de Integração Ensino-Serviço. Ciência & Saúde Coletiva, Rio de Janeiro, v. 22, n. 6, p. 1817-1828, 2017.
• FRENK, Julio et al. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. The Lancet, London, v. 376, n. 9.756, p. 1.923-1.958, 2010. Disponível em:<https://dash.harvard.edu/bitstream/handle/1/4626403/ed_healthprofcommisionp5_40.pdf?sequence=1> Acesso em: 10 mar. 2019.
  » https://dash.harvard.edu/bitstream/handle/1/4626403/ed_healthprofcommisionp5_40.pdf?sequence=1>
• LEMOS, Cristiane L. S. Educação permanente em saúde no Brasil: educação ou gerenciamento permanente? Ciência & Saúde Coletiva, Rio de Janeiro, v. 21, n. 3, p. 913-922, 2016. Disponível em: http://www.scielo.br/scielo.php?pid=S1413-81232016000300913&script=sci_abstract&tlng=pt Acesso em: 5 abr. 2019.
  » http://www.scielo.br/scielo.php?pid=S1413-81232016000300913&script=sci_abstract&tlng=pt
• LIMA, Sayonara A. V.; ALBUQUERQUE, Paulette C.; WENCESLAU, Leandro D. Educação permanente em saúde segundo os profissionais da gestão de Recife, Pernambuco. Trabalho, Educação e Saúde, Rio de Janeiro, v. 12, n. 2, p. 425-441, 2014. Disponível em: <http://www.scielo.br/scielo.php?pid=S1981-7462014000200012&script=sci_abstract&tlng=PT> Acesso em: 15 maio 2019.
  » http://www.scielo.br/scielo.php?pid=S1981-7462014000200012&script=sci_abstract&tlng=PT>
• LOPES, Sara R. S. et al. Potencialidades da educação permanente para a transformação das práticas de saúde. Comunicação em ciências da saúde, Brasília, v. 18, n. 2, p. 147-155, abr./jun. 2007. Disponível em: <http://www.escs.edu.br/pesquisa/revista/2007Vol18_2art06potencialidades.pdf> Acesso em: 3 abr. 2019.
  » http://www.escs.edu.br/pesquisa/revista/2007Vol18_2art06potencialidades.pdf>
• MARANDOLA, Thalita R et al. Educação permanente em saúde: conhecer para compreender. Espaço para a Saúde, Londrina,v. 10, n. 2, p. 53-60, jun. 2009.
• MARQUES, Joana B. V.; FREITAS, Denise. Método DELPHI: caracterização e potencialidades na pesquisa em Educação. Pro-Posições, Campinas, v. 29, n. 2, p. 389-415, ago. 2018. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-73072018000200389&lng=pt&nrm=isso> Acesso em: 14 mar. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-73072018000200389&lng=pt&nrm=isso>
• MCLAUGHLIN, John A.; JORDAN, Gretchen. B. Using logic models. In: WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn. E. The handbook of practical program evaluation. United States of America: Jossey-Bass, 2010. p. 55-80.
• MINAYO, Maria C. S. Pesquisa social: teoria, método e criatividade. 18. ed. Petrópolis: Vozes; 2016.
• MUNARETTO, Lorimar F.; CORRÊA, Hamilton L.; CUNHA, Júlio A. C. Um estudo sobre as características do método Delphi e grupo focal, como técnicas para obtenção de dados em pesquisa exploratória. Revista de Administração da UFSM, Santa Maria, v. 6, n. 1, p. 9-24, 2013. Disponível em: <https://periodicos.ufsm.br/reaufsm/article/view/6243> Acesso em: 14 mar. 2019.
  » https://periodicos.ufsm.br/reaufsm/article/view/6243>
• PEIXOTO-PINTO, Elzimar E.; ROMUALDO, Josena L. Encontros, marcas e aprendizagens no caminho: a experiência da ETSUS-Vitória no projeto caminhos do cuidado. Cadernos do Cuidado, Rio de Janeiro, p. 47-55, 2018. Disponível em: <https://editora.observatoriodocuidado.org/index.php/CC/article/view/72/60> Acesso em: 10 maio 2019.
  » https://editora.observatoriodocuidado.org/index.php/CC/article/view/72/60>
• REVORÊDO, Luciana S. et al. O uso da técnica Delphi em saúde: uma revisão integrativa de estudos brasileiros. Arquivo de Ciências da Saúde, São José do Rio Preto, v. 22, n. 2, p. 6-21, jul. 2015.
• SADE, Priscila M. C.; PERES, Aida M. Development of nursing management competencies: guidelines for continuous education services. Revista da Escola de Enfermagem da USP, São Paulo, v. 29, n. 6, p. 988-994, Dez. 2015. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342015000600988> Acesso em: 10 mar. 2019.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342015000600988>
• SEIDL, Helena et al. Gestão do trabalho na atenção básica em saúde: uma análise a partir da perspectiva das equipes participantes do PMAQ-AB. Saúde Debate, Rio de Janeiro, v. 38, p. 94-108, out. 2014. Disponível em: <http://www.scielo.br/scielo.php?pid=S0103-11042014000600094&script=sci_abstract&tlng=PT> Acesso em: 12 mar. 2019.
  » http://www.scielo.br/scielo.php?pid=S0103-11042014000600094&script=sci_abstract&tlng=PT>
• SILVA, Luiz A. A. et al. Educação permanente em saúde na atenção básica: percepção dos gestores municipais de saúde. Revista Gaúcha de Enfermagem, Porto Alegre, v. 38, n. 1, p. 1-8, mar. 2017. Disponível em: <http://www.scielo.br/scielo.php?pid=S1983-14472017000100407&script=sci_abstract&tlng=PT> Acesso em: 5 mar. 2019.
  » http://www.scielo.br/scielo.php?pid=S1983-14472017000100407&script=sci_abstract&tlng=PT>
• TORRES, Sérgio R. M. Planejamento das ações educativas para os servidores de saúde do município de Vitória: uma articulação ampliada, participative, ascendente e contextualizada. Belo Horizonte. 2013. 35 f. Trabalho de Conclusão de Curso (Especialização)-Especialização em Gestão Pedagógica nas Escolas Técnicas do SUS, Escola de Enfermagem da Universidade Federal de Minas Gerais, Belo Horizonte, 2013.
• UCHOA, Alice C. et al. Utilizando técnicas de consenso: potencialidades e limites na avaliação da informação em saúde. In: HARTZ, Zulmira; FELISBERTO, Eronildo; SILVA, Ligia M. V. Meta-avaliação da Atenção Básica em Saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz, 2008. p. 253-282.
• VIANA, Ana L D. Relatório final do projeto de pesquisa Programa de avaliação e acompanhamento da política de educação permanente em saúde. São Paulo: Universidade de São Paulo; Fundação Faculdade de Medicina, 2008.
• VITORINO, Santuzza A. S.; CRUZ, Marly M.; BARROS, Denise C. Validação do modelo lógico teórico da vigilância alimentar e nutricional na atenção primária em saúde. Cadernos de Saúde Pública, Rio de Janeiro, v. 33, n. 12, p. 1-23, 2017. Disponível em: <http://www.scielo.br/scielo.php?pid=S0102-311X2017001204001&script=sci_abstract&tlng=PT> Acesso em: 15 mar. 2019.
  » http://www.scielo.br/scielo.php?pid=S0102-311X2017001204001&script=sci_abstract&tlng=PT>
• WRIGHT, James T. C.; GIOVINAZZO, Renata A. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, p. 54-65, abr./jun. 2000. Disponível em: <https://www.researchgate.net/publication/286695827_Delphi_Uma_ferramenta_de_apoio_ao_planejamento_prospectivo> Acesso em: 20 mar. 2019.
  » https://www.researchgate.net/publication/286695827_Delphi_Uma_ferramenta_de_apoio_ao_planejamento_prospectivo>

• Apresentação prévia
  Artigo baseado na tese de doutorado de Lorena Ferreira, intitulada Avaliação de Implementação da Política de Educação Permanente em Saúde na Atenção Primária no município de Vitória, Espírito Santo, apresentada ao Programa de Pós-graduação em Saúde Pública, da Escola Nacional de Saúde Pública, Fiocruz, Rio de Janeiro, em 2019.

• Financiamento. O presente estudo foi realizado com apoio da Fundação de Amparo à Pesquisa do Estado do Espírito Santo (Fapes), processo nº 83170561/2018.

Datas de Publicação

• Publicação nesta coleção
  19 Jun 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  14 Jul 2019
• Aceito
  04 Nov 2019