Oficinas de Planificação da Atenção Primária à Saúde: construção e validação de instrumento de avaliação

RESUMO

Objetivo:

descrever as etapas de construção e validação de conteúdo do instrumento para avaliação das oficinas de Planificação da Atenção Primária à Saúde.

Métodos:

estudo metodológico, com foco na validação de conteúdo do instrumento. O instrumento elaborado foi avaliado por um comitê de especialistas utilizando a Técnica Delphi, em duas rodadas. Para o grau de concordância, foram utilizados o Percentual de Concordância e o Índice de Validade de Conteúdo (IVC).

Resultados:

na primeira rodada, participaram seis especialistas, e a taxa de concordância foi 87% para clareza e 94% para representatividade. Na segunda rodada, participaram cinco especialistas, o IVC foi 0,95 para clareza, 0,97 para representatividade e 0,96 IVC total. O instrumento final possui 42 itens divididos em três blocos.

Conclusão:

o instrumento de avaliação construído possui validade de conteúdo para avaliar as oficinas de Planificação da Atenção Primária à Saúde, sendo uma ferramenta para utilização das gestões estadual e municipal.

Descritores:
Atenção Primária à Saúde; Avaliação em Saúde; Estudos de Validação; Avaliação de Programas e Projetos de Saúde; Apoio ao Planejamento em Saúde

ABSTRACT

Objective:

to describe the stages of construction and content validation of an instrument to assess Primary Health Care Planning workshops.

Methods:

this methodological study focused on validating the instrument’s content. The instrument developed was assessed by a committee of experts using the Delphi Technique, in two rounds. For the degree of agreement, percentage agreement and Content Validity Index (CVI) were used.

Results:

in the first round, six experts participated, and the degree of agreement was 87% for clarity and 94% for representativeness. In the second round, five experts participated, the CVI was 0.95 for clarity, 0.97 for representativeness and 0.96 total CVI. The final instrument had 42 items divided into three chunks.

Conclusion:

the instrument has content validity to assess Primary Health Care Planning workshops, being a tool for the use of state and municipal administrations.

Descriptors:
Primary Health Care; Health Care Evaluation Mechanisms; Validation Studies; Program Evaluation; Health Planning Support

RESUMEN

Objetivo:

describir las etapas de construcción y validación de contenido del instrumento para evaluar los talleres de Planificación de la Atención Primaria de Salud.

Métodos:

estudio metodológico, enfocado en validar el contenido del instrumento. El instrumento desarrollado fue evaluado por un comité de expertos utilizando la técnica Delphi, en dos rondas. Para el grado de acuerdo, se utilizaron el Porcentaje de Acuerdo y el Índice de Validez del Contenido (IVC).

Resultados:

en la primera ronda, participaron seis expertos, y la tasa de acuerdo fue del 87% para mayor claridad y del 94% para la representatividad. En la segunda ronda, participaron cinco expertos, el IVC fue de 0.95 por claridad, 0.97 por representatividad y 0.96 IVC total. El instrumento final tiene 42 ítems divididos en tres bloques.

Conclusión:

el instrumento de evaluación incorporado tiene validez de contenido para evaluar los talleres de Planificación de Atención Primaria de Salud, siendo una herramienta para el uso de las administraciones estatales y municipales.

Descriptores:
Atención Primaria de Salud; Evaluación en Salud; Estudios de Validación; Evaluación de Programas y Proyectos de Salud; Apoyo a la Planificación en Salud

INTRODUÇÃO

Um sistema de saúde que tenha em perspectiva atender às necessidades dos usuários deve buscar a organização da oferta de seus serviços e práticas para atingir esse objetivo. No entanto, após mais de 20 anos da implantação do Sistema Único de Saúde (SUS), a análise do setor revela uma baixa efetividade na provisão dos serviços e outras limitações decorrentes de escasso financiamento público, persistência de segmentação no sistema, barreiras organizacionais para acesso, integração e coordenação incipientes entre os níveis de atenção^(1-2).

A Atenção Primária à Saúde (APS), primeiro nível de atenção, sendo o centro de comunicação do sistema, deve ordenar a rede e coordenar o cuidado. Um sistema de saúde fundamentado na APS constitui uma estratégia de organização integral, assegurando que os serviços sejam ajustados às necessidades de saúde da população e o cuidado coordenado para os outros pontos de atenção, buscando o fortalecimento das Redes de Atenção à Saúde (RAS)^(1,3).

O acesso aos serviços de saúde em relação às necessidades da população vem sendo bastante debatido. No entanto, a coerência e a coordenação insuficientes na atenção à saúde ainda são consideradas as principais causas de falta de respostas à população⁽⁴⁾. Deste modo, buscando respostas institucionais para as necessidades em saúde a serem enfrentadas na APS, o Conselho Nacional de Secretários de Saúde (CONASS) desenvolve, desde 2007, a Planificação da Atenção à Saúde. A proposta metodológica do CONASS, o qual gere e acompanha a iniciativa, vai além da capacitação dos profissionais, pois contribui para a organização dos serviços em RAS. A Planificação está sendo desenvolvida em 25 regiões de onze estados do Brasil que aderiram a partir da parceria institucional com a entidade⁽⁵⁾.

A Planificação é um processo de planejamento da atenção à saúde, que pretende problematizar e refletir sobre o papel da APS como ordenadora da rede. Busca fornecer apoio técnico às equipes gestoras municipais e trabalhadores da área, para qualificar a organização da RAS de acordo com os princípios do SUS e do cuidado integral entre os níveis de atenção primário, secundário e terciário. Consiste em três momentos principais: seis oficinas de Planificação da Atenção Primária à Saúde, tutorias da APS e tutorias da Atenção Ambulatorial Especializada.

A metodologia das oficinas de Planificação da APS, primeira etapa do processo, prevê encontros mensais, com a participação de trabalhadores das equipes de saúde, gestores e técnicos estaduais e municipais⁽⁶⁾. Tais oficinas teóricas objetivam o alinhamento conceitual de temáticas relevantes para a APS e para a RAS, que têm continuidade nas tutorias/supervisões in loco⁽⁵⁾. Facilitadores do CONASS participam dos encontros fornecendo suporte técnico e operacional, visando unir a teoria à prática, com vistas à reorganização dos processos de trabalho nos serviços de saúde, a definição de fluxos na RAS e as pactuações para maior resolutividade, a partir da realidade dos participantes.

A avaliação em saúde se faz necessária para a RAS, por meio de ferramentas que identifiquem os nós críticos do sistema. No Brasil, iniciativas de avaliação da APS que contribuam para o envolvimento das equipes de saúde no processo de melhoria da qualidade dos serviços vêm ganhando destaque^(6-7). A despeito da relevância da avaliação para mensurar o desempenho do sistema de saúde, identificou-se uma escassez de instrumentos para avaliação de práticas semelhantes à Planificação. Assim, pretende-se apresentar a construção e a validação do instrumento para avaliação das oficinas de Planificação da APS, com vistas a contribuir para a sistemática avaliação de processos e para a elaboração de ferramentas que subsidiem a condução de mudanças nas práticas de atenção à saúde.

OBJETIVO

Descrever as etapas de construção e validação de conteúdo do instrumento de avaliação das oficinas de Planificação da Atenção Primária à Saúde.

MÉTODOS

Aspectos Éticos

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (CEP) da Universidade Federal de Ciências da Saúde de Porto Alegre (UFCSPA), atendendo aos preceitos éticos e legais que regem a Resolução n° 466/12, que trata de pesquisas envolvendo seres humanos⁽⁸⁾.

Desenho, período e local do estudo

Estudo metodológico, que visou à construção e validação de conteúdo de um instrumento para avaliação das oficinas de Planificação da APS. É uma estratégia que utiliza de maneira sistemática os conhecimentos existentes para a elaboração de um instrumento confiável, preciso e utilizável, que possa ser empregado por outros pesquisadores⁽⁹⁾. Para a validação de conteúdo, foi utilizada a Técnica Delphi, que consiste no julgamento do instrumento por especialistas com vasta experiência no assunto em questão, ao longo de rodadas, visando à averiguação de tendências sobre o objeto em estudo⁽¹⁰⁾.

O desenho utilizado foi estudo metodológico, com uso da Técnica Delphi e as etapas foram: construção, teste piloto, validação de conteúdo e avaliação do grau de concordância pelos especialistas. As duas rodadas Delphi foram realizadas entre dezembro de 2017 e março de 2018, a fim de se alcançar o consenso dos itens do instrumento.

População ou amostra; critérios de inclusão e exclusão

Foram selecionados, por conveniência, cinco profissionais para o teste piloto do instrumento, sendo dois representantes da gestão estadual, dois representantes de universidades e um representante da assistência da Atenção Primária. Já a população da pesquisa, foi composta por um grupo de especialistas, formado por profissionais da área da saúde com experiência na área de APS e/ou Planificação, de diferentes estados do Brasil e escolhidos por conveniência, após análise do Currículo Lattes. O comitê de especialistas esperado era de 14 pessoas, não sendo convidados os mesmos profissionais que realizaram o teste piloto.

Os critérios para a seleção dos participantes foram: ser profissional da área da saúde e ter experiência em APS e/ou Planificação; ser docente que produza conhecimento na área da APS ou RAS; ser profissional da gestão estadual e/ou municipal do SUS, da Atenção Primária e/ou Atenção Especializada ou ser servidor/consultor do CONASS e que aceitasse participar do estudo. Além disso, foi observado no Currículo Lattes a expertise (formação, experiência profissional, produção de conhecimento) na área solicitada e, se possível, titulação (especialização/mestrado/doutorado) nas áreas de APS, saúde coletiva, saúde pública ou gestão em saúde.

Protocolo do estudo

Para a construção da primeira versão do instrumento, foram considerados os documentos disponibilizados pelo CONASS, como as cartilhas das oficinas e a experiência das pesquisadoras. Foram formulados 43 itens, de acordo com a inter-relação estrutura, processo e resultado, proposta por Donabedian (1988) para avaliação em saúde⁽¹¹⁾. Em relação à pontuação dos itens do instrumento, foi utilizada uma escala tipo Likert de cinco posições sendo utilizado: “ótimo” (5), “bom” (4), “regular” (3), “ruim” (2) e “péssimo” (1) para as questões em geral e “muito satisfeito” (5), “satisfeito” (4), “indiferente” (3), “insatisfeito” (2) e “muito insatisfeito” (1) para as questões que avaliavam grau de satisfação.

Após a construção do instrumento, um formulário autoaplicável, individual e em formato eletrônico foi enviado para cinco profissionais para o teste piloto. Esse teve como finalidade observar a pertinência dos itens, a compreensão do instrumento e a viabilidade do formulário eletrônico. Nessa etapa, não foi utilizada a metodologia da Técnica Delphi. Três profissionais responderam, sendo dois da gestão estadual e um da assistência em APS. Dois representantes das universidades não retornaram ao convite para o teste piloto. Quanto aos itens, não foram realizadas sugestões para inclusões e 35 itens (81%) foram reestruturados quanto à forma e/ou a pontuação da escala Likert (> 90% com opinião a favor da modificação). Um item (2%) teve sua escrita totalmente reelaborada e um item (2%) foi excluído após ser unificado com outro. O instrumento totalizou 42 itens para a fase de validação de conteúdo.

Após o teste piloto, o instrumento foi submetido aos especialistas selecionados através de e-mail, juntamente com o link do formulário eletrônico para a validação de conteúdo. O formulário autoaplicável, individual e sem identificação nominal dos participantes foi disponibilizado por meio da ferramenta Google Forms, a fim de julgarem seu conteúdo. O formulário possuía, em sua primeira seção, o Termo de Consentimento Livre e Esclarecido para anuência da pesquisa e esclarecimentos em relação aos aspectos éticos e metodológicos, sendo uma condição essencial para o preenchimento do questionário.

Os especialistas receberam instruções específicas sobre a validação de conteúdo, nas quais foram orientados a avaliar o instrumento em dois estágios distintos, com base nos modelos de Coluci et al (2015)⁽¹²⁾. Na primeira rodada, os especialistas avaliaram cada um dos blocos e dos itens do instrumento determinando a abrangência, ou seja, se cada bloco foi adequadamente representado pelo conjunto de itens e se todas as dimensões foram incluídas. Também. verificaram se o conteúdo era apropriado, se a estrutura era adequada e se o conteúdo era representativo⁽¹²⁾. Somente nesta rodada foi possível sugerir inclusão e/ou eliminação de itens, além dos comentários e sugestões.

Na segunda rodada, os especialistas avaliaram cada item individualmente, além do formato, título e escores do instrumento, considerando a clareza e/ou pertinência de cada aspecto. Com relação à clareza, avaliaram a redação dos itens, se eram compreensíveis e expressavam adequadamente o que se espera medir. Quanto à pertinência ou representatividade, verificaram se os itens realmente refletiam os conceitos envolvidos, se eram relevantes e adequados para atingir os objetivos propostos⁽¹²⁾.

Análise dos resultados e estatística

Na primeira rodada, o grau de concordância foi verificado por meio da taxa de concordância, sendo utilizada a fórmula: % concordância = número de participantes que concordaram x 100/número total de participantes. Foram considerados validados os itens com taxa de concordância de 90% entre os especialistas⁽¹³⁾. Os itens com concordância abaixo desse percentual foram reelaborados ou reescritos, de acordo com a avaliação, originando a segunda versão do instrumento.

Na segunda rodada, o grau de concordância foi verificado por meio do Índice de Validade de Conteúdo (IVC), que mede a proporção de especialistas em concordância em relação aos itens e aos aspectos gerais do instrumento, de forma quantitativa. O IVC de cada item, cada bloco e instrumento foi calculado a partir de uma escala tipo Likert de quatro posições. Para avaliar a relevância/representatividade do item, os especialistas poderiam escolher entre: 1 = não relevante ou não representativo, 2 = item necessita de grande revisão para ser representativo, 3 = item necessita de pequena revisão para ser representativo ou 4 = item relevante ou representativo. A abrangência, a clareza e a pertinência foram avaliadas com o mesmo tipo de escala: 1 = não claro, 2 = pouco claro, 3 = bastante claro, 4 = muito claro. O cálculo foi realizado a partir do somatório das respostas “3” e “4” de cada especialista em cada um dos itens e dividido pelo número total de respostas. A fórmula utilizada foi: IVC = número de respostas “3” ou “4”/número total de respostas. Os itens com pontuação “1” ou “2” foram revistos ou eliminados. Os itens que obtiveram IVC acima de 0,78 foram considerados validados⁽¹⁴⁾.

RESULTADOS

Na primeira rodada, seis especialistas responderam ao formulário, a maioria eram mulheres (66,7%), com faixa etária predominante de 30 a 39 anos de idade (50%). A maioria possuía 5 a 9 anos de formação (50%). A categoria profissional que mais apareceu foi psicologia (33,3%). Dos participantes, a maioria possuía especialização (50%) na área da saúde e era gestor estadual/municipal (33,3%) e/ou docente (33,3%). A maioria (83,3%) referiu experiência com Planificação da Atenção à Saúde. Nessa rodada, não foram realizadas sugestões para inclusões de novos itens, entretanto 25 itens (59,5%) foram mantidos conforme a primeira versão, seis itens (14,3%) foram reestruturados quanto à escrita e 11 itens (26,2%) foram totalmente reescritos quanto à forma e/ou a pontuação da escala Likert. O instrumento apresentou quanto à clareza, uma taxa de concordância de 87% entre os itens (<90%). Quanto à representatividade, a taxa de concordância foi de 94% entre os itens (>90%).

Na segunda rodada, cinco especialistas responderam ao formulário, a maioria dos participantes também eram mulheres (80%), com faixas etárias predominantes de 30 a 39 anos (40%) e 40 a 49 anos (40%). A maioria possuía tempo de formação de 10 a 19 anos (60%). A categoria profissional predominante foi enfermagem (40%). Dos participantes, a maioria possuía doutorado (60%) e era docente (60%). A maioria (60%) referiu experiência com Planificação da Atenção à Saúde. Nessa rodada, não foram realizadas sugestões para inclusões ou exclusões de itens, sendo mantidos todos os 42. Desses, 40 itens (95,2%) foram mantidos conforme a segunda versão e dois (4,8%) foram reestruturados quanto à escrita. Além disso, dois itens foram realocados para outro bloco. O instrumento alcançou IVC 0,95 para clareza e 0,97 para representatividade. Isso resultou em um IVC total do instrumento de 0,96 (>0,78), caracterizando a validação do seu conteúdo.

Quanto ao título, o IVC atingido foi 0,80, já com relação ao formato (layout) e escores do instrumento, o IVC foi 1,00 para ambos. A Tabela 1 apresenta detalhadamente o grau de concordância em relação à clareza e à representatividade dos itens, dos blocos e do instrumento em geral, relativos às duas rodadas da Técnica Delphi para validação de conteúdo.

Tabela 1
Concordância das rodadas da Técnica Delphi para validação de conteúdo, Taxa de concordância (%) e Índice de Validade de Conteúdo (IVC), Porto Alegre, Rio Grande do Sul, Brasil, 2018

Concordância	Primeira rodada - Taxa Concordância (%)		Segunda rodada - Índice de Validade de Conteúdo (IVC)
Item	Clareza	Representatividade	Clareza	Representatividade
Itens do bloco 1 - Estrutura
1.1	100	83,3	1,00	1,00
1.2	100	100	1,00	1,00
1.3	100	100	1,00	1,00
1.4	83,3	100	1,00	1,00
1.5	100	100	1,00	1,00
1.6	83,3	100	1,00	1,00
1.7	100	100	0,80	1,00
1.8	100	83,3	1,00	1,00
1.9	100	100	1,00	1,00
Itens do bloco 2 - Conteúdo
2.1	100	100	1,00	1,00
2.2	100	83,3	1,00	1,00
2.3	33,3	83,3	1,00	1,00
2.4	33,3	83,3	1,00	1,00
2.5	83,3	100	1,00	1,00
Oficina I
2.6	100	100	1,00	1,00
2.7	50	100	1,00	1,00
2.8	100	83,3	1,00	1,00
Oficina II
2.9	100	100	1,00	1,00
2.10	50	100	1,00	1,00
2.11	100	83,3	1,00	1,00
Oficina III
2.12	100	100	1,00	1,00
2.13	50	100	1,00	1,00
2.14	100	83,3	1,00	1,00
Oficina IV
2.15	100	100	1,00	1,00
2.16	100	100	1,00	1,00
2.17	100	100	1,00	1,00
2.18	50	100	1,00	1,00
2.19	100	83,3	1,00	1,00
Oficina V
2.20	100	100	1,00	1,00
2.21	100	100	1,00	1,00
2.22	50	100	1,00	1,00
2.23	100	83,3	1,00	1,00
Oficina VI
2.24	100	100	1,00	1,00
2.25	50	100	1,00	1,00
2.26	100	83,3	1,00	1,00
Itens do bloco 3 - Aplicabilidade
3.1	83,3	66,6	1,00	1,00
3.2	83,3	100	1,00	1,00
3.3	83,3	100	1,00	1,00
3.4	100	100	0,80	0,80
3.5	100	83,3	1,00	1,00
3.6	100	100	1,00	1,00
3.7	100	100	1,00	1,00
Abrangência dos Blocos	Abrangência	Item permanece no bloco?	Abrangência	Item removido ou inserido?
1 Estrutura	100	100	1,00	Não
2 Conteúdo	83,3	100	1,00	Não
3Aplicabilidade	83,3	100	1,00	Não
Abrangência do instrumento			1,00	Não
Instrumento	Clareza		Representatividade
Título	0,80		-
Formato (layout)	1,00		-
Classificação do escore	1,00		1,00
Concordância final	Taxa de concordância (%)		Índice de Validade de Conteúdo (IVC)
Total dos blocos	Clareza	Representatividade	Clareza	Representatividade
	87	94	0,95	0,97
IVC total do instrumento			0,96

Mediante os resultados obtidos, o processo de validação de conteúdo foi finalizado, dando origem à terceira versão do instrumento, considerada a versão final validada (Quadro 1).

Quadro 1
Instrumento de Avaliação da Planificação da Atenção Primária à Saúde, Porto Alegre, Rio Grande do Sul, Brasil, 2018

INSTRUMENTO DE AVALIAÇÃO DAS OFICINAS DE PLANIFICAÇÃO DA ATENÇÃO PRIMÁRIA À SAÚDE
Município Categoria profissional: Local de atuação:
BLOCO 1. ESTRUTURA
1.1 Qual a sua satisfação geral com relação a estrutura das Oficinas de Planificação da APS? ( ) Muito satisfeito ( ) Satisfeito ( ) Indiferente ( ) Insatisfeito ( ) Muito Insatisfeito
1.2 Como você avalia a organização/logística das oficinas de Planificação da APS (local de realização, salas, programação, pontualidade)? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.3 Como você avalia o material didático utilizado nas seis oficinas de Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.4 Como você avalia as atividades adotadas durante as seis oficinas de Planificação da APS (leituras individuais e em grupos, trabalhos/dinâmicas em grupo, exposições dialogadas, vídeos ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.5 Como você avalia a carga-horária e a quantidade de dias das oficinas de Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo Por quê? _________
1.6 Como você avalia a quantidade de oficinas realizadas (seis)? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.7 Como você avalia as tarefas de dispersão quanto à facilidade e operacionalidade dos conteúdos das Oficinas na prática profissional? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.8 Como você avalia o desempenho do grupo de facilitadores quanto a mediação, dinâmica e ética nas oficinas de Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.9 Na sua opinião, alguns temas poderiam ser abordados através de ensino à distância? ( ) Sim ( ) Não ( ) Quais? ____________
1.10 Como você avalia a participação dos GESTORES (como os Secretários de Saúde) do seu município nas Oficinas da Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
1.11 Como você avalia a participação dos demais PROFISSIONAIS DE SAÚDE do seu município nas Oficinas de Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
BLOCO 2. CONTEÚDO
2.1 Qual o seu grau de satisfação em relação ao conteúdo das oficinas de Planificação da APS? ( ) Muito satisfeito ( ) Satisfeito ( ) Indiferente ( ) Insatisfeito ( ) Muito Insatisfeito
2.2 Você considera que sua compreensão acerca dos objetivos de cada uma das oficinas foi: ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.3 Classifique, em ordem de importância, os assuntos de cada OFICINA de Planificação, utilizando uma escala de 1 a 6, sendo 1 para o que MENOS contribuiu e 6 para o que MAIS contribuiu para a mudança e/ou qualificação do seu processo de trabalho e de sua equipe: ( ) Oficina I - Redes de Atenção à Saúde ( ) Oficina II - Atenção Primária à Saúde ( ) Oficina III - Territorialização e Vigilância em Saúde ( ) Oficina IV - Organização da atenção aos eventos agudos e às condições crônicas na Atenção Primária à Saúde ( ) Oficina V - Assistência Farmacêutica e Apoio Diagnóstico ( ) Oficina VI - Monitoramento e Avaliação na Atenção Primária à Saúde
2.4 Classifique, em ordem de importância, as atividades de DISPERSÃO de cada Oficina de Planificação, utilizando uma escala de 1 a 6, sendo 1 para a que MENOS contribuiu e 6 para a que MAIS contribuiu para a mudança e/ou qualificação do seu processo de trabalho e de sua equipe: ( ) Oficina I - Redes de Atenção à Saúde ( ) Oficina II - Atenção Primária à Saúde ( ) Oficina III - Territorialização e Vigilância em Saúde ( ) Oficina IV - Organização da atenção aos eventos agudos e às condições crônicas na Atenção Primária à Saúde ( ) Oficina V - Assistência Farmacêutica e Apoio Diagnóstico ( ) Oficina VI - Monitoramento e Avaliação na Atenção Primária à Saúde
2.5 Dos assuntos abordados nas seis Oficinas, você acha que algum poderia ser suprimido? Qual? ( ) Redes de Atenção à Saúde ( ) Atenção Primária à Saúde ( ) Territorialização e Vigilância em Saúde ( ) Organização da atenção aos eventos agudos e às condições crônicas na Atenção Primária à Saúde ( ) Assistência Farmacêutica e Apoio Diagnóstico ( ) Monitoramento e Avaliação na Atenção Primária à Saúde ( ) Todos os itens precisam ser abordados Por qual motivo você considera que o assunto poderia ser suprimido? ______________
Oficina I - Redes de Atenção à Saúde
2.6 Como você avalia a sua compreensão sobre o funcionamento do sistema de saúde em Redes de Atenção após a conclusão da Oficina I de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.7 Classifique, em ordem de importância, cada assunto abordado na Oficina I (Redes de Atenção à Saúde), utilizando uma escala de 1 a 6, sendo 1 para o que MENOS contribuiu e 6 para o que MAIS contribuiu para o seu aprendizado: ( )Razões da crise contemporânea dos sistemas de atenção à saúde ( ) Mudanças na situação de saúde no país ( ) Formas de estruturação dos sistemas de atenção à saúde ( ) Fundamentos das Redes de Atenção à Saúde ( ) Estrutura operacional das Redes de Atenção à Saúde ( ) Modelagem das Redes de Atenção à Saúde
2.8 Como você avalia a aplicabilidade dos assuntos abordados na oficina I em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
Oficina II - Atenção Primária à Saúde
2.9 Como você avalia a sua compreensão sobre o acesso na Atenção Primária à Saúde, a partir da situação de saúde no município após a conclusão da oficina II de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.10 Classifique, em ordem de importância, cada assunto abordado na Oficina II (Atenção Primária à Saúde), utilizando uma escala de 1 a 5, sendo 1 para o que MENOS contribuiu e 5 para o que MAIS contribuiu para o seu aprendizado: ( ) Conceito e elementos constituintes da Atenção Primária à Saúde ( ) A crise da Atenção Primária à Saúde no plano micro da clínica ( ) Principais demandas da Atenção Primária à Saúde ( ) Proposta de construção social da Atenção Primária à Saúde ( ) Principais fundamentos para a organização do acesso na Atenção Primária à Saúde.
2.11 Como você avalia a aplicabilidade dos assuntos abordados na oficina II em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
Oficina III - Territorialização e Vigilância em Saúde
2.12 Como você avalia a sua compreensão sobre a integração da Atenção Primária com a Vigilância no território após a conclusão da oficina III de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.13 Classifique, em ordem de importância, cada assunto abordado na Oficina III (Territorialização e Vigilância em Saúde), utilizando uma escala de 1 a 4, sendo 1 para o que MENOS contribuiu e 4 para o que MAIS contribuiu para o seu aprendizado: ( ) Conceito de território e territorialização, bem como sua aplicabilidade no planejamento em saúde ( ) Conceitos de risco e vulnerabilidade nos territórios adscritos às equipes ( ) Ferramentas de análise situacional para planejamento, monitoramento e avaliação das ações ( ) Relações entre a Vigilância em Saúde e a Atenção Primária à Saúde com foco no território
2.14 Como você avalia a aplicabilidade dos assuntos abordados na oficina III em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
Oficina IV - Organização da atenção aos eventos agudos e às condições crônicas na Atenção Primária à Saúde
2.15 Como você avalia a sua compreensão sobre a organização da atenção aos eventos agudos e condições crônicas no seu processo de trabalho na Atenção Primária após a conclusão da oficina IV de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.16 Como você avalia a sua qualificação em relação à organização da atenção aos eventos agudos (acolhimento com classificação de risco) na Unidade Básica de Saúde após a conclusão das oficinas de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.17 Como você avalia a sua qualificação em relação à organização da atenção às condições crônicas (demanda programada e estratificação de risco) na Unidade Básica de Saúde após a conclusão das oficinas de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.18 Classifique, em ordem de importância, cada assunto abordado na Oficina IV (Organização da atenção aos eventos agudos e às condições crônicas na Atenção Primária à Saúde), utilizando uma escala de 1 a 5, sendo 1 para o que MENOS contribuiu e 5 para o que MAIS contribuiu para o seu aprendizado: ( ) Organização atual da APS para atendimento aos eventos agudos e condições crônicas ( ) Modelo de Atenção aos Eventos Agudos ( ) Modelo de Atenção às Condições Crônicas (MACC) proposto para o Sistema Único de Saúde ( ) Organização da atenção aos eventos agudos na APS (acolhimento, classificação de risco) ( ) Organização da atenção às condições crônicas na APS (estratificação de risco, programação, agenda)
2.19 Como você avalia a aplicabilidade dos assuntos abordados na oficina IV em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
Oficina V - Assistência Farmacêutica e Apoio Diagnóstico
2.20 Como você avalia a sua compreensão sobre a organização e integração da assistência farmacêutica na Atenção Primária após a conclusão da oficina V de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.21 Como você avalia a sua compreensão sobre o Sistema de Apoio Diagnóstico da RAS apresentado na Oficina V? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.22 Classifique, em ordem de importância, cada assunto abordado na Oficina V (Assistência Farmacêutica e Apoio Diagnóstico), utilizando uma escala de 1 a 4, sendo 1 para o que MENOS contribuiu e 4 para o que MAIS contribuiu para o seu aprendizado: ( ) Importância da assistência farmacêutica enquanto sistema de apoio das Redes de Atenção à Saúde ( ) O papel da APS na Assistência Farmacêutica, em especial na execução das etapas do ciclo logístico ( ) Estratégias para implementação do cuidado farmacêutico na Atenção Primária à Saúde ( ) Os sistemas de apoio nas Redes de Atenção à Saúde
2.23 Como você avalia a aplicabilidade dos assuntos abordados na oficina V em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
Oficina VI - Monitoramento e Avaliação na Atenção Primária à Saúde
2.24 Como você avalia a sua compreensão sobre o monitoramento e avaliação para a melhoria das ações e dos serviços da Atenção Primária à Saúde após a conclusão da oficina VI de Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
2.25 Classifique, em ordem de importância, cada assunto abordado na Oficina VI (Monitoramento e Avaliação na Atenção Primária à Saúde), utilizando uma escala de 1 a 5, sendo 1 para o que MENOS contribuiu e 5 para o que MAIS contribuiu para o seu aprendizado: ( )Fundamentos do monitoramento e avaliação ( ) Importância do monitoramento e avaliação das ações de saúde na Atenção Primária ( ) Indicadores e metas relacionadas às condições crônicas na Atenção Primária à Saúde ( ) Matriz para o monitoramento das metas pactuadas na Atenção Primária à Saúde ( ) Plano para operacionalização das metas pactuadas
2.26 Como você avalia a aplicabilidade dos assuntos abordados na oficina VI em seu processo de trabalho? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
BLOCO 3. APLICABILIDADE
3.1 Como você avalia a contribuição das Oficinas de Planificação da APS para a SUA qualificação profissional? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
3.2 Após a conclusão das oficinas de Planificação, como você avalia o alcance do objetivo geral da Planificação? Objetivo geral: "Apoiar a indução da organização da Atenção Primária à Saúde (APS), disponibilizando ferramentas e estratégias de programação e organização do processo de trabalho das equipes, bem como a integração entre os diversos pontos e níveis de atenção". ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
3.3 Qual o seu grau de satisfação com relação a qualificação do processo de trabalho da SUA EQUIPE ao final do processo de Planificação? ( ) Muito satisfeito ( ) Satisfeito ( ) Indiferente ( ) Insatisfeito ( ) Muito Insatisfeito
3.4 Como você avalia a SUA capacidade de colocar em prática os assuntos abordados durante o processo de Planificação da APS? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo
3.5 Como você avalia a capacidade de SUA EQUIPE em elaborar um plano de intervenção da APS, após as atividades de dispersão da Planificação? ( ) Ótimo ( ) Bom ( ) Regular ( ) Ruim ( ) Péssimo

DISCUSSÃO

Analisando o instrumento de avaliação com relação à estrutura, correspondente ao Bloco 1 com nove itens, quatro apresentaram concordância abaixo do esperado (<90%). Foram observadas dificuldades nas interpretações relacionadas à redação dos itens, assim, os mesmos foram reescritos, a fim de se proporcionar melhor clareza e compreensão aos respondentes. De acordo com a literatura, o critério “clareza” deve ser inteligível para todos os estratos da população-alvo, porque a compreensão das frases é mais importante do que a elegância artística das mesmas⁽¹⁵⁾.

Na última rodada, todos os nove itens relacionados foram validados acima da concordância esperada (IVC >0,78). A literatura aponta a necessidade de valorizar os componentes de estrutura na avaliação dos serviços de saúde e discutir sua relação com a qualidade dos processos de trabalho e com o alcance dos resultados, no que tange à saúde da população. Achados reiteram a necessidade de investimentos na dimensão estrutura voltados às necessidades dos profissionais que atuam nas equipes^(16-17).

Quanto ao conteúdo (processo), relativo ao Bloco 2 com 26 itens, 16 apresentaram concordância entre os especialistas abaixo do esperado (<90%). A maioria dos itens foi reescrito, a partir das sugestões dos especialistas que contribuíram qualitativamente para a redação dos mesmos, porém alguns itens foram mantidos devido à insuficiência de sugestões. Achado semelhante foi encontrado em outro estudo, no qual a dimensão processo foi a que obteve maior número de retificações⁽¹⁵⁾.

Chama atenção o fato de que todos os 26 itens relacionados ao conteúdo foram validados com 100% de concordância na última rodada (IVC 1,00), o que demonstra estabilidade na clareza e na representatividade dos mesmos. Em outro estudo de validação, alguns itens também apresentaram consenso total de relevância entre os participantes, com IVC máximo, possibilitando verificar credibilidade e transparência nesses itens do instrumento⁽¹⁸⁾.

A necessidade de avaliação acerca da compreensão dos conteúdos das oficinas de Planificação busca proporcionar mudanças no processo de atenção à saúde ofertada pelas equipes da APS. Com relação às oficinas, considerou-se relevante avaliar, a partir do instrumento proposto, o nível de compreensão, a capacitação profissional e a integração entre os membros da equipe, porque são estratégias que influenciam na assistência à saúde. Esforços devem ser realizados para melhorar a qualidade da atenção ofertada, a partir de processos de avaliação que permitam monitorar a capacidade dos serviços em responder às necessidades em saúde. É necessário ampliar a cobertura dos programas, motivar e capacitar os profissionais, incentivar o trabalho em equipe, organizar a comunicação entre os níveis de atenção e avaliar sistematicamente os resultados obtidos^(15,19).

Assim, o monitoramento e a avaliação na APS são relevantes para compreender os processos avaliativos como essenciais na orientação das práticas de saúde das equipes. A incorporação da avaliação na rotina das organizações de saúde pode ser realizada por meio de instrumentos que integrem o processo de planejamento e a gestão das políticas e programas. Há um longo percurso até a institucionalização da avaliação, resultado de um trabalho conjunto das instâncias e de conquista de espaço político para a autonomia dos recursos necessários e fortalecimento da capacidade avaliativa^(20-22).

Por fim, com relação à Aplicabilidade operacional da Planificação (resultado), relativo ao Bloco 3 com sete itens, quatro apresentaram concordância entre os especialistas abaixo do esperado (<90%), sendo reestruturados conforme sugestões. Na última rodada, todos os sete itens relacionados à aplicabilidade foram validados acima da concordância esperada (IVC >0,78). A apreciação da dimensão resultado consiste em verificar se os mesmos correspondem ao esperado, isto é, aos objetivos que a intervenção se propôs a atingir, que podem influenciar na tomada de decisão de gestores e equipes⁽²³⁾.

Os itens do bloco aplicabilidade relacionaram questões que abordam a capacidade de colocar em prática o que foi apreendido. Um instrumento deve se tornar dinâmico a partir do monitoramento e avaliação dos resultados obtidos e da necessidade do serviço, bem como para compor outros indicadores. Avaliar o grau de integração das RAS possibilita avaliar também a capacidade da Atenção Primária, visando subsidiar novas estratégias quanto à estruturação e organização do sistema⁽²⁰⁾. Considera-se, assim, que a avaliação dos serviços de saúde a partir de instrumentos atua para a construção de uma nova perspectiva do cuidado, pois um julgamento válido sobre os resultados de uma intervenção auxiliam no cotidiano dos serviços de saúde e da gestão^(18,23).

Portanto, o estudo fornece informações sobre a construção, validação, representatividade e clareza do instrumento proposto, a partir da colaboração dos especialistas da área. Dessa forma, a versão final do instrumento permite o conhecimento da realidade local, visando subsidiar a avaliação dos processos de atenção à saúde, assim como servir de base para avaliar futuras intervenções.

Limitações do estudo

Como limitação do estudo, cita-se o universo amostral dos participantes, tendo em vista a recusa de alguns especialistas selecionados, a morosidade para o retorno do material enviado e a perda de participantes entre as rodadas.

Contribuições para a área da enfermagem, saúde ou política pública

A construção e a validação do instrumento buscam contribuir para a avaliação do processo de Planificação da Atenção Primária à Saúde e para a utilização de instrumentos como ferramentas condutoras de mudanças na atenção à saúde. Mesmo que o instrumento final tenha sido avaliado por juízes de variadas categoriais profissionais com expertise na temática, por se tratar de uma ferramenta que avalia estrutura, processo e resultados na perspectiva das RAS, pode ser aplicado por enfermeiros para mensurar o efeito das oficinas de Planificação na formação e no processo de trabalho. No que se refere à avaliação em saúde na APS, a institucionalização dessa prática pode subsidiar gestores nas tomadas de decisão, equipes no planejamento da assistência à saúde e o monitoramento constante de resultados. A metodologia aplicada no estudo empregou parâmetros que demonstraram a validade de conteúdo do instrumento, podendo ser replicada em outros estudos e iniciativas semelhantes.

CONCLUSÃO

A avaliação crítica realizada pelo comitê de especialistas nas duas rodadas de validação de conteúdo permitiu o aprimoramento do instrumento para avaliação das oficinas de Planificação da APS construído, com questões reformuladas para maior adequação ao seu público-alvo. A utilização da Técnica Delphi, associada às metodologias de verificação do grau de consenso, foi bastante efetiva para estabelecer consenso nas rodadas e as prioridades na abordagem das oficinas.

Ainda, observaram-se outras vantagens da Técnica Delphi, como anonimato entre os participantes, proporcionando igualdade de condições de participação aos mesmos, aplicação do formulário em pessoas distantes e a qualidade da composição do comitê de especialistas. Apesar de as plataformas eletrônicas possuírem boa aceitação pelos participantes dos estudos, foi observado alguns desafios, como dificuldade na captação e adesão dos especialistas e perda de participantes entre as rodadas. Tais desafios não afetaram a validade ou a qualidade do estudo.

Os resultados contribuem para a ampliação do conhecimento na temática e para salientar a relevância dos processos de avaliação em saúde, por meio da utilização de instrumentos que mensurem o desempenho das práticas. O instrumento construído possui validade de conteúdo para avaliar as oficinas de Planificação da Atenção Primária à Saúde, se constituindo uma ferramenta para ser utilizada principalmente pelas gestões estadual e municipal.

REFERENCES

• ¹
  Almeida PF, Medina MG, Fausto MCR, Giovanella L, Bousquat A, Mendonça MHM. Coordenação do cuidado e Atenção Primária à Saúde no Sistema Único de Saúde. Saúde Debate. 2018;42(spe1):244-260. doi: 10.1590/0103-11042018s116
  » https://doi.org/10.1590/0103-11042018s116
• ²
  Facchini LA, Garcia LP. Evolução e avanços da Saúde da Família e os 20 anos do Sistema Único de Saúde no Brasil. In: Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. Saúde Brasil 2008: 20 anos de Sistema Único de Saúde (SUS) no Brasil [Internet]. Brasília: Ministério da Saúde; 2009 [cited 2018 Mar 22]. 416 p. Available from: http://bvsms.saude.gov.br/bvs/publicacoes/saude_brasil_2008.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/saude_brasil_2008.pdf
• ³
  Starfield B. Atenção primária: equilíbrio entre necessidade de saúde, serviços e tecnologia [Internet]. Brasília: UNESCO, Ministério da Saúde; 2002 [cited 2018 Mar 22]. 726p. Available from: http://bvsms.saude.gov.br/bvs/publicacoes/atencao_primaria_p1.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/atencao_primaria_p1.pdf
• ⁴
  Saltman RB, Rico A, Boerma WGW, editors. Atenção Primária conduzindo as redes de atenção à saúde: reforma organizacional na atenção primária europeia [Internet]. Berkshire: Open University Press/McGraw-Hill Education; 2006 [cited 2018 Mar 22]. 342p. Available from: http://bvsms.saude.gov.br/bvs/publicacoes/atencao_primaria_conduzindo_redes.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/atencao_primaria_conduzindo_redes.pdf
• ⁵
  Evangelista MJO, Guimarães AMDAN, Dourado EMR, Vale FLB, Lins MZS, Matos MAB, et al. O Planejamento e a construção das Redes de Atenção à Saúde no DF, Brasil. Ciênc Saúde Colet. 2019; 24(suppl 6):2115-24. doi: 10.1590/1413-81232018246.08882019
  » https://doi.org/10.1590/1413-81232018246.08882019
• ⁶
  Conselho Nacional de Secretários de Saúde (BR). Planificação da Atenção Primária à Saúde nos Estados [Internet]. Brasília: CONASS; 2011 [cited 2018 Mar 22]. 436 p. Available from: https://www.conass.org.br/conassdocumenta/cd_23.pdf
  » https://www.conass.org.br/conassdocumenta/cd_23.pdf
• ⁷
  Novaes HMD, Soárez PC. Health technology assessment (HTA) organizations: dimensions of the institutional and political framework. Cad Saúde Pública. 2016;32(suppl-2):e00022315. doi: 10.1590/0102-311X00022315
  » https://doi.org/10.1590/0102-311X00022315
• ⁸
  Conselho Nacional de Saúde (BR). Resolução Nº466, de 12 de dezembro de 2012. Diretrizes e Normas Regulamentadoras de Pesquisas Envolvendo Seres Humanos. Diário Oficial União: República Federativa do Brasil; 2013. Jun 13, Seção 71: p.59.
• ⁹
  Polit DF, Beck CT. Fundamentos de Pesquisa em enfermagem: avaliação de evidências para as práticas da enfermagem. Porto Alegre (RS): Artmed; 2018. 864 p.
• ¹⁰
  Revorêdo LS, Maia RS, Torres GV, Maia EMC. O uso da técnica delphi em saúde: uma revisão integrativa de estudos brasileiros. Arq Ciênc Saúde. 2015;22(suppl-2):16-21. doi: 10.17696/2318-3691.22.2.2015.136
  » https://doi.org/10.17696/2318-3691.22.2.2015.136
• ¹¹
  Donabedian A. Assessment of technology and quality: A Comparative Study of Certainties and Ambiguities. Int J Technol Assess Health Care. 1988;4(suppl-4):487-96. doi: 10.1017/S0266462300007571
  » https://doi.org/10.1017/S0266462300007571
• ¹²
  Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc Saúde Colet. 2015; 20(suppl 3):925-36. doi: 10.1590/1413-81232015203.04332013
  » https://doi.org/10.1590/1413-81232015203.04332013
• ¹³
  Hulley SB. Delineando a pesquisa clínica. Porto Alegre: Artmed; 2015. 400 p.
• ¹⁴
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(suppl7):3061-8. doi: 10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• ¹⁵
  Bellucci JJA, Matsuda LM. Construction and validation of an instrument to assess the Reception with Risk Rating. Rev Bras Enferm. 2012;65(suppl5):751-7. doi: 10.1590/S0034-71672012000500006
  » https://doi.org/10.1590/S0034-71672012000500006
• ¹⁶
  Poças KC, Freitas LRS, Duarte EC. Census of the Primary Health Care structure in Brazil (2012): potential coverage estimates. Epidemiol Serv Saúde. 2017;26(suppl2):275-84. doi: 10.5123/S1679-49742017000200005
  » https://doi.org/10.5123/S1679-49742017000200005
• ¹⁷
  Moura BLA, Cunha RC, Fonseca ACF, Aquino R, Medina MG, Vilasbôas ALQ, et al. Atenção primária à saúde: estrutura das unidades como componente da atenção à saúde. Rev Bras Saúde Matern. Infant. 2010;10(suppl1):s69-s81. doi: 10.1590/S1519-38292010000500007
  » https://doi.org/10.1590/S1519-38292010000500007
• ¹⁸
  Cubas MR, Faoro NT, Moysés ST, Carvalho DR. Evaluation of Primary Health Care: validation of an instrument to analyze the performance of services. Saúde Debate. 2017;41(suppl113):471-85. doi: 10.1590/0103-1104201711310
  » https://doi.org/10.1590/0103-1104201711310
• ¹⁹
  Ferreira SRS, Périco LAD, Dias VRGF. The complexity of the work of nurses in Primary Health Care. Rev Bras Enferm. 2018; 71(suppl 1):704-9. doi: 10.1590/0034-7167-2017-0471
  » https://doi.org/10.1590/0034-7167-2017-0471
• ²⁰
  Mendes EV. As Redes de Atenção à Saúde [Internet]. Brasília: Organização Pan-Americana da Saúde; 2011 [cited 2018 Mar 22]. 549 p. Available from: http://bvsms.saude.gov.br/bvs/publicacoes/redes_de_atencao_saude.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/redes_de_atencao_saude.pdf
• ²¹
  Souza GS, Costa EA, Barros RD, Pereira MT, Barreto JL, Guerra JAA, et al. Characterization of the institutionalization of pharmaceutical services in Brazilian primary health care. Rev Saúde Pública. 2017;51(suppl2):7s. doi: 10.11606/s1518-8787.2017051007135
  » https://doi.org/10.11606/s1518-8787.2017051007135
• ²²
  Nickel DA, Natal S, Hartz ZMA, Calvo MCM. O uso de uma avaliação por gestores da atenção primária em saúde: um estudo de caso no Sul do Brasil. Cad Saúde Pública. 2014; 30(suppl 12):2619-30. doi: 10.1590/0102-311x00022314
  » https://doi.org/10.1590/0102-311x00022314
• ²³
  Hartz ZMA (org.) Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas [Internet]. Rio de Janeiro: Fiocruz; 1997 [cited 2018 Mar 22]. 132 p. doi: 10.7476/9788575414033
  » https://doi.org/10.7476/9788575414033

Editado por

EDITOR CHEFE: Dulce Barbosa

EDITOR ASSOCIADO: Hugo Fernandes

Datas de Publicação

• Publicação nesta coleção
  07 Set 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  10 Jul 2019
• Aceito
  17 Abr 2020