O uso do Método Delphi ajustado para avaliar a Rede Cegonha: da Imagem-objetivo à Realidade

Resumo

Este estudo objetiva avaliar a Rede Cegonha (RC), um novo padrão de programa intergovernamental. O Método foi aplicado por meio do Método Delphi ajustado, com 13 especialistas. Constituiu-se em três momentos. Foi elaborado um Modelo Lógico (ML), com o propósito de mostrar o desenho das ações do programa e seus principais componentes. Por consenso, foi elaborada e validada a Matriz Delphi de Concordância com a proposta da Imagem-objetivo. Finalmente, essa Matriz foi utilizada como instrumento de avaliação do Grau de Implantação do programa. Os Resultados mostram que a RC está classificada em Nível Insatisfatório, na III Macrorregional de Saúde em Pernambuco, corroborando a irrelevância das iniciativas desenvolvidas para fortalecer o programa. Conclui-se que a aplicação desse Método Delphi se mostrou coerente com a complexidade do objeto, diante da carência de modelos específicos para essa finalidade, baseada em novas relações institucionais na regionalização do Sistema Único de Saúde (SUS). Este estudo mostrou suas implicações com a prática de enfermagem, na busca de soluções para segurança das pacientes na atenção à saúde maternoinfantil, apontando a imprescindibilidade desses profissionais para tornar a RC mais efetiva, sobretudo diante de uma população vulnerabilizada e desfavorecida, no interior do semiárido, num cenário político-econômico adverso.

Palavras-chave:
Saúde Pública; Saúde Maternoinfantil; Avaliação em Saúde; Política de Saúde

Abstract

This study aims to evaluate the Stork Network (SN), a new pattern of intergovernmental program. The method was applied through the adjusted Delphi Method, with 13 specialists. It was constituted in 3 moments. A Logical Model (LM) was elaborated, with the purpose of showing the design of the actions of the program and its main components. By consensus the Delphi Matrix of Concordance with the proposal of the Goal Image was elaborated and validated. Finally, this Matrix was used as an instrument to evaluate the degree of implementation of the program. The results show that SN is classified in the Unsatisfactory Level, in the III Macro-regional Health in Pernambuco, corroborating the irrelevance of initiatives developed to strengthen the program. It is concluded that the application of this Delphi Method was consistent with the complexity of the object, given the lack of specific models for this purpose based on new institutional relations in the regionalization of the Unified Health System (SUS, acronym in Portuguese). This study showed its implications for nursing practice in the search for solutions for patient safety in maternal and child health care, pointing out the indispensability of these professionals to make SN more effective, especially in the face of a vulnerable and disadvantaged population in the interior of the semi-arid region, in an adverse political-economic scenario.

Keywords:
Public Health; Maternal and Child Health; Health Evaluation; Health Policy

Resumen

Este Estudio objetiva evaluar la Rede Cegonha (RC), un nuevo estándar de programa intergubernamental. El Método fue aplicado a través del Método Delphi ajustado, con 13 especialistas. Constituyó en 3 momentos. Elaboró ​​un Modelo Lógico (ML), con el propósito de mostrar el diseño de las acciones del programa y sus principales componentes. Por consenso es elaborada y validada la Matriz Delphi de Concordancia con la propuesta de la Imagen-objetivo. Esta Matriz se utiliza como instrumento de evaluación del Grado de Implantación del programa. Los resultados muestran la RC clasificada en Nivel Insatisfactorio en la III Macrorregional de Salud en Pernambuco, corroborando la irrelevancia de las iniciativas desarrolladas para fortalecer el programa. Se concluye que la aplicación de este Método Delphi, se mostró coherente con la complejidad del objeto, ante la carencia de modelos específicos para esa finalidad basada en la regionalización del Sistema Único de Salud (SUS). Este estudio mostró sus implicaciones con la práctica de enfermería, pues buscó proporcionar soluciones, en el área de la Atención a la Salud Materno-infantil, apuntando la imprescindibilidad del enfermero como base para hacer la RC más efectiva, sobre todo ante una población vulnerada y desfavorecida, interior del semiárido, en un escenario político-económico adverso.

Palabras-claves:
Salud Pública; Salud Materno-infantil; Evaluación en Salud; Política de Salud

INTRODUÇÃO

No Brasil, desde 2000, diversas temáticas de preocupação da agenda de Saúde Pública têm merecido relevância, dentre elas à atenção à saúde maternoinfantil¹. Nesse contexto, em 2011, uma iniciativa política intergovenamental para enfrentar problemas de saúde desse segmento foi a implantação do Programa Rede Cegonha (RC) em todo o país², com padrão inovador, baseado em ações não verticalizadas para execução em rede de serviços públicos.

No Sistema Único de Saúde (SUS), esse programa foi articulado diante da necessidade de incremento de gastos públicos para a assistência ao segmento maternoinfantil, face ao quadro sanitário preocupante relacionado aos precários indicadores de morbimortalidade que atingiam essa população-alvo, associados especificamente ao pré-natal, parto e puerpério^1,2.

Resultado desse programa, houve melhoria do cenário com o incremento de recursos destinados a qualificar a atenção do binômio mãe-filho. No entanto, esse quadro voltou a demonstrar grandes vulnerabilidades relacionadas a esse grupo populacional^3,4, sobretudo com a crise institucional e o novo ciclo de políticas contracionistas no SUS^4,5.

Embora a taxa de Mortalidade Materna (MM) no país, em 2015, tenha apresentado uma redução de 56% em relação a 1990, num sinal de estabilização, a partir de 2017 essa taxa voltou a subir^6-8. A região Nordeste apresenta taxas mais elevadas de morbimortalidade materna e infantil em relação às demais regiões do país, levando à priorização de investimentos nessa região, no intuito de acelerar a redução dessas desigualdades².

Questão preocupante é que o programa RC foi implantado no país numa conjuntura que apresentava relativa convergência de propósitos políticos como prioridade nacional entre os gestores do SUS, o que permitiu focalizar nesse público-alvo as ações pactuadas, num cenário economicamente ainda favorável^9-12.

Entretanto, a conjuntura atual de mudanças de rumo na política de saúde do país resultou em menor capacidade de articulação do programa na agenda política dos gestores do SUS, levando à redução de gastos, reverberando na situação da RC com impacto negativo sobre o segmento maternoinfantil^3,4,6.

Fatores identificados a partir da implantação das ações e do enfrentamento devem ser objeto de avaliação rigorosa, em virtude da natureza dessa iniciativa intergovernamental, voltada para o compartilhamento de responsabilidades sanitárias, numa rede regional de serviços públicos de saúde^6,9. Destacam-se como fatores desafiadores aos modelos tradicionais de avaliação de programas verticais de saúde pública, quando executados, no processo de descentralização, por municípios isoladamente^10,11.

A implantação, em rede, de serviços regionais de saúde pressupõe a necessidade de melhorar a capacidade de governança regional para resolver problemas relacionados à fragmentação das ações e desarticulação da organização dos serviços. Esses fatores têm dificultado a melhoria dos indicadores^6,9-12, com impacto sobre as regiões mais pobres do país.

A iniciativa de desenvolver ações intergovernamentais para a saúde maternoinfantil, a partir de programas com essa característica, exige a elaboração de novas metodologias e técnicas de avaliação que priorizem abordar - com precisão e rigor - questões relacionadas à interdependência dos serviços, à articulação contínua dos cuidados à saúde, e ao compartilhamento de responsabilidades no processo de governança¹³, da rede responsável, para a tomada de decisão no planejamento e execução das ações no programa RC^14,15.

As novas atribuições delegadas aos Comitês Gestores e à mobilização regional em torno do programa - baseada nas prioridades pactuadas para implantação das ações, monitoramento e avaliação de estratégias¹³, com novos mecanismos e instrumentos-guia para a montagem de redes regionais integradas - são parte desse novo cenário complexo para desenvolver os programas de saúde pública no SUS, a partir do Decreto Federal n.º 7.508/11.

A institucionalização de Comissões Intergestoras Regionais (CIRs), voltadas a criar um canal ininterrupto de negociação e decisão entre os municípios e a autoridade sanitária estadual, dentro do contexto em que se aponta um “vácuo” de governança¹³, é desafiador para ciência. Essa situação carece de métodos de avaliação inovadores para compreender o processo de implantação das Redes de Atenção à Saúde (RAS)¹⁶. Dentre essas Redes Temáticas Prioritárias no SUS, destaca-se a Rede de Atenção à Saúde Maternoinfantil, na qual se insere o Programa RC.

Portanto, é oportuno realizar um julgamento da complexidade dessa iniciativa, pois seus resultados deveriam ser capazes de compelir alterações nas políticas públicas, relacionadas à RC, definidos pelo Minis tério da Saúde (MS), cuja responsabilidade é compartilhada no SUS^10,17,18.

Este trabalho objetiva avaliar a RC do novo padrão de programa intergovernamental implantado numa macrorregião de saúde no Nordeste do Brasil, mediante a aplicação do Método Delphi ajustado, que nos parece propício diante da escassez de modelos específicos que abordem esse objeto.

MÉTODO

O método deste estudo é baseado na construção do Modelo Lógico (ML)^19-22, como ferramenta para a representação sistemática e visual do programa, que mostra, de forma racional, a sequência de passos e relações que conduzem aos efeitos esperados^19,20, em que se explicita a teoria do programa²¹. O ML está apoiado na triangulação investigativa, com a associação de instrumentos de pesquisa qualitativos^23,24.

Esta pesquisa aplica o Método Delphi^25-27; que utiliza a seleção e participação de indivíduos “especialistas” de forma interativa, baseada em feedback e rodadas de respostas, conforme critérios definidos. Quanto ao primeiro momento Delphi, foi elaborado um ML para a RC, com os especialistas selecionados, cuja finalidade mostrar o desenho das ações do programa e seus principais componentes, proporcionando verificar se este está estruturado para alcançar o resultado desejado²². No segundo momento Delphi, baseado no ML, por meio de um consenso, foi elaborada e validada a Matriz Delphi de Concordância com a Proposta da Imagem-objetivo da RC. E, no terceiro momento Delphi, essa Matriz foi utilizada como instrumento de avaliação^24,28 do Grau de Implantação (GI) do programa, entre os especialistas, no âmbito macrorregional no SUS.

Esse método responde à necessidade da avaliação em rede de serviços regionais, baseada na opinião dos especialistas, e coerente com a complexidade do objeto não estruturado, pois pretende avaliar o processo de implantação e as relações institucionais no SUS em nível regional.

Este trabalho foi realizado entre os meses de abril de 2017 a agosto de 2018. O cenário de investigação foi a área da III Macrorregional de Saúde, em Pernambuco (PE), localizada na região do semiárido nordestino - que engloba as jurisdições de três Gerências Regionais (VI, X e XI Geres) -, composta por 35 municípios e uma população estimada em 830 mil habitantes²⁹.

A pesquisa documental foi baseada em publicações oficiais: do Ministério da Saúde -Portarias (Port.) MS n.º 1.459/11, n.º 650/11, n.º 2.351/11, n.º 3.161/11, n.º 3.242/11, n.º 77/12, n.º 1.226/12, n.º 1.020/13 -; Diário Oficial da União (DOU); Secretaria Estadual de Saúde (SES-PE); Comitê Gestor Pernambucano da Rede Cegonha (CGPRC); Câmara Técnica Permanente (CTP) das Gerências Regionais de Saúde do Estado; Conselho Nacional de Secretários de Saúde (CONASS); e Conselho de Secretários Municipais de Saúde (COSEMS).

O ML objetivou guiar o momento inicial Delphi da avaliação, para abordar a regionalização desse programa, que é um processo político-institucional que contempla o planejamento, a organização das redes e execução das ações de saúde intergovernamental na macrorregião. Esse instrumento tradicional é válido para o desenvolvimento de avaliação normativa de programas de saúde²⁸. Para subsidiar a elaboração do ML, adotaram-se como maiores problemas a Mortalidade Infantil (MI) e a Mortalidade Materna (MM), provenientes do elevado número de gravidezes indesejáveis, dificuldade de acesso das gestantes ao pré-natal de qualidade, e sua peregrinação no momento do parto. Nele foram especificados os objetivos finais, os resultados proximais e distais desse processo, de acordo com documentos revisados para a execução da ação (Figura 1).

Figura 1
Modelo Lógico da Rede Cegonha (RC) Fonte: Modelo Lógico elaborado e alicerçado pela Portaria MS n.º 1.459/11 Causa: (*) Mortalidade Materna e Infantil

No segundo momento Delphi, com base no ML, foi elaborada a Matriz Delphi de Concordância com a Proposta de Imagem-objetivo, para avaliação da Rede Cegonha, por especialistas em Nível Macrorregional (Quadro1), a partir dos referenciais teóricos e os principais aspectos relevantes. Essa Matriz foi construída a partir dos componentes da RC, que direcionam aos objetivos finais, conduzindo para os resultados finais esperados do programa.

Essa Matriz foi composta por dimensões³⁰, orientada pelos objetivos finais, e fundamentos³¹ - proximais e distais -, para fazer um julgamento dos componentes da estratégia da RC, mediante aferição pelo consenso e a utilização do Método Delphi^25-27.

Definiu-se pela adequação denominada Método Delphi Ajustado, que se baseia na inclusão de pelo menos uma Rodada de discussão presencial entre os especialistas^32-35, por meio da combinação e a aplicação da Técnica de Conferência de Consenso³⁶, para, em um terceiro momento Delphi, avaliar do Grau de Implantação (GI) da RC, na III Macrorregional de Saúde.

Os critérios metodológicos indicam que a quantidade de integrantes para a realização do Consenso Delphi é relativa; recomendam-se sete especialistas, no mínimo, levando-se em consideração que o erro de con senso diminui consideravelmente a cada especia lista adicionado³⁴. Em um Grupo Delphi, o mais importante é o equilíbrio das participações, em vez do tamanho, representado pela miríade de pontos de vista, expertises e interesses no contexto²⁵. Estudos apontam que entre 10 e 18 especialistas é o quantitativo mais adequado para desenvolver o Método^33-35. A experiência com esse Método sugere cautela ao convidar mais membros em relação ao previsto no cenário de indivíduos, pois podem ocorrem desistências^33,34.

A Matriz Delphi de Concordância (Quadro 1) foi submetida ao grupo selecionado de 13 especialistas (juízes) - dentre eles Gestores Regionais, Coordenadores Regionais da RC e Técnicos Representantes de Grupo Condutor da RC - GCRC, e da Câmara Técnica Permanente - CTP - e Gestores Municipais - dentre estes, três especialistas operam na academia de Enfermagem, a saber a Faculdade de Enfermagem de Arcoverde em Pernambuco - FENFA. A escolha dos especialistas teve a finalidade de buscar maior representatividade de setores da educação que atuam na saúde, em razão de sua produção intelectual, capacidade de gestão, e conhecimento das práticas relacionadas à saúde maternoinfantil.

Quadro 1
Matriz Delphi de Concordância com Proposta de Imagem-objetivo para avaliação da Rede Cegonha em Nível Macrorregional

Proposta de Imagem-objetivo para avaliação da Rede Cegonha em nível macrorregional
Nível de Gestão		Nível de Concordância
Dimensão (Objetivos Finais)	Fundamentos	Pontuação Proposta
(a) Política e Legislação Macrorregional	1. Existir instrumento legal para potencializar a realização das negociações em CIR, para efetivação da RC.	0 a 10
	2. Existir política alusiva à consciência cidadã para atividades educativas.	0 a 10
	3. Existir um plano de ações da Rede Cegonha.	0 a 10
	4. Ter efetivação de negociações ocorridas na CIR para condução da RC.	0 a 10
	5. Ter utilização de informações estratégicas, quanto ao processo de planejamento e estruturação da RC, para as pactuações em CIR.	0 a 10
	6. Ter acordo interfederativo entre os municípios para alcançar objetivos propostos em fortalecer integralidade no contexto da RC.	0 a 10
	7. Existir novas etapas para fortalecer a capacidade de efetivação da RC, no atual contexto do sistema de governança regional.	0 a 10
(b) Investimento nas Ações	1. Ter ampliação de leitos de alto risco e criação de maternidade de referência de alto risco.	0 a 10
	2. Ter implantação ou implementação de regulação de leitos obstétricos e neonatal, regulação ambulatorial e de urgência, consultas e exames.	0 a 10
	3. Ter uma avaliação das ações da RC.	0 a 10
	4. Ter alternativas locorregionais para o aprimoramento dos investimentos visando a continuidade das ações da RC.	0 a 10
(c) Realização de Ações específicas na Atenção à Saúde Maternoinfantil	1. Existir serviços de coordenação à saúde maternoinfantil integradas.	0 a 10
	2. Ter conformidade da RC com o que propõe a Port. n.º 1.459/11 (MS).	0 a 10
	3. Existir fortalecimento da atenção primária (suficiência de recursos para custeio das ações da RC).	0 a 10
(d) Contratação e Captação de Recursos Humanos	1. Existir aumento, organização e qualificação profissional e de serviços (sistema de informação e atendimento ao público).	0 a 10
	2. Ter equipe técnica que atenda necessidades (médicos, enfermeiros, entre outros).	0 a 10
(e) Estimulação da população na defesa dos direitos a ações de comunicação	1. Ter a criação de centros de gestantes e bebê, para assistência à gravidez e permissão ao acesso ao pré-natal de alto risco em tempo adequado.	0 a 10
	2. Existir comunicação entre colegiados e população quanto à condução da Rede Cegonha.	0 a 10
(f) Organização de serviços	1. Existir garantia para o direito de leito e de vinculação da gestante a determinada maternidade ou hospital público, vale-transporte, vale-táxi até o local de parto.	0 a 10
	2. Ter oferecimento SAMU Cegonha ao recém-nascido que necessita de emergência ambulatorial (Equipado).	0 a 10

• Fonte: Elaborado pelos Autores.

Nesse segundo momento Delphi, os especialistas receberam - em mensagem individual, por correio eletrônico ou presencial - um Termo de Consentimento Livre e Esclarecido (TCLE), com texto explicativo que apresenta os objetivos do estudo e forma de construção do ML para o consenso pelo Método Delphi Ajustado^32-35, contendo o questionário com a Matriz Delphi de Concordância com a Proposta de Imagem-objetivo - Instrumento de validação da categorização das ferramentas da avaliação -, baseada nos objetivos da RC, inseridos no ML, com dimensões e fundamentos para atribuir notas de 0 a 10. Zero corresponde à não importância, devendo este ser excluído, e dez representando a máxima importância. Foi destinado um espaço para inclusão de possíveis novos fundamentos.

Depois de recebidas as respostas, foram calculadas as médias (M) e os desvios-padrão (DP) da pontuação, para aferir a importância atribuída aos fundamentos, a fim de verificar o Grau de Consenso da Matriz entre as opiniões dos especialistas selecionados^35,36.

Os fundamentos foram analisados quanto à importância atribuída, sendo utilizada a seguinte classificação da média de pontos obtidos³⁶: (a) M < 7 = pouco importante; (b) M ≥ 7 e < 9 = importante; e, (c) M ≥ 9 = muito importante. Quanto ao grau de consenso: (a) DP ≤ 1 = fundamento em consenso; (b) DP > 1 e < 3 = dissenso; e, (c) DP ≥ 3 = grande dissenso.

Foram estabelecidos os seguintes pontos de corte para os fundamentos³⁵: (a) Com média inferior a 7, não faria parte da Imagem-objetivo para avaliação da RC em nível macrorregional; (b) com DP inferior a 3, seria considerado consensual, caso fosse classificado importante, deveria ser incluído na Imagem-objetivo; e, (c) com média igual ou superior a 7, e DP igual ou superior a 3, apesar de importante, não deveria ser incluído na Imagem-objetivo, porque não seria consensual.

Depois da Conferência de Consenso Delphi Ajustada - que se realizou em espaço público na sede da VI Geres -, iniciou-se o terceiro momento Delphi, quando os especialistas receberam, em mensagem individual e presencial, outro Termo de Consentimento Livre e Esclarecido (TCLE), com texto explicativo, que apresentava os objetivos do estudo, além da forma de construção da Matriz Delphi de Concordância e da proposta de Imagem-objetivo que é utilizada como instrumento de avaliação^24,28 do Grau de Implantação (GI) do programa RC, atribuindo-se notas de 0 a 10, sobre a Matriz de Avaliação³⁷. Zero corresponderia à não implantação total, e dez indicaria a máxima implantação do fundamento. Destinou-se espaço para comentários caso a nota fosse zero. Foram calculadas as médias (M), para avaliar o GI das dimensões e dos fundamentos apresentados.

O julgamento foi feito de acordo com valor atribuído, sendo utilizada a divisão por estratos para orientar a realização da síntese e a emissão de avaliação. Não houve necessidade de atribuir pesos aos fundamentos porque, de acordo com o nível de concordância, todos foram considerados muito importantes. A observação do GI da RC foi obtida por meio da média aritmética, a partir do somatório do valor atribuído individualmente pelos especialistas, ao nível de avaliação para cada Dimensão e Fundamento, respectivamente, e divisão pelo quantitativo de participantes nessa etapa. O Modelo de julgamento ajustado e adotado para classificar o GI, por dimensão e fundamento, foi estratificado em quatro níveis por pontos positivos: entre 9,00 a 10,0 pontos - Excelente (Implantado); entre 7,00 a 8,99 pontos - Satisfatório; entre 5,00 a 6,99 pontos - Insatisfatório; e, por fim, abaixo de 5,00 pontos - considerado como crítico.

ASPECTOS ÉTICOS

Esta pesquisa faz parte do Projeto da FACEPE n.º 19/2015, e foi aprovada pelo Comitê de Ética em Pesquisa do Instituto Aggeu Magalhães (IAM) - Fiocruz-PE, em 14/06/2016, sob CAEE n.º 50906915.0.0000.5190/2016 - CONEP, conforme a Resolução n.º 466, de 12 de dezembro de 2012, do Conselho Nacional de Saúde.

RESULTADOS

A configuração preconizada da Avaliação da Proposta de Imagem-objetivo e do Grau de Implantação (GI) da RC possibilitou melhorar a estruturação e percepção dos componentes, para avaliação dos fundamentos envolvidos e dos possíveis nexos entre esses, a partir da elaboração do ML. Tal configuração norteou a composição de proposta da Matriz Delphi de Consenso para a RC enviada aos especialistas (juízes), que emitiram dois julgamentos: o do nível de concordância com as dimensões que compuseram a Imagem-objetivo elaborada pelos autores e do GI de seus fundamentos segundo essas dimensões. Conceituou-se, posteriormente, a correlação do fundamento com a dimensão à qual está associado. Contudo, não houve nenhuma inclusão ou exclusão de fundamentos, e, com isso, não apresentou a necessidade de remodelações, porém proporcionou a aferição do aumento dos consensos, bem como a possível redução dos dissensos.

A avaliação do GI da RC configurou-se mediante pontuação conferida pelos 13 especialistas (juízes), para cada fundamento da Matriz de Consenso, e, depois da aferição, todos os 20 Fundamentos selecionados das seis Dimensões foram validados quanto ao Nível de Concordância como Muito Importantes. Apenas o Fundamento (a6) obteve o DP > 1, mas, como sua média foi 9,46, com isso, seu nível de concordância foi classificado como Muito Importante, considerado consensual e incluído na Imagem-objetivo.

Os resultados estão apresentados na Tabela 1, com Dimensões e Fundamentos sugeridos na Matriz Delphi, a média, o respectivo desvio-padrão e nível de concordância.

Tabela 1
Avaliação da proposta de Imagem-objetivo e do Grau de Implantação da Rede Cegonha em Nível Macrorregional. Região do semiárido, PE, Brasil, 2018

Avaliação da Proposta de Imagem-objetivo e do Grau de Implantação da Rede Cegonha em Nível Macrorregional. Região do semiárido, PE, Brasil, 2018
Dimensão (Objetivo Final) e Fundamento	Etapa Delphi Ajustada
	M	DP	Nível de Concordância	M GI	Grau de Implantação
(a) Política e Legislação Macrorregional	-	-	Muito Importante	6,77	Insatisfatório
a 1	10,0	0,0	Muito Importante	6,85	Insatisfatório
a 2	9,62	0,8	Muito Importante	5,69	Insatisfatório
a 3	9,85	0,4	Muito Importante	8,46	Satisfatório
a 4	9,70	0,6	Muito Importante	6,54	Insatisfatório
a 5	9,70	0,8	Muito Importante	7,38	Satisfatório
a 6	9,46	1,1	Muito Importante	6,92	Insatisfatório
a 7	9,38	0,8	Muito Importante	5,54	Insatisfatório
(b) Investimento nas Ações	9,93	-	Muito Importante	5,48	Insatisfatório
b 1	9,92	0,3	Muito Importante	5,23	Insatisfatório
b 2	9,85	0,4	Muito Importante	6,31	Insatisfatório
b 3	9,62	0,7	Muito Importante	5,46	Insatisfatório
b 4	9,62	0,9	Muito Importante	4,92	Crítico
(c) Realização de Ações específicas na Atenção à Saúde Maternoinfantil	-	-	Muito Importante	6,15	Insatisfatório
c 1	9,54	0,7	Muito Importante	6,85	Insatisfatório
c 2	9,77	0,6	Muito Importante	6,15	Insatisfatório
c 3	9,62	0,9	Muito Importante	5,46	Insatisfatório
(d) Contratação e Captação de Recursos Humanos (RH)	-	-	Muito Importante	7,23	Satisfatório
d 1	9,70	0,6	Muito Importante	7,08	Satisfatório
d 2	9,54	0,7	Muito Importante	7,38	Satisfatório
(e) Estimulação à acessibilidade e participação da população na defesa de seus direitos mediante ações de comunicação	-	-	Muito Importante	5,65	Insatisfatório
e 1	9,92	0,3	Muito Importante	5,15	Insatisfatório
e 2	9,46	0,7	Muito Importante	6,15	Insatisfatório
(f) Organização de serviços	-	-	Muito Importante	4,11	Crítico
f 1	9,54	0,9	Muito Importante	5,46	Insatisfatório
f 2	9,77	0,4	Muito Importante	2,77	Crítico
Grau de Implantação Total por Fundamento da Rede Cegonha à Nível III Macrorregional				6,09	Insatisfatório

• Fonte: Elaborada pelos Autores.

Ao analisar o GI da RC das seis Dimensões (direcionadas pelos objetivos finais do ML), observa-se que: uma (d) apresentou Nível Satisfatório; quatro (a, b, c, e) mostraram Nível Insatisfatório; e outra (f), Nível Crítico. Dos vinte Fundamentos elencados: quatro obtiveram Nível Satisfatório (a3, a5, d1, d2); quatorze tiveram Nível Insatisfatório (a1, a2, a4, a6, a7, b1, b2, b3, c1, c2, c3, e1, e2, f1); e dois apresentaram Nível Crítico (b4, f2).

A avaliação do GI do programa RC na III Macrorregional de Saúde de PE foi obtida pelo somatório das médias dos Fundamentos das Dimensões, dividido pela sua quantidade, cujo cálculo resultou em média igual a 6,09. Concluiu-se que a RC está classificada com Nível Insatisfatório, corroborando com o julgamento de consenso dos especialistas selecionados.

DISCUSSÃO

O método, baseado em Imagem-objetivo para avaliação da Rede Cegonha em nível Macrorregional e aplicado na Conferência de Consenso com especialistas (juízes), por meio do Método Delphi Ajustado^35,37, preenche uma lacuna do conhecimento nessa perspectiva do julgamento de pares visando avaliação da RC. Os instrumentos utilizados se mostraram adequados à situação complexa, quando problemas não estruturados, relacionados aos programas intergovernamentais em rede de serviços, podem ser melhor avaliados por especialistas. O Método Delphi Ajustado transpôs obstáculos da avaliação normativa baseados apenas na utilização do Modelo Lógico tradicional.

O conceito do Grau de Implantação se refere à operacionalização adequada de uma intervenção¹⁵. Nesse sentido, a RC na III Macrorregião de Saúde em Pernambuco foi avaliada por pares e apresentou GI insatisfatório na visão de especialistas selecionados. O modelo de avaliação utilizado apresenta vantagens ao ser aplicado nesse tipo de estudo, porque a opinião estruturada de especialistas é potencialmente uma das melhores formas de avaliação de situações complexas que envolvem múltiplos níveis de tomada de decisão, e execução de ações em rede de serviços intergovernamentais. Foram verificadas as Dimensões e os Fundamentos relacionados pelo ML associados à possível redução das MI e MM⁶.

A avaliação dos especialistas demonstra que a articulação política da rede de serviços é um ponto de grande fragilidade no processo de implantação da RC, em nível macrorregional, quando relacionada aos parâmetros analisados. Embora haja um instrumento legal para potencializar a efetivação das negociações na CIR¹⁶ e a implementação da RC², é necessário aumentar a capacidade de articulação da rede, pois não há uma política regional que priorize essas questões na CIR, mas se observa carência de negociações para a condução da RC.

Mesmo com as atuais atribuições delegadas a comitês e a mobilização regional em torno do programa RC¹³, as informações estratégicas disponíveis não são utilizadas no seu processo de planejamento e estruturação pactuada, e não ocorrem discussões, visando a formalização de acordos interfederativos entre os municípios, para alcançar os objetivos propostos visando fortalecer a integralidade no contexto da RC.

Foram irrelevantes as iniciativas desenvolvidas para fortalecer o programa Rede Cegonha na III Macrorregional, e para agregar as instituições estratégicas. Dentre as articulações^16,17, veem-se as realizadas de forma incipiente entre as gestões estaduais e municipais - Gerências Regionais de Saúde e Secretarias Municipais de Saúde -, para implantação e implementação da rede de forma articulada.

Evidências nesse sentido podem ser observadas com a aplicação da Matriz de Consenso. Não se identificam novos investimentos em ações⁹ relacionadas à implantação de uma rede resolutiva na macrorregião para a RC, uma vez que não houve a ampliação de leitos de alto risco e nem criação de maternidade de referência de alto risco. Do mesmo modo, não foram implantadas centrais de regulação de leitos obstétricos e neonatal, a regulação ambulatorial e de urgência, consultas e exames. Em virtude da falta de monitoramento das ações para correção dos problemas relacionados ao programa, não se observam alternativas locorregionais para o aprimoramento dos investimentos, o que permitiria ampliação das ações da RC diferente do que se tem se observado em relação à sua redução.

A realização de ações específicas na atenção à saúde maternoinfantil é insatisfatória, ratificando que, para a RC responder plenamente ao quadro observado nessa área, deve abranger o problema da implantação da integralidade como princípio estruturante^12,13, diante das carências de oferta de serviços mencionados. Existem serviços de coordenação à saúde Maternoinfantil, mas estão apenas parcialmente integrados e não há conformidade da RC com o que foi proposto pela Portaria n.º 1.459/11, que precisa ser redesenhada com base no fortalecimento da atenção primária para gestão do cuidado.

Quanto à contratação e captação de recursos humanos na III Macrorregional, apresenta-se em condição satisfatória, e, mesmo diante do concurso público realizado recentemente, ainda há uma escassez de médicos obstetras. A despeito de possuir equipe técnica (médicos, enfermeiros, e técnicos de enfermagem) que atende às necessidades da atenção básica, tal atendimento não se verifica especificamente para ao Programa RC. Nessas circunstâncias, é salutar enfatizar a importância da equipe de enfermagem na configuração da Rede de Atenção à Saúde Maternoinfantil³⁸, porque, para a efetivação desse modelo, este tem papel importante ao endossar os princípios da humanização, das boas práticas e da segurança no parto e nascimento³⁹. Atualmente, está havendo uma reorganização desse serviço¹³. Observam-se melhorias no tocante à organização e qualificação de profissionais, e de serviços com sistema de informação e atendimento ao público.

Não há estímulo à participação da população na defesa de seus direitos sobre acessibilidade por meio de ações de comunicação, e ocorre uma comunicação incipiente entre colegiados e população quanto à condução da RC. Nesse sentido, o GI dos fundamentos em perspectiva aponta para o aumento da vulnerabilidade das mulheres e crianças dessa população^3,10.

Existe uma desarticulação na organização de serviços^9,11, e uma fragmentação das ações¹², que apresentam situação crítica. Não há garantia da oferta de leito e vinculação das gestantes às maternidades ou hospital público de referência, vale-transporte, vale-táxi até o local de parto, refletindo nos indicadores de morbimortalidade, que de forma curiosa se deterioraram pontualmente por complicações decorrentes da gravidez, do parto, puerpério, e assistência à criança, em que a região Nordeste sempre apresenta historicamente uma concentração de taxas mais altas^1,3. Tal fato pode ser confirmado, porque a III Macrorregional apresenta uma vasta área territorial no semiárido, chegando a fazer fronteira com quatro Estados da Federação - Ceará, Paraíba, Alagoas e Bahia -, fica localizada distante da capital do estado (Recife). Ademais, não existe o serviço do oferecimento SAMU Cegonha (equipado) ao recém-nascido que necessita de emergência ambulatorial, apresentando uma condição crítica, demonstrando explicitamente que há vulnerabilidade^3,4 nesse componente básico da RC.

CONSIDERAÇÕES FINAIS

Este trabalho avalia, por meio de especialistas, a implantação do Programa RC, e aponta para uma condição insatisfatória da sua implantação na III Macrorregional de Saúde. Essa abordagem com aplicação do Método Delphi Ajustado se mostrou coerente com a complexidade do objeto, diante da carência de modelos específicos para essa finalidade, baseada em relações institucionais na regionalização do SUS.

Torna-se imperativo frisar a preocupante situação da RC na III Macrorregional de Saúde, sobretudo, nesse contexto, a imprescindibilidade das ações da equipe de enfermagem para a atenção à saúde maternoinfantil, e também como significante apoio social, diante de uma população vulnerabilizada e desfavorecida, no interior do semiárido pernambucano, e em cenário política e economicamente adverso. Há uma possibilidade de essas falhas encontradas serem parte um quadro ainda mais amplo no país, por sua natureza intergovernamental face às questões contextuais desfavoráveis que caracterizam os problemas atuais da saúde pública no Brasil, depois de uma crise institucional e da mudança profunda das políticas, a partir do governo federal, com medidas de austeridade adotadas no SUS, advindas da Emenda Constitucional n.º 95/2016.

Como essa situação é inevitavelmente contingente, indica-se a necessidade de novas avaliações dos programas governamentais implementados em rede regional compartilhada. Nesse contexto adverso, desde 2017, é fundamental implementar e fortalecer a RC em Pernambuco. Concluiu-se que, de acordo com as circunstâncias, os objetivos finalísticos almejados pelo programa, não estão sendo alcançados em sua plenitude, face ao grau de implantação insatisfatório apresentado pela Matriz Delphi, que pode validar de forma consistente o GI da RC, na perspectiva de uma rede regional.

• FINANCIAMENTO
  Projeto de Pesquisa com o título de “Redes Assistenciais Integradas e Sustentáveis: teoria, prática e possibilidades de inovação na dinâmica interinstitucional da regulação do SUS (REG-SUS)” financiado pela FACEPE/PROEP - nº 19/2015

REFERENCES

• ¹
  Ceron MI, Barbieri A, Fonsêca LM, Fedosse E. Assistência pré-natal na percepção de puérperas provenientes de diferentes serviços de saúde. Rev CEFAC [Internet]. 2013 May/Jun; [cited 2018 Dec 1]; 15(3):653-62. Available from: http://www.scielo.br/pdf/rcefac/v15n3/184-11.pdf DOI: 10.1590/S1516-18462012005000081
  » https://doi.org/10.1590/S1516-18462012005000081» http://www.scielo.br/pdf/rcefac/v15n3/184-11.pdf
• ²
  Portaria Nº 1.459, de 24 de junho de 2011. Institui, no âmbito do Sistema Único de Saúde - SUS - a Rede Cegonha. Brasília (DF): Diário Oficial da União; 2011. [cited 2018 Jan 28]. Available from: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1459_24_06_2011.html
  » http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1459_24_06_2011.html
• ³
  Oliveira SKM, Pereira MM, Freitas DA, Caldeira AP. Saúde materno-infantil em comunidades quilombolas no norte de Minas Gerais. Cad Saúde Coletiva [Internet]. 2014; (3):307-13. Available from: http://www.scielo.br/pdf/cadsc/v22n3/1414-462X-cadsc-22-03-0307.pdf DOI: 10.1590/1414-462X201400030013
  » https://doi.org/10.1590/1414-462X201400030013» http://www.scielo.br/pdf/cadsc/v22n3/1414-462X-cadsc-22-03-0307.pdf
• ⁴
  Martinelli KG, Santos Neto ET, Gama SGN, Oliveira AE. Adequação do processo da assistência pré-natal segundo os critérios do Programa de Humanização Pré-natal e Nascimento e Rede Cegonha. Rev Bras Ginecol Obstet [Internet]. 2014; [cited 2018 Dec 20]; 36(2):56-64. Available from: http://www.scielo.br/pdf/rbgo/v36n2/0100-7203-rbgo-36-02-00056.pdf DOI: 10.1590/S0100-72032014000200003
  » https://doi.org/10.1590/S0100-72032014000200003» http://www.scielo.br/pdf/rbgo/v36n2/0100-7203-rbgo-36-02-00056.pdf
• ⁵
  Nascimento SG, Oliveira CM, Sposito V, Ferreira DKS, Bonfim CV. Mortalidade Infantil por causas evitáveis em uma cidade do Nordeste do Brasil. Rev Bras Enferm [Internet]. 2014 Mar/Apr; [cited 2018 Dec 20]; 67(2):208-12. Available from: http://www.scielo.br/pdf/reben/v67n2/0034-7167-reben-67-02-0208.pdf DOI: 10.5935/0034-7167.20140027
  » https://doi.org/10.5935/0034-7167.20140027» http://www.scielo.br/pdf/reben/v67n2/0034-7167-reben-67-02-0208.pdf
• ⁶
  Associação Brasileira de Saúde Coletiva (ABRASCO). Especial Abrasco sobre o aumento da mortalidade infantil e materna no Brasil. [cited 2018 Sep 2]. Available from: https://www.abrasco.org.br/site/outras-noticias/institucional/especial-abrasco-sobre-o-aumento-da-mortalidade-infantil-e-materna-no-brasil/36777/
  » https://www.abrasco.org.br/site/outras-noticias/institucional/especial-abrasco-sobre-o-aumento-da-mortalidade-infantil-e-materna-no-brasil/36777/
• ⁷
  Organização das Nações Unidas (ONU). ONU BR Nações Unidas no Brasil. Agência da ONU discute Prevenção à Mortalidade Materna em Congresso no Rio. [cited 2018 Sep 1]. Available from: https://nacoesunidas.org/agencia-da-onu-discute-prevencao-a-mortalidade-materna-em-congresso-no-rio/
  » https://nacoesunidas.org/agencia-da-onu-discute-prevencao-a-mortalidade-materna-em-congresso-no-rio/
• ⁸
  Organização das Nações Unidas (ONU). ONU BR Nações Unidas no Brasil. UNICEF: 386 mil bebes nasceram no dia 1º dia de 2018. [cited 2018 Sep 1]. Available from: https://nacoesunidas.org/unicef-386-mil-bebes-nasceram-1o-dia-2018/
  » https://nacoesunidas.org/unicef-386-mil-bebes-nasceram-1o-dia-2018/
• ⁹
  Ministério da Saúde (BR). Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. Saúde Brasil, 2009: uma análise da situação de saúde e da agenda nacional e internacional de prioridades em saúde. Brasília (DF): Ministério da Saúde; 2010. [cited 2018 Apr 21]. Available from: http://bvsms.saude.gov.br/bvs/publicacoes/saude_brasil_2009.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/saude_brasil_2009.pdf
• ¹⁰
  Rasella D, Basu S, Hone T, Paes-Sousa R, Ocké-Reis CO, Millett C. Child morbidity and mortality associated with alternative policy responses to the economic crisis in Brazil: A nationwide microsimulation study. PLoS Med [Internet]. 2018 May; [cited 2018 May 27]; 15(5):e1002570. Available from: https://www.ncbi.nlm.nih.gov/pubmed/?term=PLoS+Med.+2018+May%3B+15(5)%3A+e1002570 DOI: 10.1371/journal.pmed.1002570
  » https://doi.org/10.1371/journal.pmed.1002570» https://www.ncbi.nlm.nih.gov/pubmed/?term=PLoS+Med.+2018+May%3B+15(5)%3A+e1002570
• ¹¹
  Biscarde DGS, Pinto KA, Oliveira MTS, Barbosa JC, Oliveira BV, Sousa JS. Rede de atenção à saúde materno-infantil: desafios para a organização de serviços de saúde no município de Salvador-Bahia. 2º Congresso Brasileiro de Política, Planejamento e Gestão em Saúde. Belo Horizonte: Universidade Federal da Bahia - Escola de Enfermagem; 2013. [cited 2018 May 12]. Available from: http://www.politicaemsaude.com.br/anais/trabalhos/publicacoes/242.pdf
  » http://www.politicaemsaude.com.br/anais/trabalhos/publicacoes/242.pdf
• ¹²
  Arruda C, Lopes SGR, Koerich MHAL, Winck DR, Meirelles BHS, Mello ALSF. Redes de atenção à saúde sob a luz da teoria da complexidade. Esc Anna Nery [Internet]. 2015; [cited 2018 Aug 18]; 19(1):169-73. Available from: http://eean.edu.br/detalhe_artigo.asp?id=1263 DOI: 10.5935/1414-8145.20150023
  » https://doi.org/10.5935/1414-8145.20150023» http://eean.edu.br/detalhe_artigo.asp?id=1263
• ¹³
  Santos AM. Gestão do cuidado na microrregião de saúde de Vitória da Conquista - BA: desafios para constituição de rede regionalizada com cuidados coordenados pela Atenção Primária à Saúde [tese]. Rio de Janeiro: Escola Nacional de Saúde Pública Sérgio Arouca. Fundação Oswaldo Cruz; 2013.
• ¹⁴
  Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Manual prático para implementação da Rede Cegonha. Brasília (DF): Ministério da Saúde; 2011.
• ¹⁵
  Cavalcanti PCS, Gurgel Júnior GD, Vasconcelos ALR, Guerrero AVP. Um Modelo Lógico da Rede Cegonha. Physis [Internet]. 2013;23(4):1297-316. Available from: http://www.scielo.br/scielo.php?pid=S0103-73312013000400014&script=sci_abstract&tlng=pt DOI: 10.1590/S0103-73312013000400014
  » https://doi.org/10.1590/S0103-73312013000400014» http://www.scielo.br/scielo.php?pid=S0103-73312013000400014&script=sci_abstract&tlng=pt
• ¹⁶
  Redes de Atenção à Saúde: A atenção à Saúde Organizada em Redes. São Luís: Universidade Federal do Maranhão; 2016. [cited 2018 Dec 20]. Available from: http://www.unasus.ufma.br/site/files/livros_isbn/isbn_redes01.pdf
  » http://www.unasus.ufma.br/site/files/livros_isbn/isbn_redes01.pdf
• ¹⁷
  Leal MC. Parto e nascimento no Brasil: um cenário em processo de mudança. Cad Saúde Pública [Internet]. 2018; [cited 2018 Aug 28]; 34(5):e00063818. Available from: http://www.scielo.br/pdf/csp/v34n5/1678-4464-csp-34-05-e00063818.pdf DOI: 10.1590/0102-311X00063818
  » https://doi.org/10.1590/0102-311X00063818» http://www.scielo.br/pdf/csp/v34n5/1678-4464-csp-34-05-e00063818.pdf
• ¹⁸
  Tomasi E, Fernandes PAA, Fischer T, Siqueira FCV, Silveira DS, Thumé E, et al. Qualidade da atenção pré-natal na rede básica de saúde no Brasil: indicadores e desigualdades sociais. Cad Saúde Pública [Internet]. 2017; [cited 2018 Aug 20]; 33(3):e00195815. Available from: http://www.scielo.br/pdf/csp/v33n3/1678-4464-csp-33-03-e00195815.pdf DOI: 10.1590/0102-311X00195815
  » https://doi.org/10.1590/0102-311X00195815» http://www.scielo.br/pdf/csp/v33n3/1678-4464-csp-33-03-e00195815.pdf
• ¹⁹
  Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, orgs. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 65-78.
• ²⁰
  Hartz ZMA, Silva LMV. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; 2005.
• ²¹
  Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciênc Saúde Coletiva [Internet]. 1999; [cited 2018 Sep 21]; 4(2):341-53. Available from: http://www.scielo.br/scielo.php?pid=S1413-81231999000200009&script=sci_abstract&tlng=pt DOI: 10.1590/S141381231999000200009
  » https://doi.org/10.1590/S141381231999000200009» http://www.scielo.br/scielo.php?pid=S1413-81231999000200009&script=sci_abstract&tlng=pt
• ²²
  Oliveira SRA, Teixeira CF. Avaliação da regionalização do SUS: construção de Modelo Teórico-lógico. Rev Baiana Saúde Pública [Internet]. 2013;37(1):236-54. Available from: http://rbsp.sesab.ba.gov.br/index.php/rbsp/article/view/162 DOI: 10.22278/23182660.2013.v37.n1.a162
  » https://doi.org/10.22278/23182660.2013.v37.n1.a162» http://rbsp.sesab.ba.gov.br/index.php/rbsp/article/view/162
• ²³
  Flick U. Triangulation in Qualitative Research. In: Flick U, von Kardoff E, Steinke I, orgs. A Companion to Qualitative Research. London: SAGE; 2004.
• ²⁴
  Januzzi PM. Avaliação de programas sociais no Bra sil: repensando práticas e metodologias das pesqui sas avaliativas. Planej Polít Públicas [Internet]. 2011; [cited 2018 Jul 1]; 36:251-75. Available from: http://www.ipea.gov.br/ppp/index.php/PPP/article/view/228/212
  » http://www.ipea.gov.br/ppp/index.php/PPP/article/view/228/212
• ²⁵
  Bloor M, Sampson H, Baker S, Dahlgren K. Useful but no Oracle: Reflections on the use of a Delphi Group in a multi-methods policy research study. Qual Res [Internet]. 2015;15(1):57-70. Available from: https://journals.sagepub.com/doi/pdf/10.1177/1468794113504103 DOI: 10.1177/1468794113504103
  » https://doi.org/10.1177/1468794113504103» https://journals.sagepub.com/doi/pdf/10.1177/1468794113504103
• ²⁶
  Gurgel Júnior GD. Health Sector Reform in Brazil: Past, present and future. A Theoretical Approach to Structural Changes [Thesis]. Manchester: Faculty of Humanities, School of Social Sciences, University of Manchester; 2008.
• ²⁷
  Pereira RDM, Alvim NAT. Técnica Delphi no diálogo com enfermeiros sobre a acupuntura como proposta de intervenção em enfermagem. Esc Anna Nery [Internet]. 2015; [cited 2018 Aug 10]; 19(1):174-80. Available from: http://eean.edu.br/detalhe_artigo.asp?id=1262 DOI: 10.5935/1414-8145.20150024
  » https://doi.org/10.5935/1414-8145.20150024» http://eean.edu.br/detalhe_artigo.asp?id=1262
• ²⁸
  Champagne F, Contandriopoulos AP, Brousselle A, Hartz Z, Denis JL. Avaliação no Campo da Saúde: conceitos e métodos. In: Brousselle A, org. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. 41 p.
• ²⁹
  Governo do Estado de Pernambuco. Secretaria Estadual de Saúde. [cited 2018 Sep 4]. Available from: http://portal.saude.pe.gov.br/secretaria-executiva-de-coordenacao-geral/gerencias-regionais-de-saude
  » http://portal.saude.pe.gov.br/secretaria-executiva-de-coordenacao-geral/gerencias-regionais-de-saude
• ³⁰
  Ferraro AHA, Costa EA, Vieira-da-Silva LM. Imagem-objetivo para descentralização da vigilância sanitária em nível municipal. Cad Saúde Pública [Internet]. 2009 Oct; [cited 2018 Feb 5]; 25(10):2201-17. Available from: https://repositorio.ufba.br/ri/bitstream/ri/2056/1/per%20nac2009.8.pdf DOI: 10.1590/S0102-311X2009001000011
  » https://doi.org/10.1590/S0102-311X2009001000011» https://repositorio.ufba.br/ri/bitstream/ri/2056/1/per%20nac2009.8.pdf
• ³¹
  Lopes GVDO, Vilasbôas ALQ, Castellanos MEP. Atenção Domiciliar na Estratégia Saúde da Família: avaliação do grau de implantação em Camaçari (BA). Saúde Debate [Internet]. 2017;41(no.spe3):241-54. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0103-11042017000700241&lng=pt&nrm=iso DOI: 10.1590/0103-11042017s318
  » https://doi.org/10.1590/0103-11042017s318» http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0103-11042017000700241&lng=pt&nrm=iso
• ³²
  Fonsêca GS, Junqueira SR. Programa de Educação pelo Trabalho para a Saúde da Universidade de São Paulo (Campus Capital): o olhar dos tutores. Ciênc Saúde Co letiva [Internet]. 2014;19(4):1151-62. Available from: http://www.scielo.br/scielo.php?pid=S1413-81232014000401151&script=sci_abstract&tlng=pt DOI: 10.1590/1413-81232014194.00192013.
  » https://doi.org/10.1590/1413-81232014194.00192013.» http://www.scielo.br/scielo.php?pid=S1413-81232014000401151&script=sci_abstract&tlng=pt
• ³³
  Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selec ting healthcare quality indicators: a systematic re view. PLoS One [Internet]. 2011; 6(6):e20476. Available from: https://www.ncbi.nlm.nih.gov/pubmed/21694759 DOI: 10.1371/journal.pone.0020476.
  » https://doi.org/10.1371/journal.pone.0020476.» https://www.ncbi.nlm.nih.gov/pubmed/21694759
• ³⁴
  Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas cien tíficas cubanas. Rev Cub Inf Cienc Salud [Internet]. 2013 Apr/Jun; [cited 2018 May 2]; 24(2):133-44. Available from: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000200004
  » http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000200004
• ³⁵
  Pessoa TRRF, Noro LRA. Caminhos para a avaliação da formação em Odontologia: construção de modelo lógico e validação de critérios. Ciênc Saúde Coletiva [Internet]. 2015;20(7):2277-90. Available from: http://www.scielo.br/scielo.php?pid=S1413-81232015000702277&script=sci_abstract&tlng=pt DOI: 10.1590/1413-81232015207.13182014
  » https://doi.org/10.1590/1413-81232015207.13182014» http://www.scielo.br/scielo.php?pid=S1413-81232015000702277&script=sci_abstract&tlng=pt
• ³⁶
  Souza LEPF, Vieira-da-Silva LM, Hartz ZM. A Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-Silva LM, orgs. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA/RJ: Fiocruz; 2005. p. 65-102.
• ³⁷
  Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e Análise das Informações: O Uso de Matrizes, Critérios, Indicadores e Padrões. In: Samico I, Felisberto E, Figueiró AC, Frias PG, org. Avaliação em Saúde: Bases Conceituais e Operacionais. Rio de Janeiro: MedBook; 2010. 98 p.
• ³⁸
  Gomes, IM, Lacerda, MR, Rodrigues, JAP, Camargo, TB, Zatoni, DCP, Nascimento, VS . O apoio da rede social no cuidado domiciliar. Esc Anna Nery [Internet]. 2016; [cited 2018 Oct 26]; 20(3):e20160062. Available from: http://www.scielo.br/pdf/ean/v20n3/1414-8145-ean-20-03-20160062.pdf DOI: 10.5935/1414-8145.20160062
  » https://doi.org/10.5935/1414-8145.20160062» http://www.scielo.br/pdf/ean/v20n3/1414-8145-ean-20-03-20160062.pdf
• ³⁹
  Oliveira FAM, Leal GC, Wolff LDG, Rabelo M, Poliquesi CB. Reflexões acerca da atuação do enfermeiro na Rede Cegonha. Rev Enferm UFPE On Line (Recife) [Internet]. 2016 Feb; [cited 2018 Dec 22]; 10(Supl. 2):867-74. Available from: file:///C:/Users/susana/Downloads/11030-24267-1-PB%20(1).pdf DOI: 10.5205/reuol.6884-59404-2
  » https://doi.org/10.5205/reuol.6884-59404-2» file:///C:/Users/susana/Downloads/11030-24267-1-PB%20(1).pdf

Datas de Publicação

• Publicação nesta coleção
  25 Mar 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  01 Nov 2018
• Aceito
  22 Jan 2019