Validação de conteúdo de Instrumento de Avaliação da Atenção Nutricional na Atenção Primária à Saúde

RESUMO

Objetivo

Construir e validar o conteúdo de um instrumento para avaliar a organização da atenção nutricional na Atenção Primária à Saúde no Brasil.

Métodos

Trata-se de um estudo transversal e de validação. A construção do Instrumento de Avaliação da Atenção Nutricional foi baseada em revisão de literatura e em consulta a documentos oficiais. O instrumento foi submetido à validação de conteúdo utilizando técnica Delphi em duas rodadas.

Resultados

O painel para validação foi formado por 29 especialistas das cinco Macrorregiões Brasileiras: 13 docentes/pesquisadores do ensino superior, sete gestores de alimentação e de nutrição, quatro profissionais da Atenção Primária à Saúde e cinco alinhados ao tema, a maioria (89,7%) atuante em serviços públicos, com experiência acima de seis anos. O instrumento validado contém 68 questões e 10 indicadores: (1) Atuação do nutricionista; (2) Apoio às ações de Atenção Nutricional: infraestrutura e educação permanente; (3) Intersetorialidade; (4) Controle Social; (5) Vigilância Alimentar e Nutricional; (6) Atenção Nutricional Individual; (7) Atenção Nutricional para grupos; (8) Atenção Nutricional voltada ao pré-natal; (9) Atenção Nutricional voltada ao puerpério/aleitamento e (10) Atenção Nutricional à saúde da criança.

Conclusão

O instrumento proposto avança ao viabilizar o estabelecimento de processos avaliativos da Atenção Nutricional. Espera-se que ele seja amplamente utilizado para avaliar a atenção nutricional ofertada em municípios, em estados e na esfera federal. Os resultados obtidos com futuras aplicações poderão contribuir para respaldar a qualificação da gestão das políticas de alimentação e de nutrição.

Palavras-chave
Estudos de avaliação como assunto; Atenção primária à saúde; Programas e políticas de nutrição e alimentação; Política nutricional; Nutricionistas

ABSTRACT

Objective

Construct and validate the content of an instrument to evaluate the organization of nutritional care in Primary Health Care in Brazil.

Methods

This is a cross-sectional and validation study. The construction of the Nutritional Attention Assessment Instrument was based on literature review and review of official documents. The instrument was submitted to content validation using the Delphi technique in two rounds.

Results

The validation panel consisted of 29 specialists from the five Brazilian Macroregions: 13 higher education teachers/investigators, seven food and nutrition managers, four Primary Health Care professionals and five professionals knowledgeable of the subject, most of them (89.7%) working in the public service with experience of over six years. The validated instrument contains 68 questions and 10 indicators: (1) Nutritionist performance; (2) Support to the Nutritional Attention actions: infrastructure and permanent education; (3) Intersectoriality; (4) Social Control; (5) Food and Nutrition Surveillance; (6) Individual Nutritional Attention; (7) Nutritional Attention for Groups; (8) Nutritional Attention focused on prenatal care; (9) Nutritional Attention focused on postpartum/breastfeeding and (10) Nutritional Attention focused on child health.

Conclusion

The proposed instrument is an advance which enables the establishment of evaluation processes for Nutritional Attention. It is expected that this instrument be widely used to evaluate the Nutritional Attention given in the municipalities, states and at the federal level. The results obtained with future applications may contribute to support management qualification of food and nutrition policies.

Keywords
Evaluation studies as topic; Primary health care; Nutrition programs and policies; Nutrition policy; Nutritionists

INTRODUÇÃO

A causa majoritária mundial de mortes é atribuída às Doenças Crônicas Não Transmissíveis (DCNT) [¹,²]. Entre 1990 e 2017, houve um aumento de 40% de mortes prematuras e de incapacidades relacionadas às DCNT no mundo [²]. No Brasil, tais doenças igualmente representam a maior causa de mortalidade [³].

A alimentação inadequada é um dos principais fatores de risco para esses agravos [¹]. Em 2017, 11 milhões de mortes foram a eles atribuídas representando um aumento de 18,9%, quando comparado ao ano de 2007 [⁴,⁵].

No plano mundial, em 2015 a obesidade matou aproximadamente 4 milhões de pessoas e afastou mais de 100 milhões de pessoas das atividades produtivas [⁶,⁷]. No Brasil, em 2019, 20,3% dos adultos eram obesos [⁸]. Em relação às crianças entre cinco e nove anos de idade, 16,6% tinham obesidade [⁹].

As crianças com obesidade aos dois anos de idade apresentam 75% mais chances de se tornarem adultos obesos aos 35 anos e o Aleitamento Materno (AM) pode protegê-las das DCNT [¹⁰,¹¹]. É o que demonstra recente metanálise a partir da qual se revelou associação negativa entre AM, obesidade na infância e na idade adulta [¹²,¹³]. Tais achados reforçam a importância da Atenção Nutricional (AN) na Atenção Primária à Saúde (APS) no pré-natal e no puerpério, como estratégia de efetivação da linha de cuidado maternoinfantil e incentivo ao AM, visando à prevenção de DCNT e obesidade [¹⁴,¹⁵].

Em estudos internacionais de revisão evidencia-se a necessidade da AN na APS, por seu papel no incentivo à melhoria do consumo alimentar, do controle glicêmico e do estado nutricional [¹⁶]. Ademais, produz impactos significativos sobre os resultados de saúde relacionados à obesidade, à desnutrição e às DCNT, como a redução do risco de desenvolvimento de diabetes, além de gerar economia aos sistemas de saúde [¹⁷,¹⁸]. Assim, é preciso fortalecer e qualificar a AN neste âmbito [¹⁶,¹⁷].

No Brasil, ainda que integre a agenda programática da APS, a AN ocorre de modo fragmentado e não universal [¹⁹]. A avaliação parece preterida, mesmo que imprescindível para identificar lacunas em sua implementação. A necessidade de pesquisas que descrevam e avaliem as ações e os programas de Alimentação e Nutrição (A&N), em curso na APS, já foi apontada [²⁰]. Ademais, na Política Nacional de Alimentação e Nutrição (PNAN) [²¹] recomenda-se a avaliação das ações de A&N e, na Política Nacional de Atenção Básica, destacam-se estas ações como relevantes para a população brasileira [²¹,²²].

A despeito do reconhecimento do papel da AN na APS, não foram localizados registros de avaliação da mesma em periódicos de grande circulação, sendo esta uma lacuna do conhecimento. Igualmente, inexistem estudos sobre instrumento de avaliação da AN neste âmbito de atenção, congregando questionário e indicadores. Este trabalho teve como propósito construir e validar o conteúdo de um instrumento para avaliação da organização da AN na APS, nomeado Instrumento de Avaliação da Organização da Atenção Nutricional (IAAN).

METÓDOS

A construção do IAAN se referenciou na definição brasileira de AN, que se relaciona aos “cuidados relativos à A&N voltados à promoção e proteção da saúde, prevenção, diagnóstico e tratamento de agravos”; compõe o cuidado integral na Rede de Atenção à Saúde (RAS) do Sistema Único de Saúde (SUS) e se destina aos indivíduos, famílias e comunidades [²¹].

A elaboração do IAAN foi feita em cinco etapas, retratadas no Quadro 1: a etapa 1 foi formada por extensa revisão bibliográfica para identificar as ações de A&N previstas para a APS no Brasil [²³]; na etapa 2 realizou-se uma revisão on-line dos conteúdos de cada indicador do IAAN por pesquisadores da área de Alimentação e Nutrição em Saúde Coletiva (ANSC) [²⁴]; na etapa 3 construiu-se o Instrumento de Consulta (IC) sobre o IAAN; na etapa 4 o IC e o IAAN foram submetidos a estudo piloto on-line [²⁵]. Da etapa 4 obteve-se a composição do IAAN, pautada nas recomendações e diretrizes da AN na APS. Por fim, realizou-se, na etapa 5, processo de validação de conteúdo do instrumento, resultando no consenso entre especialistas, mediante aplicação da técnica Delphi [²⁶].

Quadro 1
Etapas para construção do Instrumento de Avaliação da Organização da Atenção Nutricional na Atenção Primária à Saúde, segundo Técnica Delphi. Brasil, 2017.

1. Revisão bibliográfica IAAN (versão 1)	2. Revisão do IAAN (versão 2)	3. Elaboração do Instrumento de Consulta sobre o IAAN	4. Estudo Piloto do Instrumento de Consulta/Versão Final IC	5. Validação de conteúdo IAAN
Base de dados (2010-2107) 716 artigos científicos Documentos oficiais: 22 documentos	Apreciação de pesquisadores da área da UNIFESP (4 participantes)	Asserções para apreciação das questões e indicadores sobre clareza, concisão, relevância e suficiência	Envio do IC a pesquisadores da área de ANSC do Estado de São Paulo (14 convidados e 5 participantes)	Envio do IC a nutricionistas selecionados para validação de conteúdo do IAAN
IAAN: 133 questões, 123 de avaliação, distribuídas em 18 blocos	IAAN: 53 questões, 43 de avaliação, distribuídas em 10 indicadores	IC: 106 asserções	IC: 112 asserções; IAAN: 56 questões, 46 de avaliação, distribuídas em 10 indicadores	IAAN Validado (versão final)

• Note: IAAN: Instrumento de Avaliação da Organização Nutricional; IC: Instrumento de Consulta; UNIFESP: Universidade Federal de São Paulo.

Realizou-se validação de conteúdo do IAAN utilizando técnica Delphi, método baseado na busca de consenso mediante o julgamento de especialistas sobre um problema [²⁶]. Esta técnica é amplamente empregada em estudos da área da saúde, como, por exemplo, elaboração de consenso sobre currículo, formação, competências profissionais, prática clínica e intervenções e ainda para validação de modelos de ação e desenvolvimento de indicadores [²⁷-³⁴].

A validação de conteúdo é característica fundamental a qualquer instrumento de avaliação, por demonstrar que a escolha e o formato dos itens representam consistente e adequadamente o conteúdo que se pretende medir, além de ser um critério de qualidade do mesmo [³⁵,³⁶]. O julgamento de especialistas é utilizado como ferramenta para validação de conteúdo [³⁷]. O processo consiste na submissão sucessiva do instrumento a um grupo de especialistas, em um número suficiente de rodadas, visando a identificar, elucidar e aprimorar questões para, ao final, obter consenso [³⁸].

As principais características deste método são o anonimato, que diminui a influência de fatores como status acadêmico ou profissional, o feedback das respostas do grupo e a possibilidade de utilização de meio eletrônico para a consulta, facilitando a participação de especialistas de diferentes localidades, diminuindo custos e permitindo que todos expressem sua opinião, sem a influência dos demais [³⁹,⁴⁰].

Foram convidados a compor o painel de especialistas nutricionistas de todas as macrorregiões Brasileiras. A escolha por estes profissionais se justifica por suas habilidades específicas em fomentar o aprimoramento das ações de Atenção Nutricional junto às equipes do Núcleo de Apoio à Saúde da Família e Atenção Básica (eNASF-AB), da Estratégia Saúde da Família (ESF) e da APS [³⁴,⁴¹].

Ainda que, na PNAN, mencione-se o papel estratégico das equipes multiprofissionais, o nutricionista é o profissional de referência no matriciamento das ações de A&N na APS [⁴¹]. Daí a importância de qualificação das eNASF-AB, da ESF e da APS, fomentando a educação permanente [⁴²]. Outrossim, este profissional revela maior conhecimento e autoeficácia para implementar as recomendações do Guia Alimentar para a população brasileira [⁴³].

Os critérios de inclusão no painel de especialistas foram: ser nutricionista, não ter participado das etapas anteriores do estudo, atuar em unidades de APS ou na gestão da AN municipal/estadual/federal (Grupo 1); ou ser nutricionista, atuar na docência e/ou na pesquisa na área de Alimentação e Nutrição em Saúde Coletiva (ANSC) (Grupo 2). Portanto, especialistas do núcleo das ações [⁴⁰,⁴⁴]de A&N na APS, com qualificação e experiência prática e/ou científica, o que respalda a análise do instrumento e concede credibilidade à validação [⁴⁰].

Aos Conselhos Regionais de Nutricionistas (CRN) e ao Conselho Federal de Nutricionistas (CFN) solicitaram-se a divulgação do estudo nas mídias sociais e a indicação de participantes (Grupo 1). Procurou-se por integrantes dos extintos Centros Colaboradores em A&N governamentais e acadêmicos e coordenadores(as) estaduais de A&N. Consultaram-se ainda autores de trabalhos publicados em anais de evento de interesse. No total, 268 nutricionistas foram convidados, dos quais 205 profissionais da APS e 63 docentes e pesquisadores.

O convite foi realizado por e-mail, contendo o Termo de Consentimento Livre e Esclarecido (TCLE), as instruções de preenchimento e o link do software QuestionPro^® [⁴⁵] software que foi utilizado para a construção do Instrumento de Consulta (IC), composto pelo IAAN e por asserções e o questionário para caracterização dos especialistas.

Solicitou-se aos especialistas a avaliação da clareza e da relevância das questões e dos indicadores [⁴⁶]. Acresce-se que o IC contemplava espaço para sugestões ou comentários [⁴⁷].

O grau de concordância dos especialistas sobre a clareza e a relevância dos itens foi verificado utilizando-se escala do tipo Likert de quatro pontos: 4- Concordo totalmente, 3- Concordo em grande parte, 2- Discordo em grande parte, 1- Discordo totalmente [⁴⁸-⁵⁰]. Para todas as opções de resposta, exceto a opção 4, solicitou-se justificativa.

Os critérios para assumir que um item obteve consenso e teve seu conteúdo validado foram: (1) Média de pontuação na escala do tipo Likert: 1 a 1,99 pontos= percepção negativa sobre o item avaliado, requerendo ajustes; 2 a 2,99 pontos= percepção indicativa de necessidade de ajustes no item avaliado, porém com percepção geral positiva do item 3 a 4 pontos= percepção positiva do item avaliado; (2) Distribuição de frequência das respostas, no mínimo 51% dos especialistas com respostas entre 3 e 4 na escala. (3) Diferença interquartil: <1,0, se = 1, distribuição de frequência das respostas entre “concordo totalmente” e “concordo em grande parte” >60% e (4) Desvio Padrão (DP): <1,5 [⁵¹,⁵²]. Para verificação dos critérios do consenso utilizou-se o programa Microsoft Excel^® 2010. As sugestões ou os comentários, bem como as justificativas, foram avaliados para posterior ajuste do IAAN, antes da submissão à Segunda Rodada Delphi.

Para a segunda rodada, enviaram-se novos e-mails aos especialistas, contendo: o relatório de feedback dos principais resultados da Primeira Rodada Delphi e o perfil dos participantes; a fundamentação teórica sobre as justificativas emitidas na Primeira Rodada, para reiterar conceitos e outros elementos constituintes do IAAN que, até então, não estavam claros para os mesmos e também como devolutiva para as sugestões apresentadas [⁴⁰]; e o IC apenas com os itens cujo consenso não foi obtido na Primeira Rodada. Foram utilizados os mesmos critérios da Primeira Rodada na segunda. Como o consenso foi alcançado com a Segunda Rodada dispensaram-se rodadas posteriores. Após a análise dos resultados desta rodada, enviou-se ao painel de especialistas um relatório sobre os resultados do processo de validação.

Este trabalho foi aprovado pelo Comitê de Ética em Pesquisa da Universidade de São Paulo, sob o número de parecer 1.661.045.

RESULTADOS

O processo de construção e validação do instrumento durou, aproximadamente, 15 meses, desde a revisão bibliográfica para a construção do IAAN até a validação, com a finalização da Segunda Rodada Delphi. A Figura 1 ilustra como as rodadas Delphi foram conduzidas.

Figura 1
Processo de validação de conteúdo do Instrumento de Avaliação da Organização da Atenção Nutricional na Atenção Primária à Saúde, segundo Técnica Delphi. Brasil, 2017.

Participaram do estudo 41 especialistas das cinco macrorregiões brasileiras, na Primeira Rodada Delphi, e 29 na Segunda Rodada. Os participantes de ambas as rodadas (n=29) atuavam com AN na execução das ações, gestão, pesquisa ou docência; destes, 26 se autoavaliaram com experiência adequada em “Atenção Nutricional na APS” e 15 revelaram experiência de 6 a 10 anos.

A maioria dos pesquisadores (44,83%) trabalhava em Instituições de Ensino Superior (IES); em segundo lugar estavam os nutricionistas atuantes na gestão das ações de A&N, em uma das três esferas de governo (24,14%). Sobre a natureza das instituições de vínculo, a maior parte (89,7%) atuava em serviços públicos.

Na Primeira Rodada, que durou 22 dias, 95% dos itens do instrumento tiveram seu conteúdo validado.

Apenas o Indicador 1: Atuação do nutricionista, não obteve consenso e foi modificado e submetido à apreciação na Segunda Rodada. Alterou-se o enunciado do Indicador para “Atuação do nutricionista: formação, conhecimento, relação com a equipe, carga horária e processo de trabalho”. Acrescentaram-se três questões e duas foram reformuladas. Na primeira, passou-se a interrogar sobre mais dois aspectos (tipo de contrato de trabalho e carga horária), além do tipo de vinculação do(a) nutricionista. Modificou-se o formato da resposta de alternativas para tabela, cujas colunas representam os aspectos mencionados.

A segunda questão reformulada, que demandava avaliação da atuação do(a) nutricionista, teve seu enunciado acrescido dos aspectos a serem considerados para a avaliação: formação profissional, habilidades e conhecimentos para atuação, relação e envolvimento com a equipe de trabalho, carga horária e processo de trabalho. Ademais, esta passou a ser uma questão filtro, com opções de resposta objetivas: suficiente, insuficiente, não sabe avaliar. Em aplicações futuras, caso o(a) entrevistado(a) não seja nutricionista, ao responder “insuficiente” deverá selecionar os motivos em 11 opções de resposta, elaboradas segundo sugestões dos especialistas. Caso o(a) entrevistado(a) seja nutricionista, deverá responder à questão de autoavaliação e, se considerar sua atuação insuficiente, deverá justificá-la.

Além desses ajustes, agruparam-se as justificativas por afinidade de tema, elegendo aquelas que melhor representavam a opinião dos especialistas. Assim, elaboraram-se fundamentações teóricas para reiterar conceitos e outros elementos constituintes do IAAN, até então insuficientemente claros. Esse processo igualmente cumpriu o papel de devolutiva para as sugestões apresentadas.

Na Segunda Rodada, cuja duração foi de 35 dias, enviaram-se o Indicador 1 e suas respectivas questões ajustadas ao painel de especialistas. Os resultados desta revelaram o aumento do percentual de concordância dos especialistas, de 70,7% na Primeira Rodada para 96,6% na segunda, apontando para o consenso quanto à clareza e à concisão do Indicador 1 (Tabela 1).

Tabela 1
Validação de conteúdo do Instrumento de Avaliação da Organização da Atenção Nutricional, segundo critérios de consenso em duas rodadas. Brasil, 2017.

Rodadas
				Suficiente em sua composição												Clareza e concisção
Indicadores	N de itens			Média			DP			%			Q3-Q1			Média			DP			%			Q3-Q1
	1º	2º		1º	2º		1º	2º		1º	2º		1º	2º		1ºt	2º		1º	2º		1°	2º		1º	2º
1: Atuação do nutricionista	2	5		2,8	3,8		0,9	0,5		065,8	96,5		1,0	0,0		3,2	3,9		1,0	0,4		070,7	96,6		2,0	0,0
2: Apoio às ações de atenção nutricional	6	-		3,5	-		0,6	-		095,1	-		1,0	-		3,7	-		0,5	-		097,6	-		0,0	-
3: Interse-torialidade	3	-		3,4	-		0,7	-		087,8	-		1,0	-		3,5	-		0,8	-		087,8	-		1,0	-
4: Controle Social	2	-		3,7	-		0,5	-		100,0	-		1,0	-		3,8	-		0,5	-		097,6	-		0,0	-
5: Vigilância Alimentar e Nutricional	7	-		3,7	-		0,5	-		100,0	-		1,0	-		3,8	-		0,6	-		097,6	-		0,0	-
6: Atenção nutricional individual	9	-		3,6	-		0,6	-		097,6	-		1,0	-		3,8	-		0,6	-		097,6	-		0,0	-
7: Atenção nutricional para grupos	8	-		3,8	-		0,5	-		097,6	-		0,0	-		3,8	-		0,4	-		097,6	-		0,0	-
8: Atenção nutricional voltada ao pré-natal	3	-		3,8	-		0,4	-		100,0	-		0,0	-		3,9	-		0,5	-		097,6	-		0,0	-
9: Atenção nutricional voltada ao puerpério e aleitamento	4	-		3,8	-		0,5	-		097,6	-		0,0	-		3,9	-		0,3	-		100,0	-		0,0	-
10: Atenção nutricional à saúde da criança	2	-		3,8	-		0,5	-		097,6	-		0,0	-		3,8	-		0,5	-		092,7	-		0,0	-

• Nota: %: Percentual de concordância; Q1-Q3: Diferença interquartil; DP: Desvio Padrão.

Quanto à suficiência de questões na composição do Indicador 1, após o acréscimo de mais três, o percentual de concordância relativo à suficiência saltou de 65,8%, na Primeira Rodada, para 96,5% na Segunda.

Ao final da Segunda Rodada o conteúdo do IAAN foi validado, apresentando 68 questões, 19 delas sobre dados gerais da entrevista (n=4), caracterização do(a) entrevistado(a) (n=6) e da unidade de saúde (n=9), além das 49 questões que permitem avaliar a AN por meio de 10 indicadores, como pode ser observado no repositório de dados [⁵³]. A Figura 2 apresenta as modalidades e as instruções para aplicação do instrumento.

Figura 2
Modalidades e instruções para a aplicação do Instrumento de Avaliação da Organização da Atenção Nutricional na Atenção Primária à Saúde, Brasil, 2017.

DISCUSSÃO

A organização da Atenção Nutricional nos serviços de saúde, o monitoramento e a avaliação das ações de A&N, estão previstos na PNAN, para identificar a efetividade das ações e subsidiar o seu aprimoramento [²¹]. O Ministério da Saúde (MS) brasileiro propõe diretrizes para subsidiar a AN na APS, as quais compõem o IAAN. Contudo, um montante delas não se traduz, per se, em instrumento de avaliação. Esta é a proposta deste Instrumento de Avaliação da Organização Atenção Nutricional (IAAN): viabilizar o diagnóstico situacional da AN na APS, bem como facilitar a realização de avaliações periódicas, por compilar e traduzir, em formato de indicadores e questões validados, os conteúdos dessas diretrizes, podendo funcionar como uma bússola que aponta o caminho para a alocação de recursos.

O conteúdo do IAAN foi validado em apenas duas rodadas Delphi, o que demonstra a congruência do instrumento proposto. Inexistem requisitos ou diretrizes mundialmente aceitos que especifiquem o número de rodadas ou a definição de consenso na técnica Delphi [⁵⁴]. Neste estudo realizaram-se duas rodadas. Para definição do consenso utilizou-se um conjunto de critérios proporcionando um método confiável de avaliação [⁵¹,⁵⁵].

A validação de conteúdo do IAAN confere qualidade a processos avaliativos a serem desenvolvidos utilizando este instrumento e nisto reside a contribuição deste estudo para o avanço do conhecimento já que, até então, não se registram trabalhos semelhantes em periódicos de grande circulação.

A presença de especialistas com inserções diversas na AN na APS favoreceu a geração de respostas mais adensadas. A qualificação dos especialistas respaldou a análise do instrumento e concedeu credibilidade à validação. A participação de todas as macrorregiões Brasileiras possibilitou a análise do instrumento por profissionais atuantes em diferentes realidades do SUS. Ademais, o número de especialistas foi maior do que o observado em estudos desta natureza [⁵⁶,⁵⁷].

A extensa revisão de literatura para construção do IAAN permitiu averiguar os dados concernentes ao tema em questão [³⁷,⁵⁸]. Esta etapa garantiu que o instrumento se alicerçasse em recomendações oficiais, nacionais e internacionais e o rigor empregado refletiu-se na validação do instrumento, em sua quase totalidade, já na Primeira Rodada.

Uma das dificuldades deste estudo foi sensibilizar os especialistas para participação no painel. Todavia, o número de participantes superou o que se observa em outras pesquisas [⁵⁶,⁵⁷,⁵⁹]. Para minimizar perdas enviaram-se lembretes e os prazos foram prorrogados, ainda que a técnica Delphi prescinda de amostra representativa de participantes [⁴⁰,⁵¹,⁶⁰]. A redução do número de especialistas entre as rodadas não foi um fator preocupante, uma vez que tal diferença não afeta a qualidade ou a confiabilidade, por se tratar de painel [⁵¹]. Outra dificuldade do processo foi um erro do software QuestionPro^®, que impediu o registro de algumas respostas, o que foi solucionado com o envio das perguntas diretamente para o e-mail destes participantes.

Relativamente a outros instrumentos de avaliação, o Programa Previne Brasil (PPB) é o novo modelo de financiamento de custeio da APS [⁶¹]. Para 2020 definiram-se sete indicadores para o pagamento por desempenho, abrangendo as ações estratégicas de Pré-natal, Saúde da Mulher, Saúde da Criança e DCNT (Hipertensão Arterial e Diabetes Mellitus) [⁶²]. Segundo Massuda [⁶³], o PPB parece limitar o princípio da universalidade, acentuando as distorções no financiamento do SUS e as desigualdades sociais em saúde no Brasil. Embora perpasse frentes relativas ao IAAN, o PPB não as desenvolve, de modo que o instrumento proposto no presente estudo apresenta maior abrangência e se volta aos indicadores para avaliação da AN.

A estratégia oficial de avaliação anteriormente adotada, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica à Saúde (PMAQ), também não trazia enfoque para as ações de A&N, mesmo que possibilitasse obter algumas informações pontuais sobre estas [⁶⁴,⁶⁵].

O Primary Care Assessment Tool (PCATool, Instrumento de Avaliação da Atenção Primária), utilizado em pesquisas nacionais e internacionais, guarda semelhanças com o IAAN. Contudo, quanto às ações de A&N, o mesmo restringe-se a indagar sobre a oferta de orientações nutricionais [⁶⁶]. Outros instrumentos adaptados ao Brasil para a APS, como o European Task Force on Patient Evaluation of General Practice Care (EUROPEP) e o Patient-Doctor Relationship Questionnaire (PDRQ-9), são utilizados para avaliar a satisfação do usuário com os cuidados em saúde e a relação médico-paciente, respectivamente [⁶⁷,⁶⁸].

O Questionário de Avaliação da Qualidade de Serviços de Atenção Básica à Saúde (QualiAB), criado para avaliar serviços no Estado de São Paulo, foi relevante para a construção do IAAN quanto ao formato das questões. Porém, o QualiAB não teve como foco a avaliação da AN, apesar de investigar elementos desse núcleo de ações [⁵⁶].

O presente estudo apresenta limitações, como o extenso tamanho do instrumento proposto. Porém, por se dividir em indicadores, recortes podem ser selecionados para aplicação, a depender do objetivo da sua utilização, seja na gestão ou na pesquisa. Um aspecto que poderia constar no IAAN seriam scores para pontuação dos resultados de cada indicador. Por outro lado, trata-se de estudo inédito, no qual se construiu e validou o conteúdo do único instrumento de avaliação com foco ampliado na Organização da Atenção Nutricional na APS no Brasil.

CONCLUSÃO

O IAAN avança ao viabilizar o estabelecimento de processos avaliativos da Atenção Nutricional. Espera-se que este instrumento seja amplamente utilizado para identificar e avaliar a AN ofertada em municípios, estados e na esfera federal. Os resultados obtidos com futuras aplicações poderão contribuir para respaldar a qualificação da gestão das políticas de A&N.

AGRADECIMENTOS

À CAPES; aos Conselhos Regionais de Nutricionistas; aos pesquisadores da UNIFESP, que colaboraram com a revisão do Instrumento, aos profissionais que participaram do estudo piloto e aos especialistas brasileiros, que contribuíram com o processo de validação.

• Apoio: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) (Processo n. 33009015).
• Artigo elaborado a partir da dissertação de A.B. PACITO-ALMEIDA, intitulado “Desenvolvimento e validação de conteúdo de Instrumento de Avaliação da Organização da Atenção Nutricional na Atenção Primária à Saúde”. Universidade Federal de São Paulo; 2017.

Como citar esse artigo/How to cite this article

• Pacito-Almeida AB, Santana ABN, Zangirolani LTO, Medeiros MAT. Validação de conteúdo de Instrumento de Avaliação da Atenção Nutricional na Atenção Primária à Saúde. Rev Nutr. 2020;33:e200065. https://doi.org/10.1590/1678-9865202033e200065

REFERÊNCIAS

• ¹
  World Health Organization. Noncommunicable diseases. Geneva: Organization; 2018 [cited 2020 Mar 11]. Available from: http://www.who.int/news-room/fact-sheets/detail/noncommunicable-diseases
  » http://www.who.int/news-room/fact-sheets/detail/noncommunicable-diseases
• ²
  Institute for Health Metrics and Evaluation. Findings from the Global Burden of Disease Study 2017. Seattle: Institute; 2018.
• ³
  World Health Organization. Noncommunicable diseases country profiles 2018. Geneva: Organization; 2018.
• ⁴
  GBD 2017 Diet Collaborators. Health effects of dietary risks in 195 countries, 1990-2017: a systematic analysis for the Global Burden of Disease Study 2017. Lancet. 2019;393(10184):1958-72. https://doi.org/10.1016/S0140-6736(19)30041-8
  » https://doi.org/10.1016/S0140-6736(19)30041-8
• ⁵
  GBD 2017 Risk Factor Collaborators. Global, regional, and national comparative risk assessment of 84 behavioural, environmental and occupational, and metabolic risks or clusters of risks for 195 countries and territories, 1990-2017: a systematic analysis for the Global Burden of Disease Study 2017. Lancet. 2018;392(10159):1923-94. https://doi.org/10.1016/S0140-6736(18)32225-6
  » https://doi.org/10.1016/S0140-6736(18)32225-6
• ⁶
  Jardim PCBV. Overweight, the cardiovascular risk of the century. Arq Bras Cardiol. 2019:113(2)185-7.
• ⁷
  Afshin A, Forouzanfar MH, Reitsma MB, Sur P, Estep K, Lee A, et al Health effects of overweight and obesity in 195 countries over 25 years. N Engl J Med. 2017;377(1):13-27. https://doi.org/10.1056/NEJMoa1614362
  » https://doi.org/10.1056/NEJMoa1614362
• ⁸
  Ministério da Saúde (Brasil). Vigitel Brasil 2019: vigilância de fatores de risco e proteção para doenças crônicas por inquérito telefônico: estimativas sobre frequência e distribuição sociodemográfica de fatores de risco e proteção para doenças crônicas nas capitais dos 26 estados. Brasília: Ministério; 2020.
• ⁹
  Instituto Brasileiro de Geografia e Estatística. Pesquisa de Orçamentos Familiares 2008-2009: antropometria e estado nutricional de crianças, adolescentes e adultos no Brasil. Rio de Janeiro: Instituto; 2010.
• ¹⁰
  Ward ZJ, Long MW, Resch SC, Giles CM, Cradock AL, Gortmaker SL. Simulation of growth trajectories of childhood obesity into adulthood. N Engl J Med. 2017;377(22):2145-53. https://doi.org/10.1056/NEJMoa1703860
  » https://doi.org/10.1056/NEJMoa1703860
• ¹¹
  Horta BL, Victora CG, França GVA, Hartwig FP, Ong KK, Rolfe EDL, et al Breastfeeding moderates FTO related adiposity: a birth cohort study with 30 years of follow-up. Nature. 2018;8(1):1-11. https://doi.org/10.1038/s41598-018-20939-4
  » https://doi.org/10.1038/s41598-018-20939-4
• ¹²
  Victora CG, Bahl R, Barros AJD, França GVA, Horton S, Krasevec J, et al Breastfeeding in the 21st century: epidemiology, mechanisms, and lifelong effect. Lancet. 2016;387(10017):475-90. https://doi.org/10.1016/S0140-6736(15)01024-7
  » https://doi.org/10.1016/S0140-6736(15)01024-7
• ¹³
  Horta BL, Mola CL, Victora CG. Long-term consequences of breastfeeding on cholesterol, obesity, systolic blood pressure and type 2 diabetes: a systematic review and meta-analysis. Acta Paediatr Int J Paediatr. 2015;104(467):30-7. https://doi.org/10.1111/apa.13133
  » https://doi.org/10.1111/apa.13133
• ¹⁴
  Laporte-Pinfildi ASC, Medeiros MAT. Nutritional care during prenatal and postpartum periods: a report of experiences in a city on São Paulo’s coast. Rev Nutr. 2016;29(6):947-61. https://doi.org/10.1590/1678-98652016000600016
  » https://doi.org/10.1590/1678-98652016000600016
• ¹⁵
  Laporte-Pinfildi ASC, Zangirolani LTO, Spina N, Martins PA, Medeiros MAT. The nutritional care during the prenatal and postpartum: perceptions of managers of Primary Health Care. Rev Nutr. 2016;29(1):109-23. https://doi.org/10.1590/1678-98652016000100011
  » https://doi.org/10.1590/1678-98652016000100011
• ¹⁶
  Mitchell LJ, Ball LE, Ross LJ, Barnes KA, Williams LT. Effectiveness of dietetic consultations in primary health care: a systematic review of randomized controlled trials. J Acad Nutr Diet. 2017;117(12):1941-62. https://doi.org/10.1016/j.jand.2017.06.364
  » https://doi.org/10.1016/j.jand.2017.06.364
• ¹⁷
  Howatson A, Wall CR, Turner-Benny P. The contribution of dietitians to the primary health care workforce. J Prim Health Care. 2015;7(4):324-32. https://doi.org/10.1071/hc15324
  » https://doi.org/10.1071/hc15324
• ¹⁸
  Dietitians of Canada. Dietitians in primary health care. Ottawa: Dietitians of Canada; 2017 [cited 2017 Aug 29]. Available from: https://www.dietitians.ca/DietitiansOfCanada/media/Documents/Resources/DieittiansInPrimaryHealthCare-bilingual.pdf?ext=.pdf
  » https://www.dietitians.ca/DietitiansOfCanada/media/Documents/Resources/DieittiansInPrimaryHealthCare-bilingual.pdf?ext=.pdf
• ¹⁹
  Recine E, Carvalho MF, Leão M. O papel do nutricionista na atenção primária à saúde. Brasília: Conselho Federal de Nutricionistas; 2015 [citado 3 jun 2017]. Disponível em: https://www.cfn.org.br/wp-content/uploads/2015/11/livreto-atencao_primaria_a_saude-2015.pdf
  » https://www.cfn.org.br/wp-content/uploads/2015/11/livreto-atencao_primaria_a_saude-2015.pdf
• ²⁰
  Pereira TN, Monteiro RA, Santos LMP. Food and nutrition in primary care in Brazil. Gac Sanit. 2018;32(3):297-303. https://doi.org/10.1016/j.gaceta.2017.08.004
  » https://doi.org/10.1016/j.gaceta.2017.08.004
• ²¹
  Ministério da Saúde (Brasil). Política Nacional de Alimentação e Nutrição. 2nd. ed. Brasília: Ministério; 2012.
• ²²
  Ministério da Saúde (Brasil). Portaria n. 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS). Brasília: Ministério; 2017 [citado 2020 Jun 29]. Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2436_22_09_2017.html
  » https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2436_22_09_2017.html
• ²³
  Oliveira JTC, Gabriel CG, Machado ML, Réos MF, Soar C, Venske DKR. Government-subsidized restaurants as promoters of the realization of the human right to adequate food: proposal of an evaluation model. Rev Nutr. 2019;32:e180193. https://doi.org/10.1590/1678-9865201932e180193
  » https://doi.org/10.1590/1678-9865201932e180193
• ²⁴
  Pessini J, Gerage AM, Meurer ST, Barbosa AR, Lopes ACS, Benedetti TRB. Cross-cultural equivalence and psychometric proprieties of the social support scale for healthy eating habits. Rev Nutr. 2016;29(6):797-807. https://doi.org/10.1590/1678-98652016000600005
  » https://doi.org/10.1590/1678-98652016000600005
• ²⁵
  Pereira RDM, Alvim NAT. Delphi technique in dialogue with nurses on acupuncture as a proposed nursing intervention. Esc Anna Nery. 2015;19(1):174-80. https://doi.org/10.5935/1414-8145.20150024
  » https://doi.org/10.5935/1414-8145.20150024
• ²⁶
  Hohmann E, Brand JC, Rossi MJ, Lubowitz JH. Expert opinion is necessary: delphi panel methodology facilitates a scientific approach to consensus. Arthroscopy. 2018; 34(2):349-51. https://doi.org/10.1016/j.arthro.2017.11.022
  » https://doi.org/10.1016/j.arthro.2017.11.022
• ²⁷
  Terwee CB, Prinsen CAC, Chiarotto A, Westerman MJ, Patrick DL, Alonso J, et al COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Qual Life Res. 2018;27(5):1159-70. https://doi.org/10.1007/s11136-018-1829-0
  » https://doi.org/10.1007/s11136-018-1829-0
• ²⁸
  Jokiniemi K, Meretoja R, Pietilä AM. Constructing content validity of clinical nurse specialist core competencies: exploratory sequential mixed-method study. Scand J Caring Sci. 2018;32(4):1428-36. https://doi.org/10.1111/scs.12588
  » https://doi.org/10.1111/scs.12588
• ²⁹
  Roller-Wirnsberger R, Masud T, Vassallo M, Zöbl M, Reiter R, Van Den Noortgate N, et al European postgraduate curriculum in geriatric medicine developed using an international modified Delphi technique. Age Ageing. 2019;48(2):291-9. https://doi.org/10.1093/ageing/afy173
  » https://doi.org/10.1093/ageing/afy173
• ³⁰
  Hughes R, Begley A, Yeatman H. Consensus on the core functions of the public health nutrition workforce in Australia. Nutr Diet. 2016;73(1):103-11. https://doi.org/10.1111/1747-0080.12168
  » https://doi.org/10.1111/1747-0080.12168
• ³¹
  Desroches S, Lapointe A, Deschenes SM, Bissonnette-Maheux V, Gravel K, Thirsk J, et al Dietitians’ perspectives on interventions to enhance adherence to dietary advice for chronic diseases in adults. Can J Diet Pract Res. 2015;76(3):103-8. http://doi.org/10.3148/cjdpr-2015-009
  » https://doi.org/10.3148/cjdpr-2015-009
• ³²
  Williams KE, Sansoni J, Morris D, Thompson C. A Delphi study to develop indicators of cancer patient experience for quality improvement. Support Care Cancer. 2018;26(1):129-38. https://doi.org/10.1007/s00520-017-3823-4
  » https://doi.org/10.1007/s00520-017-3823-4
• ³³
  Vitorino SAS, Cruz MM, Barros DC. Modeling of food and nutrition surveillance in primary health care. Rev Nutr. 2017;30(1):109-26. https://doi.org/10.1590/1678-98652017000100011
  » https://doi.org/10.1590/1678-98652017000100011
• ³⁴
  Jaime PC, Tramontt CR, Maia TM, Gabe KT, Reis LC. Content validity of an educational workshop based on the Dietary Guidelines for the Brazilian Population. Rev Nutr. 2018;31(6):593-602. https://doi.org/10.1590/1678-98652018000600008
  » https://doi.org/10.1590/1678-98652018000600008
• ³⁵
  Primo CC, Henrique LR, Bertazo QS, Resende FZ, Leite FMC, Brandão MAG. Validation of the “Interactive Breastfeeding Scale”: theoretical and empirical analysis. Esc Anna Nery. 2020;24(1):e20190207. https://doi.org/10.1590/2177-9465-ean-2019-0207
  » https://doi.org/10.1590/2177-9465-ean-2019-0207
• ³⁶
  Silva AB, Piccoli AB, Pellanda LC. Knowledge and food practices questionnaire: construction and validation. J Pediatr. 2020 [in press]. https://doi.org/10.1016/j.jped.2019.11.006
  » https://doi.org/10.1016/j.jped.2019.11.006
• ³⁷
  Coluci MZO, Alexandre NMC, Milani D. Construction of measurement instruments in the area of health. Ciênc Saúde Coletiva. 2015;20(3):925-36. https://doi.org/10.1590/1413-81232015203.04332013
  » https://doi.org/10.1590/1413-81232015203.04332013
• ³⁸
  Dolan C, Glynn R, Lawlor B. A systematic review and Delphi study to ascertain common risk factors for T2DM and dementia and brain-related complications of diabetes. Can J Diabetes. 2020;44(7):628-35. https://doi.org/10.1016/j.jcjd.2020.01.004
  » https://doi.org/10.1016/j.jcjd.2020.01.004
• ³⁹
  Massaroli A, Martini JG, Lino MM, Spenassato D, Massaroli R. The delphi method as a methodological framework for research in nursing. Texto Contexto Enferm. 2017;26(4):e1110017. https://doi.org/10.1590/0104-07072017001110017
  » https://doi.org/10.1590/0104-07072017001110017
• ⁴⁰
  Fernández-Ávila DG, Rojas MX, Rosselli D. The Delphi method in rheumatology research: are we doing it right? Rev Colomb Reumatol. 2020 [in press]. https://doi.org/10.1016/j.rcreue.2019.04.007
  » https://doi.org/10.1016/j.rcreue.2019.04.007
• ⁴¹
  Ministério da Saúde (Brasil). Contribuições dos Núcleos de Apoio à Saúde da Família para a Atenção Nutricional. Brasília: Ministério; 2017.
• ⁴²
  Fittipaldi ALM, Barros DC, Romano VF. Matrix support in food and nutrition actions: the perspective of professionals of the Family Health Strategy. Physis. 2017;27(3):793-811. https://doi.org/10.1590/S0103-73312017000300021
  » https://doi.org/10.1590/S0103-73312017000300021
• ⁴³
  Reis LC, Jaime PC. Knowledge and perceived selfefficacy and collective efficacy of health professionals to implement the Brazilian Dietary Guidelines in Primary Health Care. Demetra. 2019;14:e39140. https://doi.org/10.12957/demetra.2019.39140
  » https://doi.org/10.12957/demetra.2019.39140
• ⁴⁴
  Campos GWS. Saúde pública e saúde coletiva: campo e núcleo de saberes e práticas. Ciênc Saúde Coletiva. 2000;5(2):219-30. https://doi.org/10.1590/S1413-81232000000200002.
  » https://doi.org/10.1590/S1413-81232000000200002
• ⁴⁵
  QuestionPro Brasil. Logiciels informatiques. São Francisco: QuestionPro; 2016 [cited 2016 Nov 20]. Available from: https://www.questionpro.com/pt-br
  » https://www.questionpro.com/pt-br
• ⁴⁶
  Leite SS, Áfio ACE, Carvalho LV, Silva JM, Almeida PC, Pagliuca LMF. Construction and validation of an Educational Content Validation Instrument in Health. Rev Bras Enferm. 2018;71(Suppl 4):1635-41. https://doi.org/10.1590/0034-7167-2017-0648
  » https://doi.org/10.1590/0034-7167-2017-0648
• ⁴⁷
  Holanda FL, Marra CC, Cunha ICKO. Professional competence of nurses in emergency services: evidence of content validity. Rev Bras Enferm. 2019;72(Suppl1):66-73. https://doi.org/10.1590/0034-7167-2017-0518
  » https://doi.org/10.1590/0034-7167-2017-0518
• ⁴⁸
  Linstone HA, Turoff M. The Delphi method: techniques and applications. Boston: Addison-Wesley Educational Publishers Inc; 2002 [cited 2017 Aug 29]. Available from: https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf
  » https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf
• ⁴⁹
  Likert R. A technique for the measturement of attittudes [thesis]. New York: New York University; 1932.
• ⁵⁰
  Nadler JT, Weston R, Voyles EC. Stuck in the middle: the use and interpretation of mid-points in items on questionnaires. J Gen Psychol. 2015;142(2):71-89. https://doi.org/10.1080/00221309.2014.994590
  » https://doi.org/10.1080/00221309.2014.994590
• ⁵¹
  Giannarou L, Zervas E. Using Delphi technique to build consensus in practice. Int J Bus Sci Appl Manage. 2014;9(2):65-82.
• ⁵²
  Camargo RGM, Caivano S, Bandoni DH, Domene SMA. Healthy eating at school: consensus among experts. Rev Nutr. 2016;29(6):809-19. https://doi.org/10.1590/1678-98652016000600006
  » https://doi.org/10.1590/1678-98652016000600006
• ⁵³
  Pacito-Almeida AB, Santana ABN, Medeiros MAT. Nutritional Attention Assessment Instrument_Iaan [dataset]. Figshare; 2020 [cited 2020 Oct 13]. https://doi.org/10.6084/m9.figshare.13087370
  » https://doi.org/10.6084/m9.figshare.13087370
• ⁵⁴
  Veziari Y, Kumar S, Leach M. The development of a survey instrument to measure the barriers to the conduct and application of research in complementary and alternative medicine: A Delphi study. Bmc Complement Altern Med. 2018 [cited 2020 Mar 16];18(1):335. Available from: https://bmccomplementalternmed.biomedcentral.com/articles/10.1186/s12906-018-2352-0
  » https://bmccomplementalternmed.biomedcentral.com/articles/10.1186/s12906-018-2352-0
• ⁵⁵
  Lang M, Plessis E. Sensory processing disorder: perceptions on the clinical role of advanced psychiatric nurses. Health SA Gesondheid. 2019[cited 2020 Mar 11];24:1197. Available from: http://www.ncbi.nlm.nih.gov/pubmed/31934431
  » http://www.ncbi.nlm.nih.gov/pubmed/31934431
• ⁵⁶
  Zarili TFT. Avaliação de serviços de atenção básica: atualização e validação do instrumento QualiAB. Universidade Estadual Paulista: Botucatu; 2015.
• ⁵⁷
  Braga RD, Lucena FN, Ribeiro-Rotta RF. A multiprofessional information model for Brazilian primary care: defining a consensus model towards an interoperable electronic health record. Int J Med Inform. 2016;90:48-57.
• ⁵⁸
  Bolarinwa O. Principles and methods of validity and reliability testing of questionnaires used in social and health science researches. Niger Postgrad Med J. 2015;22(4):195-201. https://doi.org/10.4103/1117-1936.173959
  » https://doi.org/10.4103/1117-1936.173959
• ⁵⁹
  Jokiniemi K, Haatainen K, Meretoja R, Pietilä AM. The future of the clinical nurse specialist role in Finland. J Nurs Scholarsh. 2015;47(1):78-86.
• ⁶⁰
  Lee J, Lee SH, Chang GT. Expert consensus on the development of a health-related questionnaire for the pediatric field of Korean medicine: a Delphi study. Bmc Complement Med Ther. 2020;20(1):1-13.
• ⁶¹
  Ministério da Saúde (Brasil). Portaria no 2.979, de 12 de novembro de 2019. Institui o Programa Previne Brasil, que estabelece novo modelo de financiamento de custeio da Atenção Primária à Saúde no âmbito do Sistema Único de Saúde, por meio da alteração da Portaria de Consolidação nº 6/GM/MS, de 28 de setembro de 2017. Brasília: Diário Oficial da União, 2020 [citado 29 jun 2020]. Disponível em: http://www.in.gov.br/en/web/dou/-/portaria-n-2.979-de-12-de-novembro-de-2019-227652180
  » http://www.in.gov.br/en/web/dou/-/portaria-n-2.979-de-12-de-novembro-de-2019-227652180
• ⁶²
  Ministério da Saúde (Brasil). Nota Técnica no 5/2020-DESF/SAPS/MS. Brasília: Diário Oficial da União, 2020 [citado 29 jun 2020]. Disponível em: https://egestorab.saude.gov.br/image/?file=20200204_N_SEIMS-0013327270-NotaTecnicaIndicadores_3604088260565235807.pdf
  » https://egestorab.saude.gov.br/image/?file=20200204_N_SEIMS-0013327270-NotaTecnicaIndicadores_3604088260565235807.pdf
• ⁶³
  Massuda A. Primary health care financing changes in the Brazilian Health System: advance ou setback? Ciênc Saúde Coletiva. 2020;25(4):1181-8. http://doi.org/10.1590/1413-81232020254.01022020
  » https://doi.org/10.1590/1413-81232020254.01022020
• ⁶⁴
  Silva FMVA. Alimentação e Nutrição na Atenção Básica à Saúde: estudo a partir da avaliação externa do Programa de Melhoria do Acesso e da Qualidade na Atenção Básica: PMAQ [dissertation]. Salvador: Universidade Federal da Bahia; 2019.
• ⁶⁵
  Ministério da Saúde (Brasil). Instrumento de Avaliação Externa para as Equipes de Atenção Básica (Saúde da Família e Equipe Parametrizada): Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ). Brasília: Ministério; 2013.
• ⁶⁶
  Ministério da Saúde (Brasil). Manual do Instrumento de Avaliação da Atenção Primária à Saúde: PCATool-Brasil: 2020. Brasília: Ministério; 2020.
• ⁶⁷
  Roque H, Veloso A, Ferreira PL. Portuguese version of the EUROPEP questionnaire: contributions to the psychometric validation. Rev Saúde Pública. 2016;50:61. https://doi.org/10.1590/S1518-8787.2016050006259
  » https://doi.org/10.1590/S1518-8787.2016050006259
• ⁶⁸
  Wollmann L, Hauser L, Mengue SS, Agostinho MR, Roman R, Van Der Feltz-Cornelis CM, et al Cross-cultural adaptation of the Patient- Doctor Relationship Questionnaire (PDRQ-9) in Brazil. Rev Saúde Pública. 2018;52:71. https://doi.org/10.11606/s1518-8787.2018052000380
  » https://doi.org/10.11606/s1518-8787.2018052000380

Datas de Publicação

• Publicação nesta coleção
  27 Nov 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  03 Abr 2020
• Revisado
  09 Set 2020
• Aceito
  07 Out 2020