Development and validation of performance indicators of the National School Food Program management

Bicalho, Daniela; Lima, Tácio de Mendonça; Santos, Thanise Sabrina Souza; Slater, Betzabeth

doi:10.1590/1413-81232022271.35782020

Acessibilidade / Reportar erro

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

TEMAS LIVRES • Ciênc. saúde coletiva 27 (01) • Jan 2022 • https://doi.org/10.1590/1413-81232022271.35782020 copy

Development and validation of performance indicators of the National School Food Program management

Authorship SCIMAGO INSTITUTIONS RANKINGS

Abstract

The evaluation of the National School Food Program (PNAE) is a strategic action to ensure the quality of management. This study aims to develop and validate an instrument of performance indicators to assess the management of the PNAE in the national context. A psychometric study was carried out for the development and validation of performance indicators. Twelve indicators were subsequently established and evaluated by an expert panel concerning seven attributes. The Delphi technique was used for the consensus of the expert panel, and the content validity of the indicators was analyzed with the Content Validity Ratio. Nutritionists working on the implementation of the PNAE assessed the relevance of the indicators by answering an online questionnaire to construct validity and reliability. Thirteen (43.3%, 13/30) experts participated in the Delphi round 1 and nine (69.2%, 9/13) completed the Delphi round 2. A new indicator was developed after the experts’ suggestions. Furthermore, 281 nutritionists participated in this study assessing the relevance of the indicators. Overall, content and construct validity were achieved for 13 indicators. All were considered relevant and had the potential to promote the assessment of PNAE operational management.

Key words:
School food; Program evaluation; Indicators; Reproducibility of results; Psychometrics

Variável		Especialistas (n=13)		Nutricionistas (n=281)
Variável		Média (DP)	[%]	Média (DP)	[%]
Idade (em anos)		46,8 (11,9)		35,3 (9,3)
Gênero
	Feminino		[84,6]		[93,6]
	Masculino		[15,4]		[6,4]
Grau de titulação
	Graduação		[0,0]		[35,6]
	Especialização		[23,1]		[45,6]
	Mestrado		[30,8]		[15,7]
	Doutorado		[46,1]		[3,2]
Experiência profissional (anos)		23,0 (11,3)		9,7 (8,9)
Experiência no PNAE (em anos)		15,5 (9,8)		5,2 (5,0)
Região de atuação
	Centro-Oeste		[15,4]		[6,4]
	Nordeste		[15,4]		[22,8]
	Norte		[7,7]		[27,1]
	Sudeste		[53,9]		[34,5]
	Sul		[7,7]		[9,3]
Coeficiente de competência (K)		0,85 (0,05)		NA

Indicador	Atributos	Rodada 1			Rodada 2
Indicador	Atributos	CVR^a	_f K ^b	Interpretação	CVR^a	_f K ^b	Interpretação
Execução dos recursos financeiros	Relevância	0,85	0,58	Aprovado
	Clareza	0,69
	Acessibilidade	0,54
	Efetividade	0,69
	Viabilidade	0,85
	Objetividade	0,69
	Generalizável	0,54
Universalidade do atendimento	Relevância	1,00	0,87	Aprovado
	Clareza	0,69
	Acessibilidade	0,85
	Efetividade	1,00
	Viabilidade	1,00
	Objetividade	0,85
	Generalizável	1,00
Monitoramento técnico do programa	Relevância	1,00	0,93	Aprovado
	Clareza	0,85
	Acessibilidade	0,69
	Efetividade	1,00
	Viabilidade	0,85
	Objetividade	0,85
	Generalizável	0,85
Oferta de alimentos in natura nos cardápios	Relevância	1,00	0,90	Aprovado
	Clareza	0,69
	Acessibilidade	1,00
	Efetividade	0,69
	Viabilidade	0,85
	Objetividade	0,85
	Generalizável	0,85
Uso de produtos ultraprocessados nos cardápios	Relevância	1,00	0,84	Revisado	0,78	0,71	Aprovado
	Clareza	0,38
	Acessibilidade	0,54
	Efetividade	1,00
	Viabilidade	0,83
	Objetividade	0,54
	Generalizável	0,85
Apoio à agricultura familiar	Relevância	1,00	1,00	Aprovado
	Clareza	1,00
	Acessibilidade	1,00
	Efetividade	1,00
	Viabilidade	1,00
	Objetividade	1,00
	Generalizável	1,00
Adequação das necessidades nutricionais	Relevância	0,69	0,51	Revisado		0,50	Aprovado
	Clareza	0,85
	Acessibilidade	0,08			1,00
	Efetividade	0,54
	Viabilidade	0,23			1,00
	Objetividade	0,69
	Generalizável	0,23			1,00
Promoção, proteção e apoio ao aleitamento materno	Relevância	0,69	0,34			0,50	Aprovado
	Clareza	0,08			1.00
	Acessibilidade	0,54
	Efetividade	0,08			1.00
	Viabilidade	0,38			1.00
	Objetividade	0,23			1,00
	Generalizável	0,38			1.00
Inclusão da Educação Alimentar e Nutricional	Relevância	1,00	0,81	Aprovado
	Clareza	0,54
	Acessibilidade	1,00
	Efetividade	0,69
	Viabilidade	1,00
	Objetividade	0,69
	Generalizável	0,85
Necessidades alimentares especiais	Relevância	1,00	0,87	Aprovado
	Clareza	1,00
	Acessibilidade	0,69
	Efetividade	1,00
	Viabilidade	0,85
	Objetividade	1,00
	Generalizável	0,69
Adesão à alimentação escolar	Relevância	1,00	0,79	Aprovado
	Clareza	0,69
	Acessibilidade	0,54
	Efetividade	0,85
	Viabilidade	0,85
	Objetividade	1,00
	Generalizável	1,00
Controle Social da alimentação escolar	Relevância	1,00	0,70	Revisado	1,00	0,67	Aprovado
	Clareza	1,00
	Acessibilidade	0,38
	Efetividade	0,69
	Viabilidade	0,69
	Objetividade	1,00
	Generalizável	0,54
Horário das refeições	Relevância				1.00	0.81	Aprovado
	Clareza				1.00
	Acessibilidade				1.00
	Efetividade				1.00
	Viabilidade				1.00
	Objetividade				1,00
	Generalizável				1.00

Indicadores	KMO/ Bartllet^a	Nº fatores	Variância explicada^b	Cargas fatorais^c	Comunalidades^d	Alfa de Cronbac^he
Execução dos recursos financeiros	0.95/ p<0,001	1	0,54	0,63	0,40	0,94
Universalidade do atendimento				0,68	0,46
Monitoramento técnico do programa				0,72	0,51
Oferta de alimentos in natura nos cardápios				0,81	0,65
Uso de produtos ultraprocessados nos cardápios				0,74	0,54
Apoio à agricultura familiar				0,72	0,52
Adequação das necessidades nutricionais				0,71	0,50
Promoção, proteção e apoio ao aleitamento materno				0,68	0,46
Inclusão da Educação Alimentar e Nutricional				0,83	0,69
Necessidades alimentares especiais				0,85	0,73
Adesão à alimentação escolar				0,77	0,59
Controle Social da alimentação escolar				0,75	0,56
Horário das refeições				0,63	0,39

Indicador	Respostas positivas % (n)^a		Valor de p^b
Indicador	Especialistas (n=13)	Nutricionistas (n=281)
Execução dos recursos financeiros	92,3 (12)	91,1 (256)	0,881
Universalidade do atendimento	100,0 (13)	90,4 (254)	0,242
Monitoramento técnico do programa	100,0 (13)	91,8 (258)	0,283
Oferta de alimentos in natura nos cardápios	100,0 (13)	94,7 (266)	0,393
Uso de produtos ultraprocessados nos cardápios	100,0 (13)	95,7 (269)	0,448
Apoio à agricultura familiar	100,0 (13)	96,4 (271)	0,490
Adequação das necessidades nutricionais	84,6 (11)	90,0 (253)	0,529
Promoção, proteção e apoio ao aleitamento materno	84,6 (11)	86,1 (242)	0,878
Inclusão da Educação Alimentar e Nutricional	100,0 (13)	94,3 (265)	0,377
Necessidades alimentares especiais	100,0 (13)	94,3 (265)	0,377
Adesão à alimentação escolar	100,0 (13)	92,5 (260)	0,307
Controle Social da alimentação escolar	100,0 (13)	91,8 (258)	0,283
Horário das refeições^c	88,9 (8)	86,5 (243)	0,835

Indicador	Objetivo	Medida		Frequência
Execução dos recursos financeiros (I₁)	Medir o aporte de recursos financeiros próprios da Entidade Executora utilizados na aquisição de alimentos, complementar a verba do PNAE repassada pelo FNDE	(Valor dos recursos financeiros próprios da Entidade Executora utilizados na aquisição de alimentos ÷valor total dos recursos financeiros repassados pelo PNAE) x 100^(b)	Manter/Avançar	≥15	Anual
			Atentar	15-11
			Revisar	10-5
			Priorizar	<5
Universalidade do atendimento (I₂)	Verificar o atendimento da alimentação escolar para todos os estudantes matriculados durante o período letivo de forma ininterrupta	(Nº de dias letivos com atendimento de alimentação escolar a todos os estudantes matriculados^(c) ÷ nº total de dias letivos) x 100	Manter/Avançar	100	Anual
			Atentar	99-90
			Revisar	89-80
			Priorizar	<80
Monitoramento técnico do programa (I₃)	Monitorar a execução do programa de alimentação escolar nas escolas por meio de visita técnica do nutricionista responsável técnico ou quadro técnico^(d)	(Nº total de visitas de nutricionistas do PNAE para monitoramento do programa nas escolas^(e) no mês ÷ nº total de escolas) x 100	Manter/Avançar	≥70	Semestral
			Atentar	69-41
			Revisar	20-40
			Priorizar	<20
Oferta de alimentos in natura nos cardápios (I₄)	Averiguar a oferta de preparações com alimentos in natura(f) nos cardápios escolares	(Nº de preparações com alimento in natura (g) ÷ nº total de itens do cardápio da semana) x 100	Manter/Avançar	≥30	Mensal
			Atentar	29-11
			Revisar	10-5
			Priorizar	<5
Uso de produtos ultraprocessados^(f) nos cardápios (I₅)	Averiguar o uso de produtos ultraprocessados nos cardápios escolares	(Nº de vezes que cada produto do grupo ultraprocessados é oferecido no cardápio da semana^(h) ÷ nº total de itens do cardápio da semana) x 100	Manter/Avançar	<30	Mensal
			Atentar	30-45
			Revisar	46-69
			Priorizar	≥70
Apoio à agricultura familiar (I₆)	Identificar os recursos financeiros alocados na aquisição de gêneros alimentícios produzidos pela agricultura familiar	(Valor de recursos financeiros⁽ⁱ⁾ gastos na aquisição de alimentos da agricultura familiar ÷ valor total de recursos financeiros repassados pelo FNDE) x 100	Manter/Avançar	≥30	Anual
			Atentar	29-15
			Revisar	14-5
			Priorizar	<5
Adequação das necessidades nutricionais(j) (I₇)	Avaliar adequação dos macronutrientes dos cardápios escolares em relação aos valores de referência das necessidades nutricionais dos estudantes	(Nº de cardápios com adequação das necessidades nutricionais dos macronutrientes na semana ÷ nº total de cardápios da semana) x 100	Manter/Avançar	≥70	Semestral
			Atentar	69-41
			Revisar	40-20
			Priorizar	<20
Promoção, proteção e apoio ao aleitamento materno (I₈)	Investigar a existência de ações de promoção, proteção e de apoio ao aleitamento materno pelos Centros de Educação Infantil (CEI)	(Nº de CEI com ações de incentivo ao aleitamento materno^(k) ÷ n° total de CEI) x 100	Manter/Avançar	≥50	Semestral
			Atentar	40-31
			Revisar	30-10
			Priorizar	<10
Inclusão da Educação Alimentar e Nutricional (I₉)	Identificar a inclusão da EAN nas escolas como estratégia de estímulo às práticas alimentares e estilos de vida saudáveis dos estudantes	(Nº de escolas que realizaram atividades educativas^(l) sobre alimentação e nutrição ÷ nº total de escolas) x 100	Manter/Avançar	≥50	Anual
			Atentar	49-30
			Revisar	29-10
			Priorizar	<10
Necessidades alimentares especiais(m) (I₁₀)	Verificar o atendimento das necessidades alimentares especiais dos estudantes	(Nº estudantes atendidos em suas necessidades alimentares especiais pelas escolas ÷ n° total de estudantes que solicitaram o atendimento específico) x 100	Manter/Avançar	≥100	Semestral
			Atentar	99-80
			Revisar	79-50
			Priorizar	<50
Adesão à alimentação escolar (I₁₁)	Medir o percentual de estudantes que referiram consumir a alimentação preparada pela escola.	(Nº de estudantes que aderiram a, no mínimo, uma refeição da alimentação escolar no dia ÷ nº de estudantes presentes na escola no dia) x 100	Manter/Avançar	≥70	Semestral
			Atentar	69-50
			Revisar	49-30
			Priorizar	<30
Controle Social da alimentação escolar (I₁₂)	Avaliar a participação do conselho de alimentação escolar (CAE) no controle social do programa	[(Nº escolas visitadas pelo CAE ÷ nº total de escolas) x Peso do porte populacional^(o)] x 100	Manter/Avançar	≥30	Semestral
			Atentar	29-21
			Revisar	10-20
			Priorizar	<10
Horário das refeições (I₁₃)	Identificar a compatibilidade dos horários das refeições do tipo lanche, almoço e jantar servidas pelas escolas com os horários social e biologicamente aceitos	(Nº escolas que fornecem refeições em horário social e biologicamente aceitos^(p) ÷ nº total de escolas) x 100	Manter/Avançar	≥60	Semestral
			Atentar	60-41
			Revisar	40-20
			Priorizar	<20

^(aManter/Avançar: representa os indicadores que estão de acordo com a imagem-objetivo que se deseja construir; Atentar: sinaliza os indicadores que apresentaram avanços, porém precisam ser aperfeiçoados; Revisar: evidencia os indicadores que precisam melhorar; Priorizar: sinaliza os indicadores que precisam ser priorizados. ^(b)Utilizar para medida os dados dos recursos financeiros do ano anterior. ^(c)Incluir todos os estudantes declarados no Censo Escolar do ano anterior, inclusive os atendidos pelo Programa Mais Educação e Atendimento Escolar Especializado. ^(d)Entende-se por visita técnica do nutricionista do PNAE responsável técnico ou quadro técnico uma visita na escola direcionada para as orientações técnicas necessárias para a execução do programa na escola e o preenchimento do roteiro de visita. ^(e)Considerar uma visita por escola por mês, considerando que a mesma escola pode ser visitada mais de uma vez no mesmo mês. ^(f),(g)Utilizar como apoio teórico o Guia alimentar para a população Brasileira19. ^(h)Para o cálculo da medida deve ser contabilizado o número de vezes que cada produto ultraprocessados foi servido em cada dia da semana do mesmo cardápio. Dessa forma, caso o produto seja servido mais de uma vez ele será contabilizado novamente. ⁽ⁱ⁾Para o cálculo da medida, utilizar os valores do recurso financeiro oriundos da verba do FNDE para compra de alimentos que são enviados mensalmente. ^(j)Entende-se por adequação das necessidades nutricionais os cardápios escolares que atendem aos valores de referência das necessidades nutricionais para macronutrientes (proteína, carboidrato e lipídeo) para cada modalidade/etapa de ensino e faixa etária dos estudantes. Sugere-se utilizar como apoio para medida do indicador a Ferramenta Plan PNAE de planejamento de cardápios e o Manual Plan PNAE: Ferramenta de Planejamento de Cardápio20. ^(k)Entende-se por incentivo ao aleitamento materno os CEI que visem à promoção, proteção e apoio ao aleitamento materno, realizando pelo menos uma das seguintes ações: 1- acolhimento e incentivo às famílias que desejam amamentar; orientação sobre a manutenção do aleitamento materno após o ingresso da criança no CEI; 2- orientação e envolvimento da equipe do CEI nas ações de apoio ao aleitamento materno; 3- organização de momentos, ambientes e materiais que acolhem e favorecem o aleitamento materno. ^(l)Entende-se por atividades educativas qualquer ação com o tema de alimentação e nutrição desenvolvida pela escola com a finalidade pedagógica, tais como: horta, roda de conversa, palestras, apresentação de alimentos, contação de histórias, oficina culinária, degustação de alimentos, socialização e exploração do cardápio escolar, planejamento e organização do espaço do refeitório, visita a feiras e sacolões, entre outros. ^(m)Sugere-se utilizar como apoio teórico o Caderno de Referência sobre Alimentação Escolar para Estudantes com Necessidades Alimentares Especiais21. ⁽ⁿ⁾Utilizar como apoio para medida do indicador o Manual para aplicação dos testes de aceitabilidade no Programa Nacional de Alimentação Escolar22. ^(o)O porte populacional foi considerado como fator específico na mensuração da medida do indicador “Controle social da alimentação escolar”, no qual o tamanho dos municípios pode influenciar no juízo de valor do parâmetro. Dessa forma, o tamanho do porte dos municípios tem peso diferente no cálculo da medida destes indicadores, sendo estratificado em 4 grupos: - Pequeno porte I (até 20 mil habitantes) e pequeno porte II (20 mil a 50 mil habitantes): utilizar peso igual a um; - Médio porte (50 mil a 100 mil habitantes): utilizar peso igual a dois; - Grande porte (100 mil a 900 mil habitantes): utilizar peso igual a três; - Metrópole (acima de 900.000 habitantes): utilizar peso igual a quatro. Utilizar como apoio para verificar o tamanho do porte dos municípios o site do IBGE23. ^(p)Entende-se por horário social e biologicamente aceitos as refeições de almoço entre 11 horas e 14 horas, de jantar a partir das 17 horas, e de lanche nos horários de intervalos destas refeições principais.
Fonte: Autores.

ABRASCO - Associação Brasileira de Saúde Coletiva Av. Brasil, 4036 - sala 700 Manguinhos, 21040-361 Rio de Janeiro RJ - Brazil, Tel.: +55 21 3882-9153 / 3882-9151 - Rio de Janeiro - RJ - Brazil
E-mail: cienciasaudecoletiva@fiocruz.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Colaboradores

D Bicalho, TM Lima e B Slater contribuíram para o planejamento e desenho da pesquisa. D Bicalho, TM Lima e TSS Santos conduziram a análise e busca de dados. D Bicalho redigiu o manuscrito. Todos os autores comentaram os rascunhos e leram e aprovaram a versão do manuscrito final encaminhada.