Desenvolvimento e validação de indicadores de desempenho da gestão do Programa Nacional de Alimentação Escolar

Development and validation of performance indicators of the National School Food Program management

Resumo

A avaliação do Programa Nacional de Alimentação Escolar (PNAE) é ação estratégica para garantir a qualidade da gestão. O objetivo deste estudo é desenvolver e validar um instrumento de indicadores de desempenho para avaliação da gestão do PNAE no contexto nacional. Trata-se de um estudo psicométrico de construção e validação de indicadores de desempenho. Foram estabelecidos 12 indicadores, posteriormente, avaliados em painel de especialistas em relação a sete atributos. Para obter consenso foi utilizada a técnica Delphi e a validade de conteúdo foi analisada com a Razão de Validade de Conteúdo. Para a validade de constructo e confiabilidade, nutricionistas que trabalham na execução do PNAE avaliaram a relevância dos indicadores respondendo um questionário online. A taxa de resposta dos especialistas na primeira rodada da técnica Delphi foi de 43,3% (13/30) e de 69,2% (9/13) na segunda rodada. Um novo indicador foi desenvolvido após a avaliação do painel de especialistas. Um total de 281 nutricionistas participaram do estudo da relevância dos indicadores. No geral, a validade de conteúdo e constructo foi alcançada para 13 indicadores. Todos os 13 indicadores se apresentaram relevantes, com potencial para promover a avaliação da gestão operacional do PNAE.

Palavras-chave:
Alimentação escolar; Avaliação de programas; Indicadores; Reprodutibilidade dos testes; Psicometria

Abstract

The evaluation of the National School Food Program (PNAE) is a strategic action to ensure the quality of management. This study aims to develop and validate an instrument of performance indicators to assess the management of the PNAE in the national context. A psychometric study was carried out for the development and validation of performance indicators. Twelve indicators were subsequently established and evaluated by an expert panel concerning seven attributes. The Delphi technique was used for the consensus of the expert panel, and the content validity of the indicators was analyzed with the Content Validity Ratio. Nutritionists working on the implementation of the PNAE assessed the relevance of the indicators by answering an online questionnaire to construct validity and reliability. Thirteen (43.3%, 13/30) experts participated in the Delphi round 1 and nine (69.2%, 9/13) completed the Delphi round 2. A new indicator was developed after the experts’ suggestions. Furthermore, 281 nutritionists participated in this study assessing the relevance of the indicators. Overall, content and construct validity were achieved for 13 indicators. All were considered relevant and had the potential to promote the assessment of PNAE operational management.

Key words:
School food; Program evaluation; Indicators; Reproducibility of results; Psychometrics

Introdução

O Programa Nacional de Alimentação Escolar (PNAE), implementado há mais de 60 anos, é uma política pública brasileira universal e gratuita, sendo a mais antiga na área de segurança alimentar e nutricional^1,2. Desde 1998, o PNAE é gerenciado pelo Fundo Nacional de Desenvolvimento da Educação (FNDE), autarquia federal vinculada ao Ministério da Educação³, atende os estudantes de toda a rede pública da educação básica matriculados em escolas públicas, filantrópicas e em entidades comunitárias. O objetivo deste programa é contribuir para o crescimento, o desenvolvimento, a aprendizagem, o rendimento escolar dos estudantes e a formação de hábitos alimentares saudáveis, com a oferta de refeições e de ações de educação alimentar e nutricional⁴.

A avaliação do PNAE é ação estratégica para garantir a qualidade da tomada de decisões de seus gestores, a responsabilização dos profissionais envolvidos, o uso eficiente dos recursos financeiros, a maximização da operacionalização e melhoria dos resultados em saúde pública^5,6. A qualidade dos serviços de saúde deve permear políticas e objetivos organizacionais, com base nas premissas de segurança e na satisfação dos usuários e profissionais. Nesse sentido, indicadores de qualidade podem ser usados na avaliação de programas sociais⁷.

Um dos elementos mais desafiadores na avaliação de políticas públicas é medir a qualidade da gestão e, os indicadores de desempenho podem ser utilizados nesta avaliação⁸. Donabedian⁹ sugeriu que a avaliação da qualidade poderia ser realizada subdividindo o cuidado em três dimensões: estrutura, processo e resultado. Segundo Mainz¹⁰, diferentes classificações de indicadores podem ser úteis, considerando o propósito da avaliação. O conceito de indicador de desempenho foi utilizado neste estudo, entendendo-o como uma medida quantitativa que pode ser usada para acompanhar o progresso de uma organização e permitir o monitoramento, a tomada de decisões e a melhoria da qualidade, medindo funções específicas dentro de um processo ou resultados conhecidos, por estar associado ao processo^11,12.

Nenhum estudo desenvolveu indicadores de desempenho para avaliar a gestão nacional do PNAE e, os estudos que existem, desenvolverem indicadores com métodos pouco robustos e para uso em regiões específicas do país^13-15. Bicalho et al.¹⁶ já relataram a ausência de indicadores para avaliação e monitoramento com evidência de validade para o PNAE em uma recente revisão sistemática. Portanto, este estudo tem como objetivo desenvolver e validar um instrumento de indicadores de desempenho para o monitoramento e avaliação da gestão do PNAE no contexto nacional.

Métodos

Desenho do estudo

Trata-se de um estudo psicométrico¹⁷ conduzido no contexto brasileiro para o desenvolvimento e validação de indicadores de desempenho para avaliação e monitoramento da gestão do PNAE, no período de setembro de 2019 a maio de 2020. O método desenvolvido neste trabalho foi adaptado do estudo de Lima et al.¹⁸.

Desenvolvimento dos Indicadores de Desempenho

O desenvolvimento dos indicadores foi realizado por um grupo de pesquisa de uma Universidade Pública de São Paulo, Brasil, composto por quatro professores universitários com experiência na área de alimentação escolar e/ou desenvolvimento e validação de instrumentos, dois estudantes de doutorado e dois nutricionistas com experiência prática no PNAE e um pesquisador colaborador.

Para identificar os possíveis indicadores de desempenho, quatro membros do grupo de pesquisa realizaram uma revisão sistemática recentemente publicada¹⁶ para analisar os instrumentos de indicadores de qualidade para avaliar a gestão do PNAE. Além disso, também foram utilizados para construção do instrumento de indicadores de desempenho a legislação do PNAE⁴, documentos oficiais publicados^19-23, as experiências profissionais do grupo de pesquisa em nutrição e saúde pública e outros estudos consolidados na área de alimentação escolar^24,25 e de construção de indicadores^18,26. Com base nesse conhecimento, um instrumento de indicadores de desempenho foi proposto com informações sobre cada indicador, como: Nome, Objetivo, Medida, Parâmetro e Frequência. Para cada indicador, foi atribuído um juízo de valor e sua conversão em cores, definidas durante o desenho do protocolo de indicadores (https://doi.org/10.48331/scielodata.BWEYOX).

Painel de especialistas

Inicialmente, foi elaborada uma lista de especialistas com experiência reconhecida e sólidos conhecimentos na área de alimentação escolar, incluindo professores universitários e pesquisadores na área de saúde pública e alimentação escolar de várias regiões do Brasil, como: os integrantes dos Centros Colaboradores em Alimentação Escolar (CECANE), técnicos do Fundo Nacional de Alimentação Escolar (FNDE) e técnicos com experiência profissional na execução prática do PNAE em municípios de grande porte. Trinta potenciais especialistas foram convidados, via e-mail pessoal, para participar do estudo. É importante frisar que não existe um número mínimo de participantes quando se trata de tamanho de painel de especialistas²⁷. A competência dos especialistas foi avaliada com um questionário de autoavaliação proposto por Fernández²⁸, tendo como base o Coeficiente de Competência (K), podendo ser classificada em alta (0,8<K<1,0), média (0,5<K<0,8) e baixa (K<0,5).

Validação dos Indicadores de Desempenho

A técnica Delphi²⁹ foi utilizada para permitir o consenso entre especialistas utilizando um questionário online (Google Forms®) em duas rodadas. A primeira rodada ocorreu entre 16 de novembro e 16 de dezembro de 2019, quando os especialistas avaliaram a estrutura geral do instrumento e a qualidade das informações sobre o título e a descrição de cada possível indicador, observando a gramática e o uso de palavras apropriadas e corretas. Os especialistas também tiveram a oportunidade de enviar sugestões. Ademais, os especialistas avaliaram cada indicador segundo sete atributos desejáveis³⁰: 1- Relevância: a medida é relevante para qualquer tipo de entidade executora do PNAE; 2- Clareza: a medida pode ser facilmente explicada e compreendida; 3- Acessibilidade: os dados necessários para avaliar o indicador podem ser acessados rapidamente e com um custo mínimo; 4- Efetividade: capacidade de medir aquilo a que se propõe; 5- Viabilidade: a medida é aplicável; 6- Objetividade: permite mensurar de maneira clara, sem julgamento subjetivo; 7- Generalizável: a medida pode ser utilizada em qualquer entidade executora do PNAE. Os especialistas pontuaram cada atributo do indicador utilizando uma escala tipo Likert de cinco pontos: (1) discorda fortemente; (2) discorda; (3) não concorda nem discorda; (4) concorda; e (5) concorda fortemente³¹. Os especialistas foram encorajados a sugerir a inclusão, exclusão ou modificação para melhorar os possíveis indicadores.

O grupo de trabalho examinou todas as recomendações e sugestões fornecidas pelo painel de especialistas na primeira rodada. As sugestões consideradas mais pertinentes coletadas na primeira rodada foram avaliadas para incorporação ao instrumento e foram enviadas para especialistas na segunda rodada da técnica Delphi, que ocorreu entre 18 de fevereiro e 18 de março de 2020. Nesta rodada, os especialistas avaliaram apenas os atributos dos indicadores que passaram por reestruturações e, as inclusões e modificações de acordo com o julgamento feito na primeira rodada. O questionário da segunda rodada foi conduzido da mesma forma que o questionário anterior.

Após considerar as sugestões dos especialistas, uma nova versão do instrumento foi desenvolvida e enviada, por questionário online, para os nutricionistas que trabalhavam na execução do PNAE para entender as suas visões quanto à relevância dos indicadores. A seção de relevância foi escolhida por ser este considerado o atributo mais importante para o objetivo deste estudo, sendo avaliada em escala tipo Likert de cinco pontos (1, dispensável; 5, indispensável). Nutricionistas que trabalhavam na execução do PNAE e possuíam experiência e/ou conhecimento em alimentação escolar foram convidados a participar deste estudo por contato pessoal, e-mail e mídia social entre abril e junho de 2020.

Análise estatística

Uma estatística descritiva (média, desvio padrão e porcentual) foi utilizada para caracterizar os participantes do estudo.

A Razão de Validade de Conteúdo (Content Validity Ratio - CRV)³² foi utilizada para verificar a validade de conteúdo dos indicadores segundo cada atributo. O CVR foi calculado conforme a fórmula:

$CVR=ne–\left(N/2\right)/\left(N/2\right)$

Em que: ne - é número de especialistas que deram uma classificação de 4 a 5 (resposta positiva) na escala tipo Likert de cinco pontos; N - é o número total de especialistas participantes.

Os valores de CVR mínimos do método de Ayre e Scally³³ a 5% de probabilidade (Teste de significância bicaudal) foram considerados para determinar a evidência de validade de conteúdo de cada atributo de cada item.

Além disso, o kappa de Fleiss (_fK) também foi utilizado para verificar a concordância das respostas dos especialistas em cada indicador. As respostas foram dicotomizadas em resposta positiva (escore de 4-5) e resposta negativa (escore de 1-3). Os valores de _fK foram classificados considerando: <0,00 Fraco; 0,00-0,20 Leve; 0,21-0,40 Razoável; 0,41-0,60 Moderado; 0,61-0,80 Forte; 0,81-1,00 Quase perfeito^34,35.

Para a evidência de validade de constructo, as respostas dos nutricionistas atuantes nas entidades executoras do PNAE foram analisadas com a Análise Fatorial Exploratória com matriz policórica e rotação oblíqua do tipo Promax, com o objetivo de avaliar a estrutura fatorial do instrumento desenvolvido, além de testar o constructo da relevância do conjunto de indicadores de desempenho da gestão do Programa. Os dados foram considerados apropriados para análise fatorial quando o valor do teste de Kaiser-Meyer-Olkin (KMO) ≥0,50 e o teste de esfericidade de Bartlett com p<0,05³⁶. A decisão sobre o número de fatores a ser retido foi realizada por meio da Análise Paralela com estimação por “usl”³⁶. Foram retidos no conjunto final aqueles indicadores com comunalidades ≥0,40 e cargas fatoriais entre 0,40 e 0,85³⁷. A variância explicada foi considerada adequada quando superior a 0,50³⁸.

A adequação do modelo foi avaliada segundo os índices de ajuste Root Mean Square Error of Aproximation (RMSEA) e Tucker-Lewis Index (TLI). Foram considerados valores aceitáveis de quando RMSEA<0,08 e TLI>0,90³⁵.

Para o estudo da confiabilidade (consistência interna), foi utilizado o coeficiente alfa de Cronbach, sendo aceitos valores ≥0,70³⁵.

O teste de Mann-Whitney foi utilizado para comparar as visões dos especialistas e nutricionistas sobre a relevância dos indicadores.

As análises estatísticas foram realizadas no pacote psych do ambiente R Project versão 3.6.3 e no Microsoft Excel 2016 (Microsoft Corporation, Seattle, WA, USA).

A versão final do instrumento de indicadores foi elaborada após considerar resultados da análise estatística e discussão pelo grupo de pesquisa.

Considerações éticas

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública da Universidade de São Paulo (CAAE: 01538918.8.0000.5421) e os participantes foram informados dos objetivos do estudo e da confidencialidade dos dados em termos de compromisso e de consentimento livre e esclarecido.

Resultados

Desenvolvimento dos Indicadores de Desempenho

Doze indicadores de desempenho foram propostos pelo grupo de pesquisa para avaliar a gestão do PNAE, incluindo: Execução dos recursos financeiros, Universalidade do atendimento, Monitoramento técnico do programa, Oferta de alimentos in natura nos cardápios, Uso de produtos ultraprocessados nos cardápios, Apoio à agricultura familiar, Adequação das necessidades nutricionais, Promoção, proteção e apoio ao aleitamento materno, Inclusão da Educação Alimentar e Nutricional, Necessidades alimentares especiais, Adesão à alimentação escolar, Controle Social da alimentação escolar e Horário das refeições.

Características do painel de especialistas e dos nutricionistas

As características dos especialistas e nutricionistas que participaram do estudo são apresentadas na Tabela 1. A taxa de respostas dos especialistas na primeira rodada da técnica Delphi foi de 43,3% (13/30) e de 69,2% (9/13) na segunda rodada. A maioria dos especialistas era do sexo feminino (n=11; 84,6%), com média de idade de 46,8 anos (DP=11,9) e com grau de titulação de doutorado (n=6; 46,1%). Todos trabalhavam em instituições públicas (universidades ou entidade executora do PNAE ou governo federal). O tempo total de experiência profissional variou de 11 a 34 anos (média=23,3; DP=11,3) e o tempo de experiência no PNAE variou de 5 a 25 anos (média=15,5; DP=9,8). Quanto à prevalência das regiões de atuação profissional dos especialistas, metade era da região Sudeste (53,9%), seguido pelas nas regiões Nordeste e Centro-Oeste (15,4%) e Norte e Sul (7,7%), com maiores percentuais de atuação nos seguintes estados do país: São Paulo (53,9%) Amazonas, Bahia, Piauí e Paraná (todos com 7,7%), e Distrito Federal (15,4%). Todos foram classificados com alto coeficiente de competência (média=0,85; DP=0,05).

Tabela 1
Características dos especialistas e nutricionistas participantes do estudo.

Variável		Especialistas (n=13)		Nutricionistas (n=281)
		Média (DP)	[%]	Média (DP)	[%]
Idade (em anos)		46,8 (11,9)		35,3 (9,3)
Gênero
	Feminino		[84,6]		[93,6]
	Masculino		[15,4]		[6,4]
Grau de titulação
	Graduação		[0,0]		[35,6]
	Especialização		[23,1]		[45,6]
	Mestrado		[30,8]		[15,7]
	Doutorado		[46,1]		[3,2]
Experiência profissional (anos)		23,0 (11,3)		9,7 (8,9)
Experiência no PNAE (em anos)		15,5 (9,8)		5,2 (5,0)
Região de atuação
	Centro-Oeste		[15,4]		[6,4]
	Nordeste		[15,4]		[22,8]
	Norte		[7,7]		[27,1]
	Sudeste		[53,9]		[34,5]
	Sul		[7,7]		[9,3]
Coeficiente de competência (K)		0,85 (0,05)		NA

• DP=desvio padrão; NA=não aplicado; NR=não reportado; PNAE=Programa Nacional de Alimentação Escolar.
• Fonte: Autores.

Um total de 281 nutricionistas participou do estudo da relevância dos indicadores após o painel de especialistas, sendo a maioria do sexo feminino (n=263; 93,6%), com média de idade de 35,3 anos (DP=9,3). Quanto ao grau de formação profissional, a maioria informou especialização (15,7%). Todos os nutricionistas trabalhavam em alguma entidade executora do PNAE. O tempo total de exercício profissional variou de 1 a 17 anos (média=9,7; DP=8,9) e o tempo de experiência no PNAE variou inferior a 1 ano até 10 anos (média=5,2; DP=5,0). A maior prevalência da região do país de atuação profissional dos nustricionistas foi a Sudeste (34,5%), seguida pela região Norte (27,1%), Nordeste (22,8%), Sul (9,3%) e Centro-Oeste (6,4%). Nutricionistas de todos os entes federados participaram do estudo, sendo a maior proporção de participantes em São Paulo (22,8%), Pará (13,9%), Minas Gerais (7,8%), Bahia (7,1%) e Amazonas (6,8%).

Validação dos Indicadores de Desempenho

A representação das etapas envolvidas no desenvolvimento dos indicadores de desempenho pode ser acessada no link https://doi.org/10.48331/scielodata.BWEYOX. O processo de validade de conteúdo para os indicadores de desempenho está apresentado na Tabela 2.

Tabela 2
Parâmetros para validação do conteúdo dos indicadores de desempenho propostos com base nas respostas do painel de especialistas.

Indicador	Atributos	Rodada 1			Rodada 2
		CVRa	f K b	Interpretação	CVRa	f K b	Interpretação
Execução dos recursos financeiros	Relevância	0,85	0,58	Aprovado
	Clareza	0,69
	Acessibilidade	0,54
	Efetividade	0,69
	Viabilidade	0,85
	Objetividade	0,69
	Generalizável	0,54
Universalidade do atendimento	Relevância	1,00	0,87	Aprovado
	Clareza	0,69
	Acessibilidade	0,85
	Efetividade	1,00
	Viabilidade	1,00
	Objetividade	0,85
	Generalizável	1,00
Monitoramento técnico do programa	Relevância	1,00	0,93	Aprovado
	Clareza	0,85
	Acessibilidade	0,69
	Efetividade	1,00
	Viabilidade	0,85
	Objetividade	0,85
	Generalizável	0,85
Oferta de alimentos in natura nos cardápios	Relevância	1,00	0,90	Aprovado
	Clareza	0,69
	Acessibilidade	1,00
	Efetividade	0,69
	Viabilidade	0,85
	Objetividade	0,85
	Generalizável	0,85
Uso de produtos ultraprocessados nos cardápios	Relevância	1,00	0,84	Revisado	0,78	0,71	Aprovado
	Clareza	0,38
	Acessibilidade	0,54
	Efetividade	1,00
	Viabilidade	0,83
	Objetividade	0,54
	Generalizável	0,85
Apoio à agricultura familiar	Relevância	1,00	1,00	Aprovado
	Clareza	1,00
	Acessibilidade	1,00
	Efetividade	1,00
	Viabilidade	1,00
	Objetividade	1,00
	Generalizável	1,00
Adequação das necessidades nutricionais	Relevância	0,69	0,51	Revisado		0,50	Aprovado
	Clareza	0,85
	Acessibilidade	0,08			1,00
	Efetividade	0,54
	Viabilidade	0,23			1,00
	Objetividade	0,69
	Generalizável	0,23			1,00
Promoção, proteção e apoio ao aleitamento materno	Relevância	0,69	0,34			0,50	Aprovado
	Clareza	0,08			1.00
	Acessibilidade	0,54
	Efetividade	0,08			1.00
	Viabilidade	0,38			1.00
	Objetividade	0,23			1,00
	Generalizável	0,38			1.00
Inclusão da Educação Alimentar e Nutricional	Relevância	1,00	0,81	Aprovado
	Clareza	0,54
	Acessibilidade	1,00
	Efetividade	0,69
	Viabilidade	1,00
	Objetividade	0,69
	Generalizável	0,85
Necessidades alimentares especiais	Relevância	1,00	0,87	Aprovado
	Clareza	1,00
	Acessibilidade	0,69
	Efetividade	1,00
	Viabilidade	0,85
	Objetividade	1,00
	Generalizável	0,69
Adesão à alimentação escolar	Relevância	1,00	0,79	Aprovado
	Clareza	0,69
	Acessibilidade	0,54
	Efetividade	0,85
	Viabilidade	0,85
	Objetividade	1,00
	Generalizável	1,00
Controle Social da alimentação escolar	Relevância	1,00	0,70	Revisado	1,00	0,67	Aprovado
	Clareza	1,00
	Acessibilidade	0,38
	Efetividade	0,69
	Viabilidade	0,69
	Objetividade	1,00
	Generalizável	0,54
Horário das refeições	Relevância				1.00	0.81	Aprovado
	Clareza				1.00
	Acessibilidade				1.00
	Efetividade				1.00
	Viabilidade				1.00
	Objetividade				1,00
	Generalizável				1.00

• ^aRazão de Validade de Conteúdo - Content Validity Ratio (CVR): o nível aceitável foi estabelecido em 0,54 (para o painel com 13 especialistas) e 0,78 (para painel com 9 especialistas); ^b _fK: Kappa de fleiss.
• Fonte: Autores.

Na primeira rodada da técnica Delphi, o CVR para cada atributo avaliado variou entre 0,08 e 1,00. Oito indicadores obtiveram valores de CVR acima do recomendado para todos os atributos avaliados e foram aprovados. Quatro indicadores obtiveram valores de CVR abaixo dos aceitáveis e foram revisados: “Uso de produtos ultraprocessados nos cardápios”, “Adequação das necessidades nutricionais”, “Promoção, proteção e apoio ao aleitamento materno” e “Controle Social da alimentação escolar”. O indicador “Uso de produtos ultraprocessados nos cardápios” obteve valores de CRV abaixo do esperado em um atributo: clareza. O indicador “Adequação das necessidades nutricionais” obteve valores de CVR abaixo do recomendado em três atributos: acessibilidade, viabilidade e generalizável. O indicador “Promoção, proteção e apoio ao aleitamento materno” obteve valor de CVR abaixo do aceitável para cinco atributos de clareza, efetividade, viabilidade, objetividade e generalizável. O indicador “Controle Social da alimentação escolar” obteve valor de CVR abaixo do recomendado para o atributo acessibilidade. Além disso, o _fK destes indicadores avaliados variou entre 0,58 e 1,00, sugerindo concordância dos especialistas de razoável até quase perfeita. No geral, os especialistas fizeram recomendações para melhorar todos os indicadores e um total de cinco (5/13; 38,4%) sugeriram um novo indicador para o instrumento: “Horário das refeições”. Na segunda rodada da técnica Delphi o novo indicador e os 4 indicadores revisados que apresentaram valores insatisfatórios de CVR foram avaliados. Todos os indicadores obtiveram valores de CVR acima do recomendado, sendo considerados aprovados pelo painel de especialistas.

A validade de constructo e a confiabilidade (consistência interna) por meio das respostas dos nutricionistas para a relevância dos 13 indicadores aprovados pelo painel de especialistas são apresentadas na Tabela 3. As análises dos testes de esfericidade de Barllet (p<0,001) e KMO (0,95) sugeriram a interpretabilidade da matriz de correlação de itens, indicando que os dados são apropriados para a análise fatorial. Os indicadores apresentaram valores adequados de cargas fatoriais (>0,40 e <0,85) e comunalidades (>0,40), sendo mantidos no conjunto final, explicando 0,54 da variância.

Tabela 3
Validade de constructo e confiabilidade dos indicadores por meio de avaliação da relevância dos indicadores pelos nutricionistas (n=281).

Indicadores	KMO/ Bartlleta	Nº fatores	Variância explicadab	Cargas fatoraisc	Comunalidadesd	Alfa de Cronbache
Execução dos recursos financeiros	0.95/ p<0,001	1	0,54	0,63	0,40	0,94
Universalidade do atendimento				0,68	0,46
Monitoramento técnico do programa				0,72	0,51
Oferta de alimentos in natura nos cardápios				0,81	0,65
Uso de produtos ultraprocessados nos cardápios				0,74	0,54
Apoio à agricultura familiar				0,72	0,52
Adequação das necessidades nutricionais				0,71	0,50
Promoção, proteção e apoio ao aleitamento materno				0,68	0,46
Inclusão da Educação Alimentar e Nutricional				0,83	0,69
Necessidades alimentares especiais				0,85	0,73
Adesão à alimentação escolar				0,77	0,59
Controle Social da alimentação escolar				0,75	0,56
Horário das refeições				0,63	0,39

• ^aÍndice Kaiser-Meyer-Olkin (KMO): o nível aceitável estabelecido em >0,50. Teste de esfericidade de Bartlett: o nível aceitável foi estabelecido em p<0,05; ^bTotal da variância explicada: o nível aceitável estabelecido em >0,50; ^cCargas Fatorais: o nível aceitável estabelecido em >0,40 e <0,85; ^dComunalidades: o nível aceitável estabelecido em >0,40; ^eAlfa de Cronbach: o nível aceitável foi estabelecido em >0,70.
• Fonte: Autores.

A estrutura fatorial apresentou índices de ajuste adequados (TLI=0,94 e RMSEA=0,08). O coeficiente alfa de Cronbach foi 0,94, indicando uma boa consistência entre os indicadores.

Quanto à comparação entre as opiniões dos especialistas e nutricionistas sobre a relevância dos indicadores, os especialistas expressaram opiniões mais positivas do que os nutricionistas para todos, exceto os indicadores “Adequação das necessidades nutricionais” e “Promoção, proteção e apoio ao aleitamento materno” embora nenhuma das análises tenha apresentado significância estatística (p<0,05). Esses resultados são apresentados na Tabela 4.

Tabela 4
Opinião dos especialistas e dos nutricionistas sobre a relevância dos indicadores.

Indicador	Respostas positivas % (n)a		Valor de pb
	Especialistas (n=13)	Nutricionistas (n=281)
Execução dos recursos financeiros	92,3 (12)	91,1 (256)	0,881
Universalidade do atendimento	100,0 (13)	90,4 (254)	0,242
Monitoramento técnico do programa	100,0 (13)	91,8 (258)	0,283
Oferta de alimentos in natura nos cardápios	100,0 (13)	94,7 (266)	0,393
Uso de produtos ultraprocessados nos cardápios	100,0 (13)	95,7 (269)	0,448
Apoio à agricultura familiar	100,0 (13)	96,4 (271)	0,490
Adequação das necessidades nutricionais	84,6 (11)	90,0 (253)	0,529
Promoção, proteção e apoio ao aleitamento materno	84,6 (11)	86,1 (242)	0,878
Inclusão da Educação Alimentar e Nutricional	100,0 (13)	94,3 (265)	0,377
Necessidades alimentares especiais	100,0 (13)	94,3 (265)	0,377
Adesão à alimentação escolar	100,0 (13)	92,5 (260)	0,307
Controle Social da alimentação escolar	100,0 (13)	91,8 (258)	0,283
Horário das refeiçõesc	88,9 (8)	86,5 (243)	0,835

• ^aRespostas positivas: respostas entre 4-5 na escala Likert de 5 pontos; ^bValor de p: teste de Mann-Whitney; ^cNúmero de respostas total n=9.
• Fonte: Autores.

Assim, um instrumento de 13 indicadores de desempenho foi elaborado e validado, incluindo: (I₁) Execução dos recursos financeiros, (I₂) Universalidade do atendimento, (I₃) Monitoramento técnico do programa, (I₄) Oferta de alimentos in natura nos cardápios, (I₅) Uso de produtos ultraprocessados nos cardápios, (I₆) Apoio à agricultura familiar, (I₇) Adequação das necessidades nutricionais, (I₈) Promoção, proteção e apoio ao aleitamento materno (I₉) Inclusão da Educação Alimentar e Nutricional, (I₁₀) Necessidades alimentares especiais, (I₁₁) Adesão à alimentação escolar, (I₁₂) Controle Social da alimentação escolar e (I₁₃) Horário das refeições. O instrumento final com os indicadores e respectivos: Objetivo, Medida, Parâmetro e Frequência, são apresentados na Tabela 5. As fichas técnicas utilizadas para o cálculo dos respectivos indicadores são apresentadas no link https://doi.org/10.48331/scielodata.BWEYOX

Tabela 5
Instrumento final dos indicadores de desempenho para avaliação e monitoramento da gestão do PNAE.

Indicador	Objetivo	Medida	Parâmetro(a) (%)		Frequência
Execução dos recursos financeiros (I1)	Medir o aporte de recursos financeiros próprios da Entidade Executora utilizados na aquisição de alimentos, complementar a verba do PNAE repassada pelo FNDE	(Valor dos recursos financeiros próprios da Entidade Executora utilizados na aquisição de alimentos ÷valor total dos recursos financeiros repassados pelo PNAE) x 100(b)		Manter/Avançar	≥15	Anual
				Atentar	15-11
				Revisar	10-5
				Priorizar	<5
Universalidade do atendimento (I2)	Verificar o atendimento da alimentação escolar para todos os estudantes matriculados durante o período letivo de forma ininterrupta	(Nº de dias letivos com atendimento de alimentação escolar a todos os estudantes matriculados(c) ÷ nº total de dias letivos) x 100		Manter/Avançar	100	Anual
				Atentar	99-90
				Revisar	89-80
				Priorizar	<80
Monitoramento técnico do programa (I3)	Monitorar a execução do programa de alimentação escolar nas escolas por meio de visita técnica do nutricionista responsável técnico ou quadro técnico(d)	(Nº total de visitas de nutricionistas do PNAE para monitoramento do programa nas escolas(e) no mês ÷ nº total de escolas) x 100		Manter/Avançar	≥70	Semestral
				Atentar	69-41
				Revisar	20-40
				Priorizar	<20
Oferta de alimentos in natura nos cardápios (I4)	Averiguar a oferta de preparações com alimentos in natura(f) nos cardápios escolares	(Nº de preparações com alimento in natura (g) ÷ nº total de itens do cardápio da semana) x 100		Manter/Avançar	≥30	Mensal
				Atentar	29-11
				Revisar	10-5
				Priorizar	<5
Uso de produtos ultraprocessados(f) nos cardápios (I5)	Averiguar o uso de produtos ultraprocessados nos cardápios escolares	(Nº de vezes que cada produto do grupo ultraprocessados é oferecido no cardápio da semana(h) ÷ nº total de itens do cardápio da semana) x 100		Manter/Avançar	<30	Mensal
				Atentar	30-45
				Revisar	46-69
				Priorizar	≥70
Apoio à agricultura familiar (I6)	Identificar os recursos financeiros alocados na aquisição de gêneros alimentícios produzidos pela agricultura familiar	(Valor de recursos financeiros(i) gastos na aquisição de alimentos da agricultura familiar ÷ valor total de recursos financeiros repassados pelo FNDE) x 100		Manter/Avançar	≥30	Anual
				Atentar	29-15
				Revisar	14-5
				Priorizar	<5
Adequação das necessidades nutricionais(j) (I7)	Avaliar adequação dos macronutrientes dos cardápios escolares em relação aos valores de referência das necessidades nutricionais dos estudantes	(Nº de cardápios com adequação das necessidades nutricionais dos macronutrientes na semana ÷ nº total de cardápios da semana) x 100		Manter/Avançar	≥70	Semestral
				Atentar	69-41
				Revisar	40-20
				Priorizar	<20
Promoção, proteção e apoio ao aleitamento materno (I8)	Investigar a existência de ações de promoção, proteção e de apoio ao aleitamento materno pelos Centros de Educação Infantil (CEI)	(Nº de CEI com ações de incentivo ao aleitamento materno(k) ÷ n° total de CEI) x 100		Manter/Avançar	≥50	Semestral
				Atentar	40-31
				Revisar	30-10
				Priorizar	<10
Inclusão da Educação Alimentar e Nutricional (I9)	Identificar a inclusão da EAN nas escolas como estratégia de estímulo às práticas alimentares e estilos de vida saudáveis dos estudantes	(Nº de escolas que realizaram atividades educativas(l) sobre alimentação e nutrição ÷ nº total de escolas) x 100		Manter/Avançar	≥50	Anual
				Atentar	49-30
				Revisar	29-10
				Priorizar	<10
Necessidades alimentares especiais(m) (I10)	Verificar o atendimento das necessidades alimentares especiais dos estudantes	(Nº estudantes atendidos em suas necessidades alimentares especiais pelas escolas ÷ n° total de estudantes que solicitaram o atendimento específico) x 100		Manter/Avançar	≥100	Semestral
				Atentar	99-80
				Revisar	79-50
				Priorizar	<50
Adesão à alimentação escolar (I11)	Medir o percentual de estudantes que referiram consumir a alimentação preparada pela escola.	(Nº de estudantes que aderiram a, no mínimo, uma refeição da alimentação escolar no dia ÷ nº de estudantes presentes na escola no dia) x 100		Manter/Avançar	≥70	Semestral
				Atentar	69-50
				Revisar	49-30
				Priorizar	<30
Controle Social da alimentação escolar (I12)	Avaliar a participação do conselho de alimentação escolar (CAE) no controle social do programa	[(Nº escolas visitadas pelo CAE ÷ nº total de escolas) x Peso do porte populacional(o)] x 100		Manter/Avançar	≥30	Semestral
				Atentar	29-21
				Revisar	10-20
				Priorizar	<10
Horário das refeições (I13)	Identificar a compatibilidade dos horários das refeições do tipo lanche, almoço e jantar servidas pelas escolas com os horários social e biologicamente aceitos	(Nº escolas que fornecem refeições em horário social e biologicamente aceitos(p) ÷ nº total de escolas) x 100		Manter/Avançar	≥60	Semestral
				Atentar	60-41
				Revisar	40-20
				Priorizar	<20

• ^(aManter/Avançar: representa os indicadores que estão de acordo com a imagem-objetivo que se deseja construir; Atentar: sinaliza os indicadores que apresentaram avanços, porém precisam ser aperfeiçoados; Revisar: evidencia os indicadores que precisam melhorar; Priorizar: sinaliza os indicadores que precisam ser priorizados. ^(b)Utilizar para medida os dados dos recursos financeiros do ano anterior. ^(c)Incluir todos os estudantes declarados no Censo Escolar do ano anterior, inclusive os atendidos pelo Programa Mais Educação e Atendimento Escolar Especializado. ^(d)Entende-se por visita técnica do nutricionista do PNAE responsável técnico ou quadro técnico uma visita na escola direcionada para as orientações técnicas necessárias para a execução do programa na escola e o preenchimento do roteiro de visita. ^(e)Considerar uma visita por escola por mês, considerando que a mesma escola pode ser visitada mais de uma vez no mesmo mês. ^(f),(g)Utilizar como apoio teórico o Guia alimentar para a população Brasileira19. ^(h)Para o cálculo da medida deve ser contabilizado o número de vezes que cada produto ultraprocessados foi servido em cada dia da semana do mesmo cardápio. Dessa forma, caso o produto seja servido mais de uma vez ele será contabilizado novamente. ⁽ⁱ⁾Para o cálculo da medida, utilizar os valores do recurso financeiro oriundos da verba do FNDE para compra de alimentos que são enviados mensalmente. ^(j)Entende-se por adequação das necessidades nutricionais os cardápios escolares que atendem aos valores de referência das necessidades nutricionais para macronutrientes (proteína, carboidrato e lipídeo) para cada modalidade/etapa de ensino e faixa etária dos estudantes. Sugere-se utilizar como apoio para medida do indicador a Ferramenta Plan PNAE de planejamento de cardápios e o Manual Plan PNAE: Ferramenta de Planejamento de Cardápio20. ^(k)Entende-se por incentivo ao aleitamento materno os CEI que visem à promoção, proteção e apoio ao aleitamento materno, realizando pelo menos uma das seguintes ações: 1- acolhimento e incentivo às famílias que desejam amamentar; orientação sobre a manutenção do aleitamento materno após o ingresso da criança no CEI; 2- orientação e envolvimento da equipe do CEI nas ações de apoio ao aleitamento materno; 3- organização de momentos, ambientes e materiais que acolhem e favorecem o aleitamento materno. ^(l)Entende-se por atividades educativas qualquer ação com o tema de alimentação e nutrição desenvolvida pela escola com a finalidade pedagógica, tais como: horta, roda de conversa, palestras, apresentação de alimentos, contação de histórias, oficina culinária, degustação de alimentos, socialização e exploração do cardápio escolar, planejamento e organização do espaço do refeitório, visita a feiras e sacolões, entre outros. ^(m)Sugere-se utilizar como apoio teórico o Caderno de Referência sobre Alimentação Escolar para Estudantes com Necessidades Alimentares Especiais21. ⁽ⁿ⁾Utilizar como apoio para medida do indicador o Manual para aplicação dos testes de aceitabilidade no Programa Nacional de Alimentação Escolar22. ^(o)O porte populacional foi considerado como fator específico na mensuração da medida do indicador “Controle social da alimentação escolar”, no qual o tamanho dos municípios pode influenciar no juízo de valor do parâmetro. Dessa forma, o tamanho do porte dos municípios tem peso diferente no cálculo da medida destes indicadores, sendo estratificado em 4 grupos: - Pequeno porte I (até 20 mil habitantes) e pequeno porte II (20 mil a 50 mil habitantes): utilizar peso igual a um; - Médio porte (50 mil a 100 mil habitantes): utilizar peso igual a dois; - Grande porte (100 mil a 900 mil habitantes): utilizar peso igual a três; - Metrópole (acima de 900.000 habitantes): utilizar peso igual a quatro. Utilizar como apoio para verificar o tamanho do porte dos municípios o site do IBGE23. ^(p)Entende-se por horário social e biologicamente aceitos as refeições de almoço entre 11 horas e 14 horas, de jantar a partir das 17 horas, e de lanche nos horários de intervalos destas refeições principais.
• Fonte: Autores.

Discussão

Resumo das evidências

Este é o primeiro estudo que validou um instrumento de indicadores de desempenho para avaliação e monitoramento da gestão do PNAE. O grupo de pesquisa definiu, após o consenso do painel de especialistas e as respostas dos nutricionistas, que 13 indicadores seriam úteis para mensurar o desempenho da gestão local do PNAE, com evidência de validade para ser aplicado em todo território nacional. A combinação da técnica Delphi com a análise fatorial exploratória permitiu a apresentação de instrumento de indicadores relevantes para viabilizar iniciativas de monitoramento e avaliação, orientar a ação governamental para melhoria do desempenho do Programa, favorecer o exercício do controle social e reconhecer iniciativas exitosas de gestão. O instrumento abrange os principais aspectos do PNAE, como execução dos recursos financeiros; universalidade do atendimento; monitoramento técnico do programa; oferta de alimentos in natura nos cardápios; uso de produtos ultraprocessados nos cardápios; apoio à agricultura familiar; adequação das necessidades nutricionais; promoção, proteção e apoio ao aleitamento materno; inclusão da educação alimentar e nutricional; necessidades alimentares especiais; adesão à alimentação escolar; controle social da alimentação escolar; e horário das refeições.

Tendo em vista a magnitude do PNAE e o investimento realizado pelo governo federal, além dos recursos estaduais e municipais, é fundamental a avaliação desta política pública. Deve-se monitorar e avaliar o PNAE para garantir que sejam alcançados os impactos almejados pelos objetivos deste programa, com a definição de quais indicadores e ações serão necessários, quem serão os responsáveis e quando e como essas ações serão desenvolvidas e seus resultados comunicados³⁹. Assim, estruturar um sistema de indicadores utilizados e especificar pesquisas de avaliação consistentes são desafios que precisam ser enfrentados pelo PNAE, sob pena de estender a superação das iniquidades sociais dos estudantes atendidos na execução da política pública^40,41. Os indicadores desenvolvidos e validados neste estudo podem auxiliar na estruturação de um sistema para subsidiar o processo de avaliação da qualidade dos serviços prestados pelo PNAE em âmbito local, bem como permitir futuras comparações significativas inter e/ou intra entidades executoras do Programa⁴². Pesquisas futuras devem explorar a aplicabilidade de coleta de dados na prática diária do nutricionista na entidade executora para utilização do instrumento proposto.

Validação dos Indicadores de Desempenho

O uso de uma revisão sistemática, de outros estudos consolidados na área de alimentação escolar e experiência prática dos nutricionistas combinada com a técnica de consenso para propor e selecionar indicadores, foi uma estratégia importante para o desenvolvimento deste instrumento. Estratégia semelhante foi utilizada em outras áreas do conhecimento, como por Lima et al.¹⁸ para desenvolver indicadores chave de desempenho na área de farmácia clínica e por Gu e Itoh⁴³ para indicadores de qualidade desenvolvidos para avaliar o desempenho de funcionários da área médica. Esse método sistemático de pesquisa, que envolve evidências com consenso, é a melhor escolha para desenvolver indicadores de qualidade, pois em muitas áreas da saúde a base de evidências científicas é limitada e o uso da opinião de especialistas é necessária para incluir mais evidências para o desenvolvimento destes indicadores².

Os especialistas tiveram a oportunidade de fornecer feedback durante as rodadas da técnica Delphi. O feedback controlado da interação feita pela equipe de pesquisa neste estudo é uma vantagem da técnica Delphi e permite uma redução na discordância entre os especialistas⁴⁴. A maioria das sugestões feitas pelo painel de especialistas na primeira rodada se referiu à estrutura e adequação das palavras do instrumento, e à inclusão de um novo indicador sobre os horários das refeições praticadas nas escolas. Por exemplo, alguns os pontos de corte dos indicadores que foram reformulados com base na sugestão dos especialistas, bem como na atual resolução do PNAE⁴⁵ que foi publicada durante a elaboração deste instrumento, além da literatura e no julgamento do grupo de pesquisa. Além disso, a frequência de alguns indicadores foi reduzida para mensal ou semestral. A sugestão de incluir o indicador “Horário das refeições” no instrumento foi feita por cinco especialistas. Os argumentos utilizados pelos especialistas nesta sugestão corresponderam a um processo para melhor adesão ao Programa de acordo com horários que as refeições são servidas nas escolas, sendo que este cumprimento sugere qualidade da gestão do PNAE. Destaca-se ainda que compete ao nutricionista responsável técnico pelo programa a definição dos horários das refeições⁴⁵.

A aplicação de um rigoroso método de consenso com duas medidas (CVR e _fK) resultou em indicadores com evidência de validade de conteúdo. Assim, a utilização do _fK é um complemento importante (não substituto) do CRV, porque fornece informações sobre o grau de concordância além do acaso^30,46. A maioria dos indicadores incluídos no instrumento final recebeu uma pontuação alta para CVR e _fK na primeira e segunda rodada. Cabe destacar que o _fK foi utilizado com a finalidade de verificar a concordância das respostas dos especialistas em cada indicador e não para aprovação destes.

Em relação à validade de constructo, o estudo apresentou tamanho amostral adequado (n=281) para a análise fatorial³². O instrumento final apresentou 13 indicadores, agrupados em uma dimensão (fator), com valores das cargas fatoriais e comunalidades adequados, explicando 0,54 da variância; um valor considerado satisfatório para as ciências da saúde onde a informação é frequentemente menos precisa³². O percentual de variância explicada acima que 0,50 indica de que os nutricionistas estão classificando um constructo comum e alcançando concordância^32,46. Do ponto de vista psicométrico, O’Grady⁴⁷ argumenta que, nenhum comportamento será totalmente compreendido por nenhum construto hipotético, de maneira que a variância explicada nunca chegará ao seu valor total (100%). Nesse sentido, as limitações a priori da forma de avaliação utilizada inviabilizam a análise do nível de variância explicada como um indicador de acurácia do construto avaliado⁴⁸. O instrumento final apresenta consistência interna sugerida pelo coeficiente alfa de Cronbach igual a 0,94; valor recomendado para garantir a confiabilidade de uma medida².

Os especialistas tiveram maior porcentagem de respostas positivas sobre a relevância para a maioria dos indicadores do que os nutricionistas, sendo semelhantes a outros estudos^18,43,49. Estes autores explicam que uma razão para isso é a dificuldade em atribuir cada indicador à perspectiva de um único stakeholder⁴³. Entretanto, nossos achados não apresentaram significância estatística (p<0,05) e demonstraram o ponto de vista similar entre painel de especialistas e nutricionistas sobre os indicadores de desempenho.

Por fim, o instrumento com 13 indicadores de desempenho corrobora os argumentos de Tanaka e Melo⁸, que recomenda a escolha uma matriz reduzida de indicadores pela sua importância, capacidade de síntese e coleta de dados acessível, uma vez que muitos indicadores constituem uma dificuldade operacional.

Limitações

Apesar do rigor metodológico adotado para o desenvolvimento e validação de um instrumento de indicadores de desempenho, o estudo apresenta algumas limitações destacadas a seguir. O painel de especialistas consistia na maioria de profissionais que trabalhavam em universidades públicas; um “viés ideológico” pode ser associado aos pontos de vista⁵⁰. Este viés foi minimizado com a inclusão de especialistas técnicos que atuam na execução do PNAE e o questionário para os nutricionistas das entidades executoras. Além disso, a discordância entre os especialistas pode não ter sido totalmente explorada devido à falta de uma reunião presencial⁴². No entanto, o grupo de pesquisa estava atento a todas as recomendações e sugestões apontadas pelo painel de especialistas no questionário online e acreditamos que um verdadeiro consenso foi alcançado.

Conclusão

O instrumento “Indicadores de desempenho da gestão do PNAE” com 13 indicadores foi desenvolvido para avaliação e monitoramento da gestão local do Programa em todo território nacional. O instrumento final mostrou adequada confiabilidade e evidência de validade. Espera-se que estes indicadores sirvam para viabilizar iniciativas de monitoramento e avaliação, orientar a ação governamental para melhoria do desempenho do Programa, favorecer o exercício do controle social e reconhecer iniciativas exitosas de gestão. A proposta parte do pressuposto que o bom desempenho do PNAE não é alcançado apenas quando as entidades recebem os recursos financeiros. Entende-se que o desempenho do programa pode ser considerado satisfatório quando há eficácia no atingimento das metas, efetividade das ações de operacionalização e eficiência no uso dos recursos financeiros empregados nas finalidades no Programa.

Referências

• ¹
  Custódio MB, Furquim NR, Santos GMM, Cyrillo DC. Segurança alimentar e nutricional e a construção de sua política: uma visão histórica. Segur. Aliment Nutr 2011; 18(1):1-10.
• ²
  Peixinho AML. A trajetória do Programa Nacional de Alimentação Escolar no período de 2003-2010: relato do gestor nacional. Cien Saude Colet 2013; 18(4):909-916.
• ³
  Brasil. Lei nº 9.649, de 27 de maio de 1998. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. Diário Oficial da União 1998; 28 maio.
• ⁴
  Brasil. Lei nº 11.947, de 16 de junho de 2009. Dispõe sobre o atendimento da alimentação escolar e do Programa Dinheiro Direto na Escola aos alunos da educação básica, e dá outras providências. Diário Oficial da União 2009; 17 jun.
• ⁵
  Silva DP. O Programa Nacional de Alimentação Escolar (PNAE) cumpre o que promete? Um ensaio para uma agenda de pesquisas sobre a dependência da trajetória de avaliação de uma política pública [dissertação]. Brasília: IDP; 2018.
• ⁶
  Belik W, Chaim NA. O programa nacional de alimentação escolar e a gestão municipal: eficiência administrativa, controle social e desenvolvimento local. Rev Nutr 2009; 22(5):595-607.
• ⁷
  Tronchin DMR, Melleiro MM, Kurcgant P, Garcia AN, Garzin ACA. Subsídios teóricos para a construção e implantação de indicadores de qualidade em saúde. Rev Gaucha Enferm 2009; 30(3):542-546.
• ⁸
  Tanaka OY, Melo C. Avaliação de Programas de Saúde do Adolescente - um modo de fazer. São Paulo: Edusp; 2001.
• ⁹
  Donabedian A. Explorations in quality assessment and monitoring. In: The Definition of Quality and Approaches to its Assessment. Ann Arbor: Health Administration Press; 1980. p. 79-128.
• ¹⁰
  Mainz J. Defining and classifying clinical indicators for quality improvement. Int J Qual Health Care 2003; 15:523-530.
• ¹¹
  Fernandes O, Toombs K, Pereira T, Lyder C, Bjelajac Mejia A, Shalansky S, Al-Sukhni M, Gerges S, Sohal S, Gorman S. Canadian Consensus on Clinical Pharmacy Key Performance Indicators: Knowledge Mobilization Guide. Ottawa: Canadian Society of Hospital Pharmacists; 2015.
• ¹²
  Lo E, Rainkie D, Semchuk WM, Gorman SK, Toombs K, Slavik RS, Forbes D, Meade A5, Fernandes O, Spina SP. Measurement of Clinical Pharmacy Key Performance Indicators to Focus and Improve Your Hospital Pharmacy Practice. Can J Hosp Pharm 2016; 69:149-155.
• ¹³
  Carvalho CMP, Castro IRR. Proposta de avaliação do Programa Nacional de Alimentação Escolar para municípios no estado do Rio de Janeiro [dissertação]. Rio de Janeiro: Universidade do Estado do Rio de Janeiro; 2012.
• ¹⁴
  Calasans FVM, Santos SMC. Avaliação do Programa Nacional de Alimentação Escolar: desenvolvimento de um protocolo de indicadores. Segur Aliment Nutr 2013; 20(1):24-40.
• ¹⁵
  Gabriel CG, Calvo MCM, Vasconcelos FAG, Lacerda JT, Freitas SFT, Schmitz BAS. Avaliação da gestão municipal do Programa Nacional de Alimentação Escolar nos maiores municípios de Santa Catarina, Brasil. Cad Saude Publica 2014; 30(9):2017-2023.
• ¹⁶
  Bicalho D, Santos TSS, Slater B, Lima, TM. Evaluation of quality indicators for management of the National School Feeding Program in Brazil: a systematic review. Cien Saude Colet 2021; 26(8):3099-3110.
• ¹⁷
  Furr RM, Bacharach VR. Psychometrics: An Introduction. 2ª ed. Thousand Oaks: SAGE Publications; 2013.
• ¹⁸
  Lima TM, Aguiar PM, Storpirtis S. Development and validation of key performance indicators for medication management services provided for outpatients. Res Social Adm Pharm 2019; 15(9):1080-1087.
• ¹⁹
  Brasil. Ministério da Saúde (MS). Guia alimentar para a população Brasileira. 2ª ed. Brasília: MS; 2014.
• ²⁰
  Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Manual Plan PNAE: Ferramenta de Planejamento de Cardápio. Brasília: MEC; 2017.
• ²¹
  Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Caderno de Referência sobre Alimentação Escolar para Estudantes com Necessidades Alimentares Especiais. Brasília: MEC; 2017.
• ²²
  Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação. Manual para aplicação dos testes de aceitabilidade no Programa Nacional de Alimentação Escolar. 2ª ed. Brasília: MEC; 2017.
• ²³
  Instituto Brasileiro de Geografia e Estatística (IBGE). IBGE Panorama [Internet]. Disponível em: https://cidades.ibge.gov.br/brasil/panorama
  » https://cidades.ibge.gov.br/brasil/panorama
• ²⁴
  Santos SMC, Santos LMP. Avaliação de políticas públicas de segurança alimentar e combate à fome. 1 - Abordagem metodológica. Cad Saude Publica 2007; 23:1029-1040.
• ²⁵
  Santos SMC, Guimarães MCL, Melo CMM, Sanches Filho A. Subsídios para avaliação da gestão pública: processo de construção de indicadores para avaliação da capacidade de gestão de organizações sociais. Org Soc 2006; 13(37):109-124.
• ²⁶
  Rover MRM, Peláez CMV, Faraco EB, Farias MR, Leite SN. Avaliação da capacidade de gestão do componente especializado da assistência farmacêutica. Cien Saude Colet 2017; 22(8):2487-2499.
• ²⁷
  Avella JR. Delphi Panels: Research Design, Procedures, Advantages, and Challenges. Int J Doct Stud 2016; 11:305-321.
• ²⁸
  Fernández SHM. Criterio de expertos: Su procesamiento a través del método Delphi. Histodidáctica 2002; 1-5.
• ²⁹
  Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One 2011; 6:e20476.
• ³⁰
  Agency for Healthcare Research and Quality. Desirable Attributes of a Quality Measure [Internet]. 2017 [cited 2020 jun 13]. Available from: https://www.qualitymeasures.ahrq.gov/help-and-about/quality-measure-tutorials/desirable-attributes-of-a-quality-measure
  » https://www.qualitymeasures.ahrq.gov/help-and-about/quality-measure-tutorials/desirable-attributes-of-a-quality-measure
• ³¹
  Revilla MA, Saris WE, Krosnick JA. Choosing the Number of Categories in Agree-Disagree Scales. Sociol Methods Res 2013; 43:73-97.
• ³²
  Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics 1977; 33:159-174.
• ³³
  Ayre C, Scally AJ. Critical values for Lawshe's content validity ratio: revisiting the original methods of calculation. Meas Eval Counsel 2014; 47(1):79-86.
• ³⁴
  Hallgren KA. Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutor Quant Methods Psychol 2012; 8:23-34.
• ³⁵
  Hair Jr JF, Black WC, Babin BJ, Anderson RE. Multivariate Data Analysis. 7th ed. Edinburgh: Pearson; 2014.
• ³⁶
  Timmerman ME, Lorenzo-Seva U. Dimensionality Assessment of Ordered Polytomous Items with Parallel Analysis. Psychol Methods 2011; 16(2):209-220.
• ³⁷
  Tabachnick BG, Fidell LS. Using multivariate statistics. 6th ed. Boston: Pearson; 2013.
• ³⁸
  Tinsley HEA, Tinsley DJ. Uses of factor analysis in counseling psychology research. J Counsel Psychol 1987; 34(4):414-424.
• ³⁹
  Brasil. Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília: Ipea; 2018.
• ⁴⁰
  Jannuzzi PM. Monitoramento e Avaliação de Programas Sociais. Uma Introdução aos Conceitos e Técnicas. São Paulo: Editora Alinea; 2015.
• ⁴¹
  Jannuzzi PM. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Rev Serv Publico 2005; 56(2):137-160.
• ⁴²
  Cano I. Avaliação de programas sociais. Rio de Janeiro: FGV; 2002.
• ⁴³
  Gu X, Itoh K. Performance indicators: healthcare professionals' views. Int J Health Care Qual Assur 2016; 29:801-815.
• ⁴⁴
  Yousuf M. Using Experts' Opinions Through Delphi Technique. Pract Assess Res Eval 2007; 12(4):1-9.
• ⁴⁵
  Brasil. Ministério da Educação (MEC). Fundo Nacional de Desenvolvimento da Educação (FNDE). Resolução/CD/FNDE nº 6, de 08 de maio de 2020. Dispõe sobre o atendimento da alimentação escolar aos alunos da educação básica no âmbito do Programa Nacional de Alimentação Escolar - PNAE. Diário Oficial da União 2020; 12 maio.
• ⁴⁶
  Stemler SE. A Comparison of Consensus, Consistency, and Measurement Approaches to Estimating Interrater Reliability. Pract Assess Res Eval 2004; 9(4):1-12.
• ⁴⁷
  O'Grady KE. Measures of explained variance: Cautions and limitations. Psychol Bull 1982; 92(3):766-777.
• ⁴⁸
  Damásio BF. Uso da análise fatorial exploratória em psicologia. Rev Aval Psicol 2012; 11(2):213-228.
• ⁴⁹
  Gu X, Itoh K. Performance measures for a dialysis setting. J Ren Care 2018; 44:52-59.
• ⁵⁰
  Basu S, Andrews J, Kishore S, Panjabi R, Stuckler D. Comparative performance of private and public healthcare systems in low- and middle-income countries: a systematic review. PLoS Med 2012; 9:e1001244.

• Financiamento

  Este estudo foi financiado em parte pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001.

Editado por

Editores-chefes:

Romeu Gomes, Antônio Augusto Moura da Silva

Datas de Publicação

• Publicação nesta coleção
  17 Jan 2022
• Data do Fascículo
  Jan 2022

Histórico

• Recebido
  22 Set 2020
• Aceito
  20 Nov 2020
• Publicado
  22 Nov 2020