Instrumento de avaliação das Boas Práticas em Unidades de Alimentação e Nutrição Escolar: da concepção à validação

Instrument for assessment of best practices in school food and nutrition units: from design to validation

ARTIGO ARTICLE

Instrumento de avaliação das Boas Práticas em Unidades de Alimentação e Nutrição Escolar: da concepção à validação

Instrument for assessment of best practices in school food and nutrition units: from design to validation

Elke Stedefeldt^I; Diogo Thimoteo da Cunha^II; Êneo Alves Silva Júnior^III; Sueli Maria da Silva^II; Ana Beatriz Almeida de Oliveira^IV

^IDepartamento de Gestão e Cuidados em Saúde, Grupo de Estudos em Qualidade dos Alimentos, Universidade Federal de São Paulo. R. Silva Jardim 136, Vila Mathias. 11015-020 [e-mail]

^IIGrupo de Estudos em Qualidade dos Alimentos, Universidade Federal de São Paulo

^IIICentro de Diagnósticos Laboratoriais

^IVFaculdade de Medicina, Universidade Federal do Rio Grande do Sul

RESUMO

O objetivo deste artigo é elaborar e validar instrumento de avaliação das Boas Práticas para Unidades de Alimentação e Nutrição Escolares. Estudo desenvolvido na cidade de Santos, realizado em dois momentos: 1) Elaboração da Lista de Verificação das Boas Práticas na Alimentação Escolar (Lista de Verificação BPAE) e; 2) Validação da Lista de Verificação BPAE com aplicação desta e de outras duas listas de referência em 76 escolas municipais. A sensibilidade e a especificidade foram estimadas por meio da Curva ROC - Receiver Operating Characteristics e a lista de verificação foi avaliada de acordo com a escala de Likert. Os blocos temáticos receberam pesos para o cálculo do percentual de adequação. Após aplicação das listas nas escolas foi observado valor de área sob a curva de 0,79 em relação à lista SS-196 e 0,85 para a Portaria 542/2006, indicando boa capacidade da Lista de Verificação BPAE em identificar inadequações. Esta lista recebeu avaliação positiva dos nutricionistas da alimentação escolar revelando que a mesma auxiliará na tomada de decisões para o controle de qualidade. A Lista de Verificação de BPAE elaborada e validada pode se constituir em importante instrumento para o controle de qualidade da alimentação escolar.

Palavras-chave Alimentação escolar, Qualidade dos alimentos, Manipulação de alimentos, Estudos de validação

ABSTRACT

The scope of this study was to elaborate and validate an assessment tool for Best Practices in School Food and Nutrition Units. For this purpose a survey was conducted in the city of Santos (São Paulo – Brazil), in two stages: 1) Preparation of a Checklist for Best Practices in School Food and Nutrition Units (BPAE checklist). 2) Validation of the BPAE checklist. This checklist was applied in 76 public schools along with two other reference checklists. Sensitivity and specificity were estimated using the Receiver Operating Characteristics (ROC) Curve and the checklist was evaluated by application of the Likert scale. The thematic groups received weights to calculate the percentage of adequacy. After the application of the checklists in schools, the area under the curve value of 0.79 was found for the SS-196 checklist and 0.85 for the 542/2006 administrative checklist. These values indicate good suitability of the BPAE checklist to identify inadequacies, and it also received a positive assessment from the school food nutritionists. It proved that the checklist will assist in decision-making to ensure quality control. Once the BPAE checklist has been fully tested and validated it should prove an important tool for quality control in school nutrition.

Key words School nutrition, Food quality, Food handling, Validation studies

Introdução

O Programa Nacional de Alimentação Escolar (PNAE) é o maior programa de alimentação em atividade no Brasil servindo mais de 37 milhões de refeições diariamente nas escolas públicas do País. Seu objetivo visa atender às necessidades nutricionais dos alunos durante a permanência em sala de aula, favorecendo a formação de hábitos alimentares saudáveis, a partir do fornecimento de alimentação saudável e segura do ponto de vista higiênico-sanitário^1,2.

Segundo a resolução federal brasileira da diretoria colegiada da Agência Nacional de Vigilância Sanitária – RDC 216 de 2004³, boas práticas (BP) são os procedimentos que devem ser adotados para que um alimento tenha sua qualidade higiênico-sanitária assegurada. Ancorado nesta legislação, a primeira etapa para implantar as BP é a aplicação de uma lista de verificação com o intuito de avaliar as não conformidades. Com esse levantamento, é possível propor intervenções e planos de ação para as não conformidades observadas⁴.

Diversas estratégias podem ser utilizadas para avaliar as condições higiênico-sanitárias de Unidades de Alimentação e Nutrição Escolares (UANE), sendo a lista de verificação o método mais utilizado, de acordo com diversos estudos publicados nesta área^5-8. Sua grande utilização se dá pelo fato de ser um método rápido, de baixo custo, prático e de alto benefício. Entretanto, a falta de um instrumento padronizado para este fim faz com que diversas listas de verificação sejam criadas, sem contemplarem todos os itens e critérios de avaliação necessários.

A lista de verificação da legislação federal RDC 275/2002⁹ não é adequada para aplicação em escolas visto que foi elaborada para aplicação na indústria de alimentos. As UANE possuem características diferentes de Unidades de Alimentação e Nutrição (UAN) industriais, sendo que a primeira possui características de cozinhas domésticas, principalmente no que se refere ao dimensionamento e à estrutura física⁷.

Baseada nesta premissa, é necessária a elaboração e a validação de um instrumento economicamente viável, de alta aplicabilidade e de fácil utilização para avaliar as condições higiênico-sanitárias na alimentação escolar.

O objetivo do presente estudo foi elaborar e validar um instrumento de avaliação das BP em UANE.

Métodos

O presente estudo caracteriza-se como de delineamento transversal com coleta de dados primários realizada em dois momentos:

1) Elaboração da Lista de Verificação para BP na Alimentação Escolar (Lista de verificação BPAE);

2) Validação do instrumento elaborado.

O estudo foi desenvolvido na cidade de Santos (SP) no período de fevereiro a dezembro de 2008.

Elaboração da Lista de Verificação das BPAE

A elaboração da Lista de Verificação das BPAE contemplou duas etapas relatadas a seguir:

A primeira etapa abrangeu a seleção dos itens de verificação mais frequentes nas diversas listas de verificação de BP provenientes de municípios e instituições (listas de verificação não validadas e utilizadas na prática da alimentação escolar)^10-13 e publicadas pelas três esferas do governo: federal, estadual e municipal^9,14,15.

Foi elaborada uma matriz de dados contendo todos os itens de verificação encontrados nas diversas listas. Os que apresentaram frequência igual ou maior a 50% foram considerados importantes e incluídos na Lista de Verificação de BPAE. Outros itens embasados nas recomendações denominadas "As Cinco Chaves para a inocuidade dos alimentos" da Organização Mundial da Saúde (OMS)¹⁶ foram inseridos à lista, por serem considerados pertinentes neste cenário.

Este procedimento inicial permitiu maximizar a adequação e a aplicabilidade da Lista de Verificação de BPAE nas UANE.

A segunda etapa consistiu em agrupar e pontuar os itens que contemplaram a Lista de Verificação de BPAE. Para a tabulação dos resultados, cada item recebeu uma pontuação de acordo com a Resolução da Secretaria de Saúde do Estado de São Paulo número 196/1998 (SS-1996)¹⁴ que determina as condições que impedem a multiplicação, a sobrevivência de microrganismos e a contaminação cruzada.

A nota zero foi atribuída a todas as respostas assinaladas na alternativa "não", que caracterizava a não conformidade da questão às BP. Em relação às alternativas "sim" foram atribuídas as notas: 8 (oito) para os itens que apresentaram as condições ou situações que evitam a multiplicação de micro-organismos; 4 (quatro) para os itens com condições ou situações que evitam a sobrevivência de micro-organismos; 2 (dois) para os que apresentaram condições ou situações que evitam a contaminação cruzada por contato direto com o alimento e 1 (um) para os itens com condições ou situações que evitam a contaminação cruzada, sem contato direto com o alimento.

A Lista de Verificação de BPAE revelou seis blocos temáticos, que receberam uma pontuação de peso (k) de acordo com grau de risco das situações (ou condições) pertencentes a esse bloco temático. O peso consiste em um valor constante, cuja somatória resultou em 100, e que atua como um multiplicador nos blocos, dando maior pontuação aos itens considerados de maior risco.

Os blocos temáticos estabelecidos e seus respectivos pesos foram: edificações, k = 10; equipamentos para temperatura controlada, k = 15; manipuladores, k = 25; recebimento, k = 10; processos e procedimentos, k = 30 e; higienização ambiental, k = 10. Ao todo, a Lista de Verificação das BPAE foi composta por 99 questões.

O agrupamento de questões demandou a elaboração de uma fórmula para realizar o cálculo do percentual de adequação das BP de cada bloco, e para o cálculo da classificação geral da escola. Estes critérios foram adaptados de acordo com a legislação SS-196¹⁴ e com outros dois estudos realizados na alimentação escolar^9,17.

Para determinar a pontuação total do bloco temático (P), a fórmula a seguir foi utilizada:

P = TS / (ΣTP - ΣNA) × k

Sendo: TS total de pontos obtidos, ΣTP total de pontos possíveis, ΣNA total de pontos atribuídos a itens de verificação "não aplicáveis"; e k é o peso atribuído ao bloco temático (Σk = 100).

Outra fórmula foi determinada para o cálculo da pontuação final (PF) das UANE avaliadas que consistiu na somatória da pontuação obtida nos seis blocos temáticos (PF = P₁ + P₂ + P₃ + P₄ + P₅ + P₆).

Validação da Lista de Verificação das BPAE

O primeiro momento da validação contextualizou-se pela elaboração de um delineamento metodológico a fim de estimar a sensibilidade e especificidade da Lista de Verificação das BPAE. Desta forma, fez-se necessário comparar os dados da Lista de Verificação das BPAE com outras duas listas de verificação de referência: a da Resolução SS-196¹⁴ e a da Portaria 542/2006 da Secretaria da Saúde do Rio Grande do Sul¹⁵.

A lista da Resolução SS-196 foi selecionada devido à sua reprodutibilidade e aos critérios de pontuação. E a da Portaria 542/2006, pela proximidade ao conceito de BP para alimentação escolar e por estar embasada na Legislação Federal RDC 216³.

A amostra de escolas participantes da aplicação da Lista de Verificação das BPAE foi calculada levando em consideração 95% de intervalo de confiança e erro máximo de 5%. Para minimizar vieses, foram incluídas todas as escolas públicas municipais pertencentes ao município de Santos, São Paulo¹⁸, resultando em 76 escolas.

As três listas de verificação foram aplicadas nestas escolas por três nutricionistas, sem vínculo de trabalho no município pesquisado, treinados utilizando os formulários in-loco. Esta etapa objetivou estimar os parâmetros de sensibilidade e especificidade da lista de verificação das BPAE, por meio da identificação da Área sob a Curva (AUC), utilizando a Receiver Operating Characteristics Curve (Curva ROC)^19-21.

Para comparar os resultados das listas de verificação foi definido o valor de 75% de adequação como ponto de corte para dicotomizar a classificação das escolas (abaixo desse ponto foi considerado como inadequado e acima como adequado), de acordo com a classificação de conformidade da RDC 275⁹.

Os dados desta etapa foram analisados utilizando os softwares SPSS 15.0 e Stata 9.1.

O segundo e último momento compreendeu a aplicação da Lista de Verificação das BPAE nas UANE por nutricionistas atuantes no PNAE em diferentes municípios nos estados de São Paulo e Rio de Janeiro. Para o cálculo amostral desta etapa foi considerado: avaliação positiva de no mínimo 85% dos nutricionistas (pontuações 4 e 5 da escala de Likert), intervalo de confiança de 95% e erro amostral de no máximo 15%. Considerando estes valores, 25 nutricionistas seriam necessários para esta avaliação¹⁸.

A lista de verificação foi então enviada a 40 nutricionistas, considerando as possíveis não adesões. Os nutricionistas selecionados possuíam cadastro no Centro Colaborador em Alimentação e Nutrição Escolar da Universidade Federal de São Paulo, caracterizando amostra de conveniência.

Foi enviado junto à lista de verificação um questionário de avaliação da Lista de Verificação das BPAE para os profissionais responderem e, portanto, emitirem seu parecer após a aplicação nas UANE.

Para este questionário, utilizou-se o critério denominado as Sete Dimensões de Avaliação proposta por Equal²²: contemplação e inovação, benefício, adequação, utilidade, acessibilidade, igualdade e transferência.

A pontuação das dimensões foi determinada pela Escala de Atitude de Likert²³ de cinco pontos, no qual o sujeito deve expressar seu grau de concordância ou discordância em relação às perguntas do questionário, sendo: 1 discordo plenamente, 2 discordo parcialmente, 3 não concordo nem discordo, 4 concordo parcialmente e 5 correspondeu a concordo plenamente.

A Figura 1 apresenta o fluxograma de execução da pesquisa.

Questões éticas

O presente estudo foi aprovado pelo Comitê de Ética e Pesquisa (CEP) da UNIFESP.

Resultados e discussão

A matriz de dados dos itens constantes nas diversas listas resultou em 416 itens.

Foi constatado que os itens de verificação mais frequentes nas listas avaliadas abarcaram: conservação do uniforme (71,42%); cuidado com as unhas (71,42%); uso de adornos como brincos, relógio, anéis, etc. (71,42%); proteção dos cabelos (64,28%); higiene pessoal do manipulador de alimento (64,28%); e exames periódicos (57,14%). Convém destacar que todos estes itens de verificação foram incluídos na Lista de Verificação das BPAE assim como os referentes às temáticas contempladas nas Cinco Chaves da OMS¹⁶.

Estudos realizados em UANE atendidas pelo PNAE demonstraram inadequações quanto à higiene e à conduta de manipuladores, incluindo uniformização, higiene das mãos e uso de adornos^5-7. As contribuições destes autores evidenciam que a preocupação com o manipulador de alimento da alimentação escolar deve ser constante. Essa preocupação também se refletiu nas listas de verificação avaliadas, sendo o manipulador e seus procedimentos, os itens mais frequentes.

Quanto aos critérios de pontuação em listas de verificação, os mesmos podem estimar com maior precisão o risco real observado. Entretanto, não são todos os estudos de avaliação de BP em UANE que utilizam listas de verificação com critérios de pontuação.

Outros estudos utilizaram apenas o percentual de adequação considerando que cada item de verificação tem como valor 1 (um) ponto^6,24-26. Todavia, em outros estudos, critérios de pontuação foram elaborados, porém nunca semelhantes entre eles^7,8,27. O estudo de Santana et al.⁸ utilizou os critérios de pontuação da Resolução SS-196¹⁴, assim como a Lista de Verificação das BPAE.

A Tabela 1 apresenta a classificação das UANE após o cálculo da pontuação final (PF). Foram elaboradas cinco categorias de classificação. O maior número de classificações facilita a tomada de decisões e intervenções no intuito de corrigir e melhorar a pontuação final. Outras pesquisas utilizaram cinco categorias de classificação da pontuação final de BP atribuída a UANE, porém com pontuação diferente^8,27.

Após estes procedimentos, foi elaborada a Lista de Verificação de BPAE que está disponível no sitio eletrônico da Rede Brasileira de Alimentação Escolar (http://www.rebrae.com.br).

Na etapa de validação, a opção por aplicar a Lista de Verificação das BPAE nas 76 escolas públicas municipais, juntamente com outras listas de verificação de referência se deu por não haver "padrão-ouro" para avaliação das BP. Não foi realizada comparação com a análise microbiológica, pois já foi apresentado em outros trabalhos que tal análise não apresenta relação (ou baixa relação) com a aplicação de listas de verificação^28,29.

A Tabela 2 apresenta os valores da análise de curva ROC entre as listas de verificação aplicadas. É possível observar valores de área sob a curva de 0,79 para a lista de verificação da SS-196 e de 0,85 para a lista da portaria 542. Segundo Martinez et al.²¹, quanto mais próximo de 1 for o valor da AUC, maior é a capacidade do teste ou instrumento, de discriminar a classificação entre dois grupos, no caso deste artigo, UANE adequadas e inadequadas.

Portanto, os valores observados da AUC são razoáveis e indicam que a Lista de Verificação das BPAE tem relação quanto ao diagnóstico, com as outras listas à qual foi comparada.

A etapa final do processo de validação evidenciou a avaliação do instrumento pelos nutricionistas da alimentação escolar. A Tabela 3 apresenta os valores médios de cada dimensão de avaliação proposta.

Todos os níveis de contemplação apresentaram a média acima de 3,8 pontos, caracterizando avaliação positiva pelos nutricionistas. Os itens com maior pontuação foram os de "adequação" e "benefício" indicando que o instrumento é considerado objetivo, adequado à prática e que auxiliará na tomada de decisões no âmbito do controle de qualidade.

Furtado e Campos³⁰ citam que a participação da comunidade e grupos de interesse é fundamental na pesquisa avaliativa. Com isso, o instrumento avaliado pode ter maior aplicabilidade por estar mais próximo da realidade do usuário, neste caso, o nutricionista da alimentação escolar.

Conclusão

Após o cumprimento de todo o percurso relatado, as contribuições evidenciaram a criação e validação da Lista de Verificação de BPAE, atendendo à necessidade dos nutricionistas de contarem com um instrumento especifico para o segmento da alimentação escolar, que atenda às exigências da Resolução FNDE nº 38 de 2009³¹ e sobre a legislação vigente sobre BP, RDC 216/2004³.

A inexistência de estudos de validação que envolvam listas de verificação de BP e a ausência de um "padrão-ouro", se projetaram como dificuldades no delineamento do presente estudo, o que empreendeu a combinação de diversas estratégias metodológicas para garantir a validação da Lista de Verificação das BPAE.

A validação de instrumentos para o controle de qualidade no cenário da alimentação escolar é útil e ganha significado substancial por subsidiar os diversos profissionais no campo da pesquisa e da prática. Trabalhos semelhantes permitem gerar conhecimentos e ferramentas que assegurem a qualidade da alimentação servida aos escolares, contribuindo consequentemente, para a aceitação das refeições e para a oferta de uma alimentação saudável no contexto da segurança dos alimentos.

Colaboradores

E Stedefeldt, DT da Cunha e EA Silva Junior desenvolveram os métodos, instrumentos de avaliação e são responsáveis pela coleta e análise dos dados e redação do artigo. SM da Silva e ABA Oliveira participaram da análise dos resultados e redação do artigo.

Agradecimentos

Ao Fundo Nacional de Desenvolvimento da Educação (FNDE) pelo financiamento do presente artigo e ao Prof. Dr. Eduardo Tondo, da Universida­de Federal do Rio Grande do Sul, pelas colaborações.

Artigo apresentado em 03/01/2013

Aprovado em 05/01/2013

Versão final apresentada em 09/01/2013

• 1. Sturion GL, Silva MV, Ometto AMH, Furtuoso COM, Pipitone MAP. Fatores condicionantes da adesão ao Programa de Alimentação Escolar no Brasil. Rev Nutr 2005; 18(2):167-181.
• ²
  Fundo Nacional do Desenvolvimento da Educação [Internet]. Alimentação Escolar – Histórico [acesso 2011 maio 20]. Disponível em: http://www.fnde.gov.br/index.php/ae-historico
• ³
  Brasil. Resolução de Diretoria Colegiada n° 216 de 15 de setembro de 2004. Dispõe sobre Regulamento Técnico de Boas Práticas para Serviços de Alimentação. Diário Oficial da União 2004; 16 set.
• 4. Genta TMS, Mikcha JMG, Matioli G. Hygiene conditions of the self-service restaurants by evaluating the microbial quality of the mixed-food preparations. Inst Adolfo Lutz 2009; 68(1):73-82.
• 5. Campos AK, Cardonha AMS, Pinheiro LBG, Ferreira NR, Azevedo PRM, Stamford TLM. Assessment of personal hygiene and practices of food handlers in municipal public schools of Natal, Brazil. Food Control 2009; 20(9):807-810.
• 6. Gallina D, Simm KCB, Fatel ECS. Qualidade higiênico-sanitária da merenda escolar oferecida no município de Lindoeste, PR. Hig Aliment 2008; 22(158):54-58.
• 7. Oliveira MN, Brasil ALD, Taddei JAAC. Avaliação das condições higiênico-sanitárias das cozinhas de creches públicas e filantrópicas. Cien Saude Colet 2008; 13(3):1051-1060.
• 8. Santana NG, Almeida RCC, Ferreira JS, Almeida PF. Microbiological quality and safety of meals served to children and adoption of good manufacturing practices in public school catering in Brazil. Food Control 2009; 20:255-261.
• ⁹
  Brasil. Resolução nº 275 de 21 de outubro de 2002. Aprova o regulamento técnico de procedimentos operacionais padronizados e a lista de verificação. Diário Oficial da União 2002; 06 nov.
• ¹⁰
  Associação Brasileira das Empresas em Refeições Coletivas. Relatório de Gestão da Qualidade: Selo Aberc de Qualidade Empresarial – saq São Paulo: Comitê Executivo do Selo ABERC de Qualidade Empresarial; 2000.
• ¹¹
  Associação Brasileira de Nutrição. Pesquisa Nacional do Consumo Alimentar e Perfil Nutricional de Escolares, Modelos de Gestão e de Controle Social do Programa Nacional de Alimentação Escolar: Questionário F São Paulo: ASBRAN; 2008.
• ¹²
  Programa De Alimento Seguro. Projeto APPCC Mesa: check list para diagnóstico inicial. Rio de Janeiro: SENAC/DN; 2001.
• ¹³
  United State Department of Agriculture. Guidance for School Food Authorities: developing a school food safety program based on the process approach to Hazards Analysis and Critical Control Points – HACCP principles. 2005. [acessado 2011 maio 10]. Disponí­vel em: http://www.fns.usda.gov/fns/safety/pdf/HACCPGuidance.pdf
• ¹⁴
  São Paulo (Estado). Resolução SS-196 de 29 de dezembro de 1998. Padroniza os roteiros e guias de inspeção produzidos pelo Centro de Vigilância Sanitária. Diário Oficial do Estado de São Paulo 1998; 31 dez.
• ¹⁵
  Rio Grande do Sul. Portaria SES/RS 542 de 19 de outubro de 2006. Aprova a lista de verificação em Boas Práticas para serviços de alimentação, aprova normas para cursos de capacitação em Boas Práticas para serviços de alimentação. Diário Oficial do Estado do Rio Grande do Sul 2006; 19 out.
• ¹⁶
  Organização Mundial da Saúde (OMS). Cinco chaves para inocuidade dos alimentos 2006 [acessado 2010 fev 28]. Disponível em: http://www.paho.org/English/AD/DPC/VP/fos-5-claves-manual.htm
• 17. Danelon MS, Silva MV. Análise das condições higiênico-sanitárias das áreas de preparo e consumo de alimentos, disponíveis para alunos de escolas públicas e provadas. Hig Aliment 2007; 21(152):25-30.
• 18. Dean AG, Sullivan KM, Soe MM. OpenEpi: Open Source Epidemiologic Statistics for Public Health, Version 2.3.1. [acessado 2010 maio 12]. Disponível em: www.openepi.com
• 19. Zweig MH, Campbell G. Receiver-Operating Characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clin Chem 1993; 39(4):561-577.
• 20. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982; 143(1):29-36.
• 21. Martinez EZ, Louzada-Neto F, Pereira BB. A curva ROC para testes diagnósticos. Cad Saude Colet. 2003; 11(1):7-31.
• 22. Equal. Validação de produtos inovadores Lisboa: União Européia/Fundo Social Europeu; 2007. [acessado 2012 jul 23]. Disponível em: http://ec.europa.eu/employment_social/equal/data/document/0706-msf-pt-leaf_pt.pdf
• ²³
  Likert, R. A technique for the measurement of attitudes. Arch of Psychol 1932; 22(140):1-55.
• 24. Costa SR, Gaban CRG, Leal CRB. Detecção de Staphylococcus aureus nas mãos e narinas de manipuladores e avaliação das condições higiênicas das cozinhas, em escolas estaduais no município de Campo Grande-MS. Ensaios e Ciências 2002; 6(2):49-56.
• 25. Lockis VR, Cruz AG, Walter EHM, Faria JAF, Granato D, Sant'Ana AS. Prerequisite Programs at schools: diagnosis and economic evaluation. Foodborne Pathog Dis 2011; 8(2):213-220.
• 26. Martinez-Tome M, Vera AM, Murcia A. Improving the control of food production in catering establishments with particular reference to the safety of salads. Food Control 2000; 11(6):437-445.
• 27. Cardoso RCV, Goes JAW, Almeida RCC, Guimarães AG, Barreto DL, Silva SL, Figueiredo KVNA, Júnior POV, Silva EO, Huttner LB. Programa nacional de alimentação escolar: há segurança na produção de alimentos em escolas de Salvador (Bahia)? Rev Nutr 2010; 23(5):801-811.
• 28. Tebbutt GM, Southwell JM. Comparative study of visual inspections and microbiological sampling in premises manufacturing and selling high-risk foods. Epidem Inf 1989; 103(3):475-486.
• 29. Jones TF, Pavlin BI, LaFLeur BJ, Ingram LA, Schaffner W. Restaurant inspection scores and foodborne disease. Emerg Infect Dis 2004; 10(4):688-692.
• 30. Furtado JP, Campos RO. Participação, produção de conhecimento e pesquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad Saude Publica 2008; 24(11):2671-2680.
• ³¹
  Brasil. Resolução nº 38 de 16 de julho de 2009. Dispõe sobre o atendimento da alimentação escolar e do Programa Dinheiro Direto na Escola aos alunos da educação básica. Diário Oficial da União 2009; 17 jul.

Datas de Publicação

• Publicação nesta coleção
  07 Maio 2013
• Data do Fascículo
  Abr 2013

Histórico

• Recebido
  03 Jan 2013
• Aceito
  05 Jan 2013