Lista de verificação de boas práticas ambientais para serviços de alimentação: elaboração, validação de conteúdo e confiabilidade interavaliadores

Good environmental practices check list for food services: elaboration, content validation and inter-rater reliability

Resumo

Com os objetivos de elaborar, validar o conteúdo de uma lista de verificação das boas práticas ambientais para serviços de alimentação (LVBPA-SA) e verificar a confiabilidade interavaliadores, construiu-se um instrumento baseado em pesquisa bibliográfica e nas diretrizes estabelecidas pela Política Nacional de Resíduos Sólidos, Política Nacional de Recursos Hídricos e Política Nacional de Conservação e Uso Racional de Energia. A LVBPA-SA foi avaliada por painel de especialistas para validação do conteúdo, seguindo a Técnica Delphi. Para verificar o nível de concordância entre os especialistas, utilizou-se o índice de validade de conteúdo, sendo este considerado validado quando a concordância fosse ≥ a 80%. Foram avaliadas a forma de apresentação, a clareza semântica, a facilidade de entendimento e de preenchimento, e a utilidade do instrumento. Os especialistas puderam sugerir alterações no instrumento. Após a validação, o instrumento foi aplicado por sete nutricionistas em um mesmo serviço de alimentação (SA), para avaliar as boas práticas ambientais (BPA) e verificar a confiabilidade interavaliadores, utilizando o coeficiente de correlação intraclasse (CCI) e o Coeficiente Alfa de Cronbach, em um nível de significância de 5%. A comparação da variância entre as respostas foi realizada pelo Teste Kruskal-Wallis. A LVBPA-SA validada contém cinco blocos e 68 itens de avaliação. Das medidas de boas práticas ambientais listadas, 65% eram adotadas nos serviços de alimentação. Não foi observada diferença estatisticamente significativa entre as avaliações dos nutricionistas. Foi obtido CCI acima de 0,75 para 75% dos blocos e para o Coeficiente Alfa de Cronbach, 100% dos blocos apresentaram coeficiente ≥ 0,70, indicando excelente concordância interavaliadores. A LVBPA-SA teve o conteúdo validado e concluiu-se que possui consistência interna. Além disso, atende às diretrizes estabelecidas nas Políticas e norteia a adoção das BPA, sendo um importante instrumento a ser utilizado em serviços de alimentação.

Palavras-chave:
Estudos de validação; Boas práticas ambientais; Confiabilidade e validade; Serviços de alimentação

Abstract

With the objective of elaborating, validating the content of a good environmental practices checklist (LVBPA-SA) for food services, and verifying the inter-rater reliability, an instrument was constructed based on a literature survey and the guidelines established by Brazilian Legislation (National Solid Waste Policy, National Water Resources Policy, National Policy on Conservation and the Rational Use of Energy). The LVBPA-SA was evaluated by a specialist panel to validate the contents according to the Delphi technique. To verify the concordance level between the specialists, the content validity index was used, and the instrument was considered validated when the content validity index was ≥ 80%. The form of presentation, semantic clarity, and the ease of understanding, filling in and using the instrument were evaluated, and the specialists could suggest alterations to the instrument. After validation, the instrument was applied by seven nutritionists in the same food service to evaluate the good environmental practices and verify the inter-rater reliability using the intra-class correlation coefficient (ICC) and Cronbach’s alpha at a significance level of 5%. The Kruskal-Wallis test was applied to compare the variance between responses. The validated LVBPA-SA contained five blocks and 68 evaluation items and 65% of the good environmental practices measurements were adopted by the food services. There was no statistically significant difference between the evaluations made by the nutritionists obtaining an ICC > 0.75 for 75% of the blocks. For the Cronbach's alpha, 100% of the blocks presented a coefficient ≥ 0.70, indicating excellent inter-rater agreement. Thus the contents of the LVBPA-SA were validated and showed internal consistency. In addition, it complied with the guidelines established by the Policies and lead to the adoption of good environmental practices, being an important instrument to be used in food services.

Keywords:
Validity studies; Good environmental practices; Reliability and validity; Food services

1 Introdução

Os impactos ambientais decorrentes do uso indiscriminado dos recursos naturais, oriundos das atividades de diversos setores econômicos da sociedade atual, são alvo de preocupação e envolvem questões ambientais, sociais e econômicas. Estudos apontam para a degradação do meio ambiente, resultante do processo de industrialização, da construção civil, de processos agrícolas (ARAÚJO; CARDOSO, 2010; LEAL et al., 2008; SILVA; ASSUNÇÃO RIOS, 2013), dentre outras atividades humanas, como, por exemplo, a produção de refeições coletivas.

A produção de refeições coletivas é realizada por serviços de alimentação (SA). Os SA reúnem em si características de tangibilidade e intangibilidade. A tangibilidade é decorrente da existência de um produto final (refeição), que é gerada após um processo produtivo, e a intangibilidade está relacionada com a satisfação das necessidades psicossociais do comensal, como: atendimento adequado, ambiente confortável, cortesia, presteza e segurança (COLARES; FIGUEIREDO, 2012).

Os serviços de alimentação são prestados por diferentes Unidades de Alimentação e Nutrição (UAN), nas quais o alimento é manipulado, preparado, armazenado ou exposto à venda, podendo ou não ser consumido no local (BRASIL, 2004). As UAN podem ser empresas fornecedoras de serviços de alimentação coletiva, serviços de alimentação do tipo autogestão, restaurantes comerciais e similares, hotelaria marítima, serviços de buffet e de alimentos congelados, comissarias e cozinhas dos estabelecimentos assistenciais de saúde, de escolas, indústrias, dentre outras (CFN, 2005). Nesse sentido, os SA contribuem para a prática da alimentação fora do domicílio, que historicamente alcança um lugar importante no cotidiano das pessoas e na economia do país (IBGE, 2010).

Apesar de relevante participação no setor de alimentação fora do domicílio, traduzida em número de empregos diretos e indiretos, e de refeições produzidas, pesquisas revelam o potencial desses SA em impactar negativamente o ambiente, principalmente no que diz respeito à geração de resíduos sólidos e consumo de água e energia (ABERC, 2016; KINASZ; WERLE, 2006; SALES, 2009; SIQUEIRA, 2002).

O aumento da projeção da alimentação fora do domicílio tem exigido, ao longo de décadas, a implantação de diretrizes reguladoras que orientem as práticas adotadas no processo produtivo de refeições nos SA, promulgadas por diferentes esferas governamentais (BRASIL, 1993, 1997a, 2004).

Essas normas legais, já existentes, não se contrapõem ao desenvolvimento sustentável, mas corroboram com a ideia de que as atividades realizadas em serviços de alimentação podem ser desenvolvidas com foco na implementação de práticas ambientalmente responsáveis, sob a perspectiva de minimizar o impacto ambiental.

Ações de desenvolvimento sustentável em SA sugerem o uso racional de recursos naturais, como água e a energia elétrica; adequado descarte de resíduos; redução de desperdício de alimentos, e a não poluição das águas, do solo ou da atmosfera, conforme recomenda a American Dietetic Association (ADA). Esta organização sugere procedimentos ambientais, a fim de que estes subsidiem as ações dos nutricionistas para que suas atividades profissionais sejam pautadas em sistemas sustentáveis e resilientes, com ênfase no conhecimento, nas habilidades e na competência que possuem (TAGTOW et al., 2014).

Para a promoção de um SA sustentável, é importante considerar de que forma os recursos naturais se relacionam com a produção, a transformação, a distribuição, o acesso e o consumo de alimentos (ROBINSON-O’BRIEN; GERALD, 2013), ou seja, o sistema alimentar como um todo. Assim, o desenvolvimento sustentável em SA, torna-se um desafio para a adoção das boas práticas ambientais (BPA), assim definidas:

[...] são procedimentos sistematizados ambientalmente corretos relacionados ao processo de trabalho. As BPA visam à utilização adequada dos recursos necessários para a produção de refeições com características higiênico-sanitárias satisfatórias e para a proteção do meio ambiente e da saúde pública (COLARES; FIGUEIREDO, 2014, p. 72).

Portanto, os objetivos deste trabalho consistiram em validar o conteúdo e verificar a confiabilidade de um instrumento para gestão de resíduos sólidos, água e energia ao longo do processo produtivo de refeições, em serviços de alimentação, a fim de orientar o gestor na adoção de boas práticas ambientais.

2 Material e método

Tratou-se de um estudo com delineamento transversal realizado em três etapas: 1) Elaboração da Lista de Verificação das Boas Práticas Ambientais para serviços de alimentação (LVBPA-SA); 2) Validação do conteúdo do instrumento elaborado, e 3) Análise da reprodutibilidade e confiabilidade do instrumento validado. O estudo foi desenvolvido na cidade do Rio de Janeiro-RJ, Brasil, no segundo semestre de 2014.

2.1 Elaboração da LVBPA-SA

O processo de desenvolvimento da LVBPA-SA constou de três etapas: definição do conteúdo, estruturação da apresentação do instrumento e validação do seu conteúdo.

O conteúdo da LVBPA-SA foi definido após pesquisa bibliográfica e leitura das diretrizes estabelecidas pela Política Nacional de Resíduos Sólidos (PNRS) (BRASIL, 2010), Política Nacional de Recursos Hídricos (PNRH) (BRASIL, 1997b) e Política Nacional de Conservação e Uso Racional de Energia (PNCURE) (BRASIL, 2001), as quais, por meio de seus princípios e diretrizes, subsidiaram os aspectos fundamentais para nortear a adoção das boas práticas ambientais. Dessa forma, foram concebidos itens que tratavam das medidas referentes a redução, reutilização, tratamento, armazenamento e destinação final dos resíduos sólidos; ao uso racional de água e energia; e à documentação necessária para implantar as boas práticas ambientais. A LVBPA-SA foi estruturada tomando por base o instrumento disponível na literatura (BRASIL, 2002).

A primeira versão da LVBPA-SA foi constituída pela caracterização do serviço e por quatro blocos, compostos por 65 itens, ao todo. Na caracterização do serviço, devem ser observados os seguintes aspectos: o tipo de serviço prestado, o tipo e número de refeições distribuídas, o sistema de distribuição das refeições e o ramo de atividade da empresa no qual o SA está inserido. O Bloco A - Resíduos sólidos, composto de 32 itens, que visa avaliar a adoção de medidas de redução na fonte geradora, reutilização, tratamento, separação, armazenamento temporário e destinação final. O Bloco B - Água, composto de 15 itens relacionados com a utilização de equipamentos economizadores de água e tratamento de águas servidas e antes do lançamento na rede de esgoto. O Bloco C - Energia, composto de cinco itens, que abordam aspectos sobre a capacitação e a educação ambiental sobre o tema, a manutenção de equipamentos, a calibração de instrumentos e a adoção de medidas economizadoras de energia. O Bloco D - Documentação, composto de 13 itens, que apresentam os documentos necessários para a implantação das boas práticas ambientais, como: o manifesto de resíduos, o formulário de registro de comercialização dos resíduos gerados, de controle diário de sobras e restos das preparações, de calibração e manutenção dos equipamentos, e dos procedimentos de limpeza e manutenção do sistema de climatização, e os procedimentos operacionais padronizados (POP) do manejo de resíduos sólidos; da higienização das instalações, dos equipamentos, móveis e utensílios; de higienização dos coletores de resíduos sólidos, e de manutenção dos equipamentos.

A aplicação da LVBPA-SA possibilita o cálculo do percentual de medidas de boas práticas ambientais adotadas (PMBPA) pelo serviço de alimentação, a partir da avaliação dos critérios descritos nos itens, que podem ser classificados em: SIM, quando a medida é adotada pelo SA; NÃO, quando a medida não é adotada, e NÃO SE APLICA, quando o item em análise não se aplica ao SA a ser avaliado.

2.2 Validação de conteúdo do instrumento

A validação da LVBPA-SA consistiu em três fases: a) Seleção dos especialistas; b) Apresentação do instrumento e orientação para a avaliação do conteúdo, e c) Verificação da concordância entre os especialistas, sendo utilizada a Técnica Delphi, como sugerido por Hasson et al. (2000) e Silva e Tanaka (1999).

1. a

   Seleção dos especialistas: Foram convidados, para compor o painel de especialistas, 10 nutricionistas, que atenderam aos seguintes critérios de inclusão: experiência profissional mínima de cinco anos em alimentação para coletividades e ser Responsável Técnico (RT) pelo serviço ou fiscal de contrato. Buscaram-se nutricionistas com atuação profissional em diferentes tipos de serviços de alimentação, como: restaurante comercial, hotelaria marítima, restaurante universitário e UAN hospitalar e não hospitalar. Os especialistas foram identificados a partir de uma amostragem aleatória, baseando-se na análise do Currículo Lattes. Todos os profissionais convidados (n=10) aceitaram compor o painel de especialistas e residiam no Estado do Rio de Janeiro. Após o aceite, uma carta explicativa sobre o processo de avaliação do instrumento elaborado e o Termo de Consentimento Livre e Esclarecido para assinatura foram enviados aos especialistas, por correio eletrônico;

2. b

   Apresentação do instrumento e orientação para validação do conteúdo: A LVBPA-SA foi entregue aos especialistas junto com o formulário de orientação, conforme proposto por Pasquali (1998), sendo-lhes então solicitado que fossem avaliados os seguintes quesitos: forma de apresentação, clareza semântica, facilidade de entendimento e de preenchimento, além da utilidade do instrumento. Havia, também, espaço para sugestões e comentários (RUBIO et al., 2003; TILDEN et al., 1990) e solicitou-se o retorno dessa avaliação no prazo de 15 dias.

Para avaliação dos quesitos da LVBPA-SA, foi utilizada a Escala Likert de cinco pontos, com os seguintes gradientes: (1) discordo totalmente, (2) discordo, (3) não concordo e nem discordo, (4) concordo e (5) concordo totalmente (LIKERT, 1932). Os itens que foram classificados como ‘discordo totalmente’, ‘discordo’ ou ‘não concordo’ foram alterados a partir da contribuição dos especialistas e o instrumento foi devolvido para nova avaliação, conforme previsto na Técnica Delphi. O julgamento dos especialistas foi tabulado em Software Microsoft Excel®, levando em consideração seus comentários e sugestões.

1. c

   Verificação da concordância entre os especialistas: Após a avaliação do instrumento, foi realizada a validação de conteúdo pelo índice de validade de conteúdo (IVC), para verificar o nível de concordância entre os especialistas sobre os quesitos avaliados (WYND; SCHAEFER, 2002). O cálculo do IVC está demonstrado na Equação 1:

   $IVC=\frac{Númeroderespostas4ou5}{Númerototalderespostas}$(1)

A validação do conteúdo foi estabelecida quando houve concordância mínima de 0,80 ou 80%, entre os especialistas, para os quesitos analisados (GRANT; DAVIS, 1997).

2.3 Análise da reprodutibilidade e confiabilidade do instrumento validado

Foram convidados sete nutricionistas, que atuavam em um serviço de alimentação, para avaliar as medidas de boas práticas ambientais adotadas no estabelecimento e analisar a reprodutibilidade e a confiabilidade da LVBPA-SA. A fim de verificar a concordância dos resultados obtidos entre os nutricionistas, em condições idênticas, e a homogeneidade das respostas, ou seja, a capacidade de a LVBPA-SA reproduzir um resultado de forma consistente, com observadores diferentes, para minimizar a chance de distorção de dados e a ocorrência de erros (CONTANDRIOPOULOS et al., 1999), o instrumento foi aplicado em um serviço de alimentação que servia cerca de 10 mil refeições (almoço e jantar), de segunda a sexta-feira. Os nutricionistas preencheram a LVBPA-SA no mesmo dia e horário, sem que os mesmos estabelecessem comunicação, a fim de se evitarem influências nas respostas.

2.3.1 Análises estatísticas e aspectos éticos

A distribuição dos dados obtidos foi verificada pelo Teste de Kolmogorov-Smirnov. Por não atender à condição de normalidade, optou-se pela utilização dos testes não paramétricos. Para comparar os resultados obtidos pela avaliação dos nutricionistas com relação à adoção de medidas de boas práticas ambientais, utilizou-se o Teste de Kruskal-Wallis, no nível de significância de 5%. Para verificar a reprodutibilidade e a confiabilidade (consistência interna) do instrumento, foram utilizados dois testes: o Coeficiente de Correlação Intraclasse (CCI) e o Coeficiente Alfa de Cronbach. O CCI avalia a homogeneidade de duas ou mais medidas, sendo a seguinte classificação: CCI ≥ 0,75, a confiabilidade foi considerada excelente; entre 0,4 e 0,74, confiabilidade satisfatória, e CCI < 0,4, confiabilidade pobre (BARTKO, 1966). Para o Coeficiente Alfa de Cronbach, sugere-se que α seja ≥ 0,7 (BLAND; ALTMAN, 1997). Para a análise dos dados, foi utilizado o pacote estatístico IBM SPSS Statistics versão 20.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Estudos em Saúde Coletiva da Universidade Federal do Rio de Janeiro (parecer 03/2007) e todos os participantes assinaram um Termo de Consentimento Livre e Esclarecido (TCLE).

3 Resultados e discussão

A gestão dos resíduos sólidos, água e energia, nos serviços de alimentação, é necessária, para minimizar danos ao ambiente; por isso, é indicado que haja interação entre os instrumentos utilizados para a Gestão Ambiental e o processo produtivo de refeições (CARNEIRO, 2014).

A validade de conteúdo da LVBPA-SA foi realizada para assegurar que os itens propostos constituam uma amostra representativa do assunto que se deseja medir; neste caso, as boas práticas ambientais. Contandriopoulos et al. (1997) e Bellucci Júnior e Matsuda (2012) apontam que a validação do conteúdo reforça a capacidade de um instrumento medir, com precisão, o fenômeno a ser estudado, agregando maior credibilidade e confiabilidade ao mesmo. Desta forma, a validação de conteúdo é essencial no desenvolvimento de instrumentos que relacionam conceitos abstratos com indicadores observáveis e mensuráveis, e tem sido realizada pelos autores Tannure et al. (2008), Lobão e Menezes (2012) e Oliveira et al. (2014).

Não há consenso, na literatura, em relação à definição do número de especialistas para validação do conteúdo. Lynn (1986), por exemplo, recomenda de dois a 10 profissionais para compor o painel de especialistas. Williams e Webb (1994) afirmam que os critérios de seleção dos especialistas são mais relevantes do que o número ideal para compor o painel. No presente estudo, buscou-se formar um painel composto por profissionais com experiência diversificada em serviço de alimentação, a fim de julgarem os itens propostos no instrumento. O perfil dos especialistas que participaram da validação do conteúdo da LVBPA-SA está apresentado na Tabela 1.

Tabela 1
Caracterização do painel de especialistas para validação do conteúdo da LVBPA-SA (Rio de Janeiro, 2014).

Características dos especialistas	Resultados
Especialistas (n)	-10
Qualificação profissional
Graduação (n; %)	1; 10
Especialização (n; %)	5; 50
Mestrado (n; %)	3; 30
Doutorado (n; %)	1; 10
Função do nutricionista
Fiscal de contrato (n; %)	7; 70
Responsável técnico (n; %)	3; 30
Tempo de experiência profissional (média)	15 anos
Local de trabalho
Restaurante comercial (n; %)	1; 10
Hotelaria Marítima (n; %)	1; 10
UAN hospitalar (n; %)	1; 10
Restaurante universitário (n; %)	2; 20
Restaurante institucional (n; %)	5; 50

Na primeira fase do processo de validação do conteúdo da LVBPA-SA, o IVC foi superior a 0,8 para todos os itens; no entanto, 10% dos especialistas (um avaliador) informou que não concordava e nem discordava que os itens que compõem o instrumento são de fácil entendimento e que o instrumento era de fácil preenchimento. Os resultados referentes à concordância dos especialistas para a validação do instrumento estão apresentados na Tabela 2.

Tabela 2
Concordância entre especialistas para validação do conteúdo do instrumento (Rio de Janeiro, 2014).

Aspectos avaliados	Concordância entre os especialistas
	1ª Fase				2ª Fase
	Gradientes de avaliação				Gradientes de avaliação
	NCND a	C b	CT c		C	CT
	(n;%)			IVC d		(n;%)	IVC
Os itens que compõem o instrumento são de fácil entendimento.	1;10	1;10	8;80	0,9	2;20	8;80	1,0
O instrumento possui apresentação adequada.	-	1;10	9;90	1,0	1;10	9;90	1,0
O instrumento é de fácil preenchimento.	1;10	1;10	8;80	0,9	2;20	8;80	1,0
Os itens apresentam clareza na escrita.	-	4;40	6;60	1,0	4;40	6;60	1,0
Instrumento é útil para a avaliação da adoção de medidas de boas práticas ambientais em serviços de alimentação.	-	-	10;100	1,0	-	10;100	1,0

• ^a
  NCND: não concordo e nem discordo;
• ^b
  C: concordo;
• ^c
  CT: concordo totalmente;
• ^d
  IVC: índice de validade de conteúdo.

Os especialistas consideraram que os termos: ‘tratamento de águas negras’, ‘reúso de água cinza’ e ‘programa de gestão integrada e sustentável dos resíduos gerados no processo produtivo de refeições’ eram de difícil compreensão. A correta definição dos aspectos ambientais é importante para nortear e auxiliar na adoção de medidas de boas práticas ambientais (UCKER et al., 2012). Assim, para auxiliar no preenchimento da lista de verificação das boas práticas ambientais em serviços de alimentação, foi elaborado um manual orientador para o preenchimento da LVBPA-SA, que conta com a definição de termos utilizados e a indicação de bibliografia complementar.

Na primeira fase da validação, um dos especialistas sugeriu que alguns itens fossem reescritos, a fim de torná-los mais claros e objetivos. Desta forma, os itens “Há Controle de restos (índice de restos)?”, “Há Controle de sobras (percentual de sobras de preparações)?” e “O resíduo pastoso e aquele que exsuda são colocados em recipiente rígido, até o momento da coleta?” tiveram a escrita modificada, conforme orientação dos especialistas, para, respectivamente, “Há Controle de restos por meio do cálculo do índice de restos?”; “Há Controle de sobras por meio do cálculo percentual de sobras de preparações?” e “O resíduo pastoso e/ou aquele que escorre líquidos são colocados em recipiente rígido, até o momento da coleta?”.

O item que avalia a reutilização de embalagens apresentava como opções as embalagens constituídas de plástico, vidro e papelão; no entanto, os especialistas sugeriram a inclusão de alumínio, isopor e embalagem cartonada tetra pak, uma vez que eram utilizadas nos serviços de alimentação em que atuavam. Ajuste semelhante ocorreu no item que tratava dos tipos de resíduos segregados, aos quais, além das opções existentes no instrumento, foram incluídos óleo e gorduras, madeiras, embalagem cartonada tetra pak e lata. Neste caso, a madeira está relacionada ao uso de espetinhos no preparo de churrasco.

Como forma de tratamento dos resíduos sólidos e líquidos, a LVBPA-SA contava com as opções compostagem e incineração, sendo incluído o tratamento de efluentes, conforme sugerido por um dos especialistas. No bloco A, ainda houve a inclusão de um item que avaliava a retirada de resíduos sólidos da área de produção, por local ou horário distinto da entrada de matérias-primas.

Houve a sugestão da inclusão de um item no Bloco B - Água, que tratava do descongelamento de alimentos em unidades de frio ou forno micro-ondas ou de convecção, conforme sugerido pela Resolução - RDC 216/2004 (BRASIL, 2004), como medida de consumo consciente do uso de água.

Outras alterações foram realizadas no Bloco D, que tratava da documentação necessária para a implantação das boas práticas ambientais. O item “É mantido o Registro de comercialização/doação de resíduos de alimentos e óleo de fritura, com, no mínimo, os seguintes dados: nome e endereço da empresa reprocessadora, frequência da coleta e quantidade aproximada do material coletado?” foi desmembrado em dois itens: um que trata apenas da comercialização e doação de resíduos de alimentos, e outro que trata do óleo utilizado na fritura.

Após a primeira fase de validação, o instrumento passou a contar com 68 itens. Os itens que sofreram alterações na escrita e aqueles que foram adicionados foram reavaliados pelo painel de especialistas, configurando-se na segunda fase do processo de validação de conteúdo, conforme previsto na Técnica Delphi (WILLIAMS; WEBB, 1994). Nessa etapa, todos os quesitos avaliados apresentaram IVC superior a 0,80 (Tabela 2). O instrumento como um todo obteve IVC de 1,0 e, desta forma, o conteúdo da LVBPA-SA foi considerado validado. No Quadro 1, estão apresentados os blocos que compõem a LVBPA-SA, assim como os itens de avaliação.

Quadro 1
Composição da LVBPA-SA após a validação do conteúdo: Blocos e Itens de avaliação.

Blocos	Itens a de avaliação
A. RESÍDUOS SÓLIDOS: Medidas relacionadas a redução, reutilização, tratamento, armazenamento e destinação final	1. Há ficha técnica de preparação no serviço de alimentação? 2. Há controle de perdas no pré-preparo (fator de correção, fator térmico, perdas no degelo)? 3. É realizado o aproveitamento integral dos alimentos? 4. É realizado controle de temperatura na recepção dos gêneros? 5. É realizado controle de temperatura no preparo/cocção? 6. É realizado controle de temperatura na distribuição das refeições? 7. É realizada a avaliação das características sensoriais dos alimentos/preparações na recepção de gêneros? 8. É realizada a avaliação das características sensoriais dos alimentos/preparações após o preparo/cocção? 9. Há Controle de restos por meio de cálculo do índice de restos? 10. Há Controle de sobras por meio de cálculo do percentual de sobras de preparações? 11. Há aquisição de produtos em embalagens econômicas que dispensem embalagens secundárias? 12. Há reutilização de embalagens utilizadas no serviço de alimentação? Se sim, quais () Plástico () Vidro () Papelão () Alumínio () Isopor () Embalagem cartonada tetra pak 13. É realizado o tratamento dos resíduos sólidos e líquidos gerados no serviço de alimentação? Se sim, quais? () Compostagem () Incineração () Tratamento de efluentes () Outros 14. É realizada a separação dos resíduos recicláveis? Se sim, quais () Plástico () Vidro () Papelão () Óleo e gorduras de origem vegetal e animal () Alumínio () Madeira () Isopor () Embalagem cartonada tetra pak () Outro 15. Há recipientes para acondicionamento de resíduos dotados de saco plástico resistente, tampa e sistema de acionamento sem contato manual? 16. Há número suficiente de coletores de resíduos em cada área da produção de refeições? 17. O recipiente de lixo é mantido afastado das mesas, dos utensílios de preparação e da manipulação de alimentos? 18. É realizado o recolhimento frequente do lixo das áreas de produção (quando os recipientes estão cheios)? 19. O lixo da área de produção é retirado por local diferente da entrada de matérias-primas ou, na impossibilidade de áreas distintas, são utilizados horários diferenciados? 20. O resíduo pastoso e/ou aquele que escorre líquido são colocados em recipientes rígidos, até o momento da coleta? 21. Há Comercialização (ou doação) de resíduos de alimentos por empresa especializada no processamento desses resíduos? 22. Há Comercialização (ou doação) de resíduos de óleo de fritura por empresa especializada no processamento desses resíduos? 23. O óleo de fritura, quando comercializado, é acondicionado em recipiente rígido, fechado e fora da área de produção? 24. É realizado o encaminhamento dos resíduos sólidos para a reciclagem? Se sim, quais? () Plástico () Vidro () Papelão () Óleo e gorduras de origem vegetal e animal () Alumínio () Madeira () Isopor () Embalagem cartonada tetra pak () Outro 25. É realizada capacitação dos manipuladores de alimentos para o manejo de resíduos sólidos? 26. É realizada educação ambiental (sobre resíduos sólidos) para usuários/comensais do serviço de alimentação? 27. Os resíduos sólidos orgânicos de origem alimentar são mantidos temporariamente sob refrigeração até o momento da sua remoção para destinação final? 28. Os resíduos sólidos de origem não alimentar são mantidos em local fechado e isolado da área de preparo até o momento da sua remoção para destinação final? 29. A área de armazenamento temporário dos resíduos é revestida com material de fácil limpeza, provida de ponto de água, de ralo, protegida da chuva, sol, moscas, roedores, outros animais e pessoas estranhas ao serviço? 30. No armazenamento temporário, os resíduos estão acondicionados de forma que não provoquem odores ou incômodos a vizinhança/trabalhadores? 31. No caso de refeições transportadas, o SA utiliza embalagens recicláveis/reutilizáveis? 32. No SA são utilizados alimentos de produtores locais/agricultura familiar no cardápio total? 33. No SA são utilizados alimentos de produtores locais/agricultura familiar no cardápio parcial ou em algum dia da semanal?
B. ÁGUA: Medidas relacionadas ao uso racional de água	1. Há capacitação dos manipuladores (uso racional de água/prevenção de desperdício durante a higienização do ambiente, dos equipamentos, utensílios e alimentos)? 2. Há atividade de educação ambiental sobre o uso racional de água para usuários do S.A/Comensais? 3. Há Identificação e Correção de vazamentos na rede de água e nos equipamentos? 4. São utilizados materiais de limpeza biodegradáveis? 5. É utilizada quantidade necessária de detergente na higienização do ambiente, equipamentos e utensílios? 6. Há enxágue controlado na higienização do ambiente, equipamentos, utensílios e alimentos? 7. O descongelamento de alimentos é realizado em câmara de refrigeração/geladeira ou forno de convecção ou de micro-ondas? 8. São utilizadas estratégias de reaproveitamento e reúso de água? Se sim, quais? () Coleta e reutilização da água de chuva; () Outro tipo de reaproveitamento ou reuso de água; () Uso da própria caixa d’agua no momento de sua limpeza; () Tratamento e reúso de água cinza (proveniente de processo de higienização de ambiente, utensílios) 9. Há medidores (hidrômetros) individuais de água (por área de processamento de alimentos)? 10. Há torneiras com arejadores? 11. Há duchas com redutor de vazão? 12. Há mictório com válvula automática? 13. Há bacia sanitária com caixa acoplada e acionador com dois botões (para dois fluxos)? 14. Há fossas/esgoto conectados à rede pública? 15. Há tratamento de águas negras (fecal e urina) antes do lançamento no ambiente (rede coletora de esgoto ou corpo receptor) ou reutilização? 16. As caixas de gordura estão em adequado estado de conservação e funcionamento, e se localizam fora da área de processamento de alimentos?
C. ENERGIA: Medidas relacionadas ao uso racional de energia	1. Há capacitação dos manipuladores para o uso racional de energia? 2. Há atividade de educação ambiental sobre uso racional de energia para usuários do SA/Comensais? 3. Há manutenção de equipamentos e sistemas de aquecimento e refrigeração? Se sim, quais? () PREDITIVA (planilhas de temperatura de câmaras, pass through, balcões de distribuição, etc.) de equipamentos e sistemas de aquecimento e refrigeração; () PREVENTIVA de equipamentos e sistemas de aquecimento e refrigeração; () CORRETIVA de equipamentos e sistemas de aquecimento e refrigeração. 4. É realizada calibração dos instrumentos ou equipamentos de medição. 5. São adotadas medidas para redução do consumo de energia? Se sim, quais () desligamento programado de sistema de iluminação; () instalação de interruptores para desligamento de equipamentos; () instalação de sensores de presença; () Rebaixamento de luminárias; () Uso exclusivo de lâmpadas de led; () Medidores individuais de eletricidade; () ventilação natural e sistemas de ar condicionado em áreas nas quais a ventilação natural não pode fornecer resultados satisfatórios; () uso de painéis solares ou outras tecnologias limpas para o aquecimento da água; () outros
D. Documentação	1. Há manifesto de resíduos preenchido e arquivado com, no mínimo, as seguintes informações: tipos de resíduos, quantidade, estado físico, origem, tipo de acondicionamento, procedência, tipo de tratamento/disposição, identificação do gerador, do transportador e do receptor? 2. As Notas Fiscais ou notas de serviços prestados pela empresa especializada na coleta dos resíduos sólidos são mantidas no serviço de alimentação? 3. É mantido o Registro de comercialização/doação de resíduos de alimentos com, no mínimo, os seguintes dados: nome e endereço da empresa reprocessadora, frequência da coleta e quantidade aproximada do material coletado? 4. É mantido o Registro de comercialização/doação de óleo de fritura com, no mínimo, os seguintes dados: nome e endereço da empresa reprocessadora, frequência da coleta e quantidade aproximada do material coletado? 5. É mantido registro diário de sobras das preparações? 6. É mantido registro diário de restos alimentares? 7. Há registro de realização da calibração dos instrumentos ou equipamentos de medição? 8. É realizado o registro da manutenção dos equipamentos? 9. Há Procedimentos Operacionais Padronizados de manutenção dos equipamentos envolvidos no processo produtivo de refeições que contemplem, no mínimo: periodicidade e responsável pela manutenção e a operação de higienização adotada após o processo de manutenção dos mesmos? 10. É mantido o registro periódico dos procedimentos de limpeza e manutenção dos componentes do sistema de climatização (ar condicionado) conforme legislação específica afixado em local visível? 11. Há Procedimentos Operacionais Padronizados para higienização das instalações, dos equipamentos, dos móveis e utensílios? 12. Há Procedimentos Operacionais Padronizados do manejo de resíduos com, no mínimo, as seguintes informações: frequência e responsável pelo manejo? 13. Há Procedimentos Operacionais Padronizados para higienização dos coletores de resíduos e da área de armazenamento temporário dos mesmos? 14. Há Programa de gestão integrada e sustentável dos resíduos gerados no processo produtivo de refeições?

• ^a
  Cada item de avaliação pode ser classificado em SIM, quando a medida é adotada pelo SA; em NÃO, quando a medida não é adotada; em NÃO SE APLICA, quando o item em análise não se aplica ao SA em avaliação.

De acordo com os especialistas, a LVBPA-SA foi considerada simples, objetiva e de fácil manuseio, e apresenta utilidade para a adoção de medidas de boas práticas ambientais, mostrando a importância do instrumento para o setor de alimentação fora do lar. Carvalho (2014) e Cummings et al. (1984) afirmam que, para os instrumentos serem úteis, devem apresentar validade, clareza em seu objetivo e utilidade em sua aplicabilidade, sendo estes aspectos observados no instrumento desenvolvido, conforme relatado pelos especialistas.

O instrumento com o conteúdo validado foi respondido por sete nutricionistas, sendo verificado que, em média, 65% das medidas de boas práticas ambientais listadas na LVBPA-SA eram adotadas no serviço de alimentação. Não foram observadas diferenças significativas entre as avaliações realizadas, o que sugere que o instrumento apresenta reprodutibilidade (Tabela 3). A reprodutibilidade trata da consistência e da concordância dos resultados quando a medição se repete, em condições idênticas, o que demonstra que o instrumento é capaz de avaliar o que foi planejado (BOOTH et al., 2002).

Tabela 3
Medidas de boas práticas ambientais adotadas pelo serviço de alimentação, de acordo com a avaliação dos nutricionistas (Rio de Janeiro, 2014).

Blocos	Medidas de boas práticas ambientais (n; %)							p-valor
	Nutricionistas
	1	2	3	4	5	6	7
A. Resíduos sólidos (n=33)	28; 85	26; 79	26; 79	24; 73	24; 73	24; 73	24; 73	0,872
B. Água (n=16)	5; 31	10; 62	10; 62	11; 69	11; 69	11; 69	11; 69	0,272
C. Energia (n=5)	2; 40	4; 80	4; 80	5; 100	5; 100	5; 100	5; 100	0,067
D. Documentação (n=14)	11; 78	10; 71	10; 71	10; 71	10; 71	10; 71	10; 71	0,999
PMBPAa - total (76;100%)	46; 60	50; 66	50; 66	50; 66	50; 66	50; 66	50; 66	0,999

• ^a
  Percentual de medidas de boas práticas ambientais. Por meio do Teste de Kruskal-Wallis, não foram observadas diferenças estatisticamente significativas.

O instrumento apresentou confiabilidade (consistência interna) tanto pelo CCI – em que 75% dos blocos apresentaram coeficiente ≥ 0,75 ‒ como pelo Coeficiente Alfa de Cronbach – em que 100% dos blocos apresentaram coeficiente ≥ 0,70, o que sugere que há homogeneidade nas respostas fornecidas pelos nutricionistas (Tabela 4).

Tabela 4
Coeficiente de correlação intraclasse e Coeficiente Alfa de Cronbach obtidos das avaliações realizadas pelos sete nutricionistas para cada bloco do LVBPA-SA (Rio de Janeiro, 2014).

Blocos	CCI a	IC b 95%	p-valor	Alfa de Cronbach
A. Resíduos sólidos	0,725	0,175-0,945	0,010	0,725
B. Água	0,900	0,701-0,980	<0,001	0,900
C. Energia	0,808	0,283-0,946	0,007	0,808
D. Documentação	1	-	-	1

• ^a
  Coeficiente de correlação intraclasse: CCI ≥ 0,75 - excelente; 0,4-0,74 - satisfatória; < 0,4 - pobre. Coeficiente Alfa de Cronbach ≥ 0,70;
• ^b
  Intervalo de confiança.

As medidas relacionadas com o consumo consciente de água apresentaram o menor PMBPA (Tabela 3). Nos serviços de alimentação, a água se configura como um dos principais insumos para a produção de refeições. Embora existam poucos trabalhos que tratem do uso da água durante o processo produtivo de refeições, sua utilização está relacionada com a higienização dos alimentos, a cocção, o consumo e a higienização de utensílios e da área física, além da higiene pessoal (STRASBURG; JAHNO, 2017). Souza et al. (2012) avaliaram o consumo de água em 12 restaurantes comerciais localizados na cidade de Cascavel-PR, os quais serviam, em média, 3.448,75 ± 2.420,22 refeições, e observaram que o consumo médio foi de 37,92 ± 15,84 m³ de água por mês, sendo 11 litros por refeição produzida. Os autores observaram correlação elevada (R² = 0,7607) entre o número de refeições servidas e o consumo de água. Barthichoto et al. (2013) avaliaram o consumo de água e energia em 12 serviços de alimentação, e observaram que o consumo médio mensal de água foi de 239,9 ± 206,5 m³ por refeição. O estudo aponta para um alto consumo de água para o preparo das refeições, uma vez que se estima o consumo de 20 a 30 litros de água para o preparo de uma refeição em serviço de alimentação comercial (SABESP, 2014). Já o consumo de energia elétrica, por refeição, variou de 0,2 a 1,3 quilowatt por hora (kW/h).

Para minimizar os impactos negativos ao meio ambiente causados pelo processo produtivo de refeições, é essencial que sejam adotadas medidas de boas práticas ambientais que se adequem às rotinas operacionais dos serviços de alimentação.

4 Considerações finais

Os serviços de alimentação são locais estratégicos para a implementação de ações que visem à minimização de impactos ambientais, sociais e econômicos, causados pela geração de resíduos sólidos e pelo consumo inconsciente de água e energia. Nesse contexto, a utilização de instrumento validado é essencial para evitar erros sistemáticos e conclusões inadequadas, para o que se deseja medir.

A LVBPA-SA apresentou validade de conteúdo, reprodutibilidade e consistência interna para a avaliação das boas práticas ambientais, podendo, portanto, ser utilizada para orientar a adoção de boas práticas ambientais no âmbito dos serviços de alimentação. Assim, a LVBPA-SA viabiliza a verificação do percentual de medidas de boas práticas ambientais, o que pode auxiliar os gestores a estabelecerem metas e estratégias, visando à utilização adequada dos recursos necessários para a produção de refeições saudáveis e sustentáveis. Como uma das limitações da pesquisa, destaca-se a carência de estudos de validação de conteúdo sobre o tema que pudessem fomentar discussão mais aprofundada.

• Cite as: Good environmental practices check list for food services: elaboration, content validation and inter-rater reliability. Braz. J. Food Technol., v. 21, e2017066, 2018.

Referências

• ARAÚJO, V. M.; CARDOSO, F. F. Análise dos aspectos e impactos ambientais dos canteiros de obras e suas correlações São Paulo: USP, 2010. p. 30. (Boletim técnico da Escola Politécnica da USP, 1).
• ASSOCIAÇÃO BRASILEIRA DAS EMPRESAS DE REFEIÇÕES COLETIVAS – ABERC. Mercado real São Paulo, 2016. Disponível em: <http://www.aberc.com.br/mercadoreal.asp?IDMenu=21>. Acesso em: 1 ago. 2016.
  » http://www.aberc.com.br/mercadoreal.asp?IDMenu=21
• BARTHICHOTO, A. C. G.; SPINELLI, M. G. N.; ABREU, E. S. M. Responsabilidade ambiental: perfil das práticas de sustentabilidade desenvolvidas em unidades produtoras de refeições do bairro de Higienópolis, Município de São Paulo. Qualit@s, v. 14, n. 1, p. 78-95, 2013.
• BARTKO, J. J. The intraclass correlation coefficient as a measure of reliability. Psychological Reports, v. 19, n. 1, p. 3-11, 1966. PMid:5942109. http://dx.doi.org/10.2466/pr0.1966.19.1.3
  » http://dx.doi.org/10.2466/pr0.1966.19.1.3
• BELLUCCI JÚNIOR, J. A.; MATSUDA, L. M. Construção e validação de instrumento para avaliação do acolhimento com classificação de risco. Revista Brasileira de Enfermagem, v. 65, n. 5, p. 751-757, 2012. http://dx.doi.org/10.1590/S0034-71672012000500006.
• BLAND, J. M.; ALTMAN, D. G. Cronbach’s alpha. BMJ, v. 314, n. 7080, p. 572, 1997. PMid:9055718. http://dx.doi.org/10.1136/bmj.314.7080.572
  » http://dx.doi.org/10.1136/bmj.314.7080.572
• BOOTH, M. L.; OKELY, A. D.; CHEY, T.; BAUMAN, A. The reliability and validity of the Adolescent Physical Activity Recall Questionnaire. Medicine and Science in Sports and Exercise, v. 34, n. 12, p. 1986-1995, 2002. PMid:12471306. http://dx.doi.org/10.1097/00005768-200212000-00019
  » http://dx.doi.org/10.1097/00005768-200212000-00019
• BRASIL. Ministério da Saúde. Portaria n° 1428, de 26 de novembro de 1993. Estabelece as orientações necessárias que permitam executar as atividades de inspeção sanitária, de forma a avaliar as Boas Práticas para a obtenção de padrões de identidade e qualidade de produtos e serviços. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 2 dez. 1993.
• BRASIL. Ministério da Saúde. Portaria n° 326, de 30 de julho de 1997. Estabelece os requisitos gerais (essenciais) de higiene e de boas práticas de fabricação para alimentos produzidos/fabricados para o consumo humano. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 1 ago. 1997a.
• BRASIL. Lei n° 9.433, de 8 de janeiro de 1997. Institui a Política Nacional de Recursos Hídricos, cria o Sistema Nacional de Gerenciamento de Recursos Hídricos. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 8 jan. 1997b.
• BRASIL. Lei n° 10.295, de 17 de outubro de 2001. Dispõe sobre a Política Nacional de Conservação e Uso Racional de Energia e dá outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, Seção 1. 18 out. 2001.
• BRASIL. Agência Nacional de Vigilância Sanitária. Resolução RDC n° 275, de 21 de outubro de 2002. Dispõe sobre o Regulamento Técnico de procedimentos operacionais padronizados aplicados aos estabelecimentos produtores/industrializadores de alimentos e a lista de verificação das boas práticas de fabricação. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 8 jan. 2002.
• BRASIL. Agência Nacional de Vigilância Sanitária. Resolução RDC n° 216, de 15 de setembro de 2004. Estabelece procedimentos de Boas Práticas para serviços de alimentação a fim de garantir as condições higiênico-sanitárias do alimento preparado. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 16 set. 2004.
• BRASIL. Lei n° 12.305, de 2 de agosto de 2010. Institui a Política Nacional de Resíduos Sólidos; altera a Lei n° 9.605, de 12 de fevereiro de 1998; e dá outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 2 ago. 2010.
• CARNEIRO, L. C. Gerenciamento integrado de resíduos sólidos e sua aplicabilidade em produção de refeições: um diálogo interdisciplinar. HOLOS, ano 30, v. 1, p. 68-74, 2014. Disponível em: <http://www2.ifrn.edu.br/ojs/index.php/HOLOS/article/viewFile/1527/797>. Acesso em: 1 ago. 2016.
  » http://www2.ifrn.edu.br/ojs/index.php/HOLOS/article/viewFile/1527/797
• CARVALHO, W. M. E. S. Avaliação da aplicabilidade de um instrumento para aferição da adesão de paciente ao tratamento antirretroviral nos Serviços Único de Saúde 2014. 208 f. Tese (Doutorado em Medicina Preventiva)-Faculdade de Medicina da Universidade de São Paulo, São Paulo, 2014.
• COLARES, L. G. T.; FIGUEIREDO, V. O. Boas práticas ambientais. In: COLARES, L. G. T.; FIGUEIREDO, V. O.; MARTINS, M. C.; ANDRADE, L. P. Contratação de serviços terceirizados de alimentação e nutrição: orientações técnicas. Rio de Janeiro: Ed. Rúbio, 2014. cap. 8, p. 71-78.
• COLARES, L. G. T.; FIGUEIREDO, V. O. Gestão de resíduos sólidos gerados na produção de refeições. Revista Nutrição em Pauta, v. 114, p. 19-24, 2012.
• COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO – SABESP. Manual de instrução para implantação, gestão e mudanças de hábitos, no programa de redução em consumo de água São Paulo, 2014. p. 88.
• CONSELHO FEDERAL DE NUTRICIONISTAS – CFN. Resolução CFN n°380/2005. Dispõe sobre a definição das áreas de atuação do nutricionista e suas atribuições, estabelece parâmetros numéricos de referência, por área de atuação, e dá outras providências Brasília, 2005. Disponível em: <http://www.cfn.org.br/novosite/pdf/res/2005/res380.pdf>. Acesso em: 1 ago. 2016.
  » http://www.cfn.org.br/novosite/pdf/res/2005/res380.pdf
• CONTANDRIOPOULOS, A. P.; CHAMPAGNE, F.; DENIS, J. L.; PINEAULT, R. A avaliação na área de saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz, 1997. p. 29-47.
• CONTANDRIOPOULOS, A. P.; CHAMPAGNE, F.; POTVIN, L.; DENIS, J. L.; BOYLE, P. Saber preparar uma pesquisa 3. ed. São Paulo: Hucitec/Abrasco. 1999.
• CUMMINGS, K. M.; KIRSCHT, J. P.; BECKER, M. H.; LEVIN, N. W. Construct validity comparisons of three methods for measuring compliance. Health Services Research, v. 19, n. 1, p. 103-116, 1984. PMid:6724950.
• GRANT, J.; DAVIS, L. Selection and use of content experts for instrument development. Research in Nursing & Health, v. 20, n. 3, p. 269-274, 1997. PMid:9179180. http://dx.doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
  » http://dx.doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
• HASSON, F.; KEENEY, S.; MCKENNA, H. Research guidelines for the Delphi survey technique. Journal of Advanced Nursing, v. 32, n. 4, p. 1008-1015, 2000. PMid:11095242.
• INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATISTICA – IBGE. Pesquisa de orçamentos familiares 2008-2009: despesas, rendimentos e condições de vida. Rio de Janeiro, 2010. Disponível em: <http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/pof/2008_2009/POFpublicacao.pdf>. Acesso em: 1 ago. 2016.
  » http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/pof/2008_2009/POFpublicacao.pdf
• KINASZ, T. R.; WERLE, H. J. S. Produção e composição física de resíduos sólidos em alguns serviços de alimentação e nutrição, nos municípios de Cuiabá e Várzea Grande, Mato Grosso: questões ambientais. Revista Higiene Alimentar, v. 20, n. 144, p. 64-71, 2006.
• LEAL, G. C. S. G.; FARIAS, M. S. S.; ARAÚJO, A. F. O processo de industrialização e seus impactos no meio ambiente urbano. QUALIT@S Revista Eletrônica, v. 7, n. 1, p. 1-11, 2008. Disponível em: <http://www.ceap.br/material/MAT2004201302831.pdf>. Acesso em: 5 maio 2017.
  » http://www.ceap.br/material/MAT2004201302831.pdf
• LIKERT, R. A technique for the measurement of attitudes. Archives de Psychologie, v. 22, n. 140, p. 5-55, 1932.
• LOBÃO, W. M.; MENEZES, I. G. Construção e validação de conteúdo da escala de predisposição à ocorrência de eventos adversos. Revista Latino-Americana de Enfermagem, v. 20, n. 4, p. 796-803, 2012. PMid:22990166. http://dx.doi.org/10.1590/S0104-11692012000400021
  » http://dx.doi.org/10.1590/S0104-11692012000400021
• LYNN, M. Determination and quantification of content validity. Nursing Research, v. 35, n. 6, p. 328-385, 1986. PMid:3640358. http://dx.doi.org/10.1097/00006199-198611000-00017
  » http://dx.doi.org/10.1097/00006199-198611000-00017
• OLIVEIRA, A. G. M.; CARMO, N. C.; LEITE, S. G. G.; MIGUEL, M. A. L.; COLARES, L. G. T. Elaboração, validação de conteúdo e da confiabilidade do instrumento para avaliação higiênico-sanitária de serviços de alimentação. Revista Visa em Debate, v. 2, n. 3, p. 86-93, 2014.
• PASQUALI, L. Princípios de elaboração de escalas psicológicas. Revista de Psiquiatría Clínica, v. 25, n. 5, p. 206-213, 1998.
• ROBINSON-O’BRIEN, R.; GERALD, B. L. Practice paper of the academy of nutrition and dietetics abstract: promoting ecological sustainability within the food system. Journal of the Academy of Nutrition and Dietetics, v. 113, n. 3, p. 464, 2013. PMid:24231364. http://dx.doi.org/10.1016/j.jand.2013.01.016
  » http://dx.doi.org/10.1016/j.jand.2013.01.016
• RUBIO, D. M.; BERG-WEGER, M.; TEBB, S. S.; LEE, E. S.; RAUCH, S. Objectifying content validity: conducting a content validity study in social work research. Social Work Research, v. 27, n. 2, p. 94-105, 2003. http://dx.doi.org/10.1093/swr/27.2.94
  » http://dx.doi.org/10.1093/swr/27.2.94
• SALES, G. L. P. Diagnóstico da geração de resíduos sólidos em restaurantes públicos populares do Município do Rio de Janeiro: contribuição para minimização de desperdícios. 2009. 157 f. Dissertação (Mestrado em Nutrição Humana)-Programa de Pós-graduação do Instituto de Nutrição Josué de Castro, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009.
• SILVA, D. D. E.; ASSUNÇÃO RIOS, F. R. Degradação ambiental: uma análise sobre a agricultura no Semiárido Nordestino. Revista Brasileira de Gestão Ambiental, v. 7, n. 2, p. 1-6, 2013.
• SILVA, R.; TANAKA, O. Técnica Delphi: identificando as competências gerais de médicos e de enfermeiros que atuam em atenção primária de saúde. Revista da Escola de Enfermagem, v. 33, n. 3, p. 207-216, 1999. http://dx.doi.org/10.1590/S0080-62341999000300001
  » http://dx.doi.org/10.1590/S0080-62341999000300001
• SIQUEIRA, L. C. Produção de resíduos no restaurante universitário: diagnósticos para ações de educação ambiental no programa Agenda 21 da Universidade de Brasília. 2002. 116 f. Dissertação (Mestrado em Ecologia)-Programa de Pós-graduação em Ecologia, Universidade de Brasília, Brasília, 2002.
• SOUZA, D. P.; SANTOS, R. K.; SANTOS, R. F. Estimativa do consumo de água em restaurantes na cidade de Cascavel - PR. Acta Iguazu, v. 1, n. 3, p. 50-63, 2012.
• STRASBURG, V. J.; JAHNO, V. D. Paradigmas das práticas de gestão ambiental no segmento de produção de refeições no Brasil. Engenharia Sanitária e Ambiental, v. 22, n. 1, p. 3-12, 2017. http://dx.doi.org/10.1590/s1413-41522017155538
  » http://dx.doi.org/10.1590/s1413-41522017155538
• TAGTOW, A.; ROBIEN, K.; BERGQUIST, E.; BRUENING, M.; DIERKS, L.; HARTMAN, B. E.; ROBINSON-O’BRIEN, R.; STEINITZ, T.; TAHSIN, B.; UNDERWOOD, T.; WILKINS, J. Academy of nutrition and dietetics: standards of professional performance for registered dietitian nutritionists (competent, proficient, and expert) in sustainable, resilient, and healthy food and water systems. Journal of the Academy of Nutrition and Dietetics, v. 114, n. 3, p. 475-488, 2014. PMid:24534371. http://dx.doi.org/10.1016/j.jand.2013.11.011
  » http://dx.doi.org/10.1016/j.jand.2013.11.011
• TANNURE, M. C.; CHIANCA, T. C. M.; BEDRAN, T.; WERLI, A.; ANDRADE, C. R. Validation of nursing data collection tools in adult intensive care units. Revista Mineira de Enfermagem, v. 12, n. 3, p. 370-380, 2008.
• TILDEN, V.; NELSON, C.; MAY, B. Use of qualitative methods to enhance content validity. Nursing Research, v. 39, n. 3, p. 172-175, 1990. PMid:2342905. http://dx.doi.org/10.1097/00006199-199005000-00015
  » http://dx.doi.org/10.1097/00006199-199005000-00015
• UCKER, F. E.; KEMERICH, P. D. C.; ALMEIDA, R. A. Indicadores ambientais: importantes instrumentos de gestão. Engenharia Ambiental, v. 9, n. 1, p. 119-127, 2012.
• WILLIAMS, P. L.; WEBB, C. The Delphi technique: a methodological discussion. Journal of Advanced Nursing, v. 19, n. 1, p. 180-186, 1994. PMid:8138622. http://dx.doi.org/10.1111/j.1365-2648.1994.tb01066.x
  » http://dx.doi.org/10.1111/j.1365-2648.1994.tb01066.x
• WYND, C.; SCHAEFER, M. The osteoporosis risk assessment tool: establishing content validity through a panel of experts. Applied Nursing Research, v. 15, n. 3, p. 184-188, 2002. PMid:12173169. http://dx.doi.org/10.1053/apnr.2002.34243
  » http://dx.doi.org/10.1053/apnr.2002.34243

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  10 Maio 2017
• Aceito
  23 Out 2017