Proposta metodológica para avaliação de formação em alimentação saudável

Proposal of a methodology for evaluating training in healthy eating

ORIGINAL ORIGINAL

Proposta metodológica para avaliação de formação em alimentação saudável¹

Proposal of a methodology for evaluating training in healthy eating

Nilza Aparecida Tuler Sobral^I; Sandra Maria Chaves dos Santos^II

^IServiço Nacional de Aprendizagem Comercial, Centro de Educação e Tecnologia, Curso de Especialização em Gestão da Segurança de Alimentos a Distância. Av. Tancredo Neves, 1109, 5º andar, Pituba, 41820 021, Salvador, BA, Brasil. Correspondência para/Correspondence to: N.A.T. SOBRAL. E-mail: <[e-mail]>

^IIUniversidade Federal da Bahia, Núcleo de Políticas Públicas da Escola de Nutrição. Salvador, BA, Brasil

RESUMO

OBJETIVO: Considerando a prioridade da promoção da alimentação saudável na escola e tendo a educação alimentar e nutricional como estratégia, este artigo descreve a construção e verifica a aplicabilidade de um método para avaliação de processos de formação nesta área.

MÉTODOS: O desenvolvimento contemplou: definição do objeto e objetivos da avaliação; modelo da avaliação; definição das dimensões a serem avaliadas; seleção e construção de indicadores e do plano de análise. O método foi aplicado em programa de formação em Salvador (BA), para professores, gestores e merendeiras.

RESULTADOS: Foi elaborado um protocolo com doze indicadores distribuídos em cinco dimensões e foram definidos parâmetros para avaliação de resultados. Na aplicação-piloto verificou-se que o curso alcançou desempenho global muito bom de acordo com o plano de análise. Os participantes se mostraram interessados e sem dificuldades para responder às questões, indicando adequação das variáveis em observação. De forma geral, os resultados alcançados com o uso do método se mostram compatíveis com o que encontra na literatura sobre o tema. Na medida em que a observação mostrou a existência de alguns problemas no desenvolvimento do programa, admite-se que reajustes precisam ser feitos nos indicadores e particularmente no plano de análise para que o resultado final seja capaz de discriminar problemas específicos.

CONCLUSÃO: O método se mostrou sensível às várias dimensões da formação. Sugerem-se, entretanto, novos testes com o protocolo por ser um tema de grande amplitude e dinamismo

Termos de indexação: Avaliação de programas. Educação alimentar e nutricional. Estudos de avaliação.

ABSTRACT

OBJECTIVE: Considering that promoting healthy eating in school is a priority and having food and nutrition education as strategy, this article describes the construction and investigates the applicability of a method to assess the training processes in this area.

METHODS: The development of this method included: object definition and assessment objectives; assessment model; definition of the dimensions to be assessed; and selection and construction of indicators and plan of analysis. The method was administered in a training program in Salvador (BA) to professors, managers and cook assistants.

RESULTS: A protocol with twelve indicators distributed into five dimensions was developed, defining parameters to assess results. In the pilot-administration, the method revealed that the course reached a very good global performance according to the analysis plan. The participants demonstrated interest and no difficulties to answer the questions, indicating the appropriateness of the investigated variables. Generally, the results obtained with the method are compatible with the literature on the theme. As observation revealed the existence of some problems in the development of the program, readjustments of the indicators, and especially of the analysis plan, were admittedly needed for the final result to be able to discriminate specific problems.

CONCLUSION: The method was sensitive to multiple training dimensions. However, new tests with the protocol are suggested since this is a theme of great breadth and dynamism.

Indexing terms: Program evaluation. Food and nutrition education. Evaluation studies.

INTRODUÇÃO

De acordo com o Ministério da Educação, a escola deve assumir a responsabilidade pela educação para a saúde devido à sua função social e à sua potencialidade para o desenvolvimento de um trabalho sistematizado e contínuo. Concebe-se, portanto, que a adequação de atitudes nos escolares esteja fortemente associada a valores que o professor e toda a comunidade escolar transmitem aos alunos no convívio escolar. Os valores que se expressam na escola por meio de aspectos concretos, como a qualidade da alimentação escolar, a limpeza das dependências, as atividades propostas, a relação professor-aluno, entre outros, são apreendidos pelas crianças na sua vivência diária¹.

A preocupação com um espaço escolar capaz de também promover saúde está presente tanto nos Parâmetros Curriculares Nacionais (PCN) como nas avaliações sobre tensões e contradições desse processo². Os PCN salientam a necessidade de que as concepções sobre saúde ou sobre o que é saudável perpassem todas as áreas de estudo, e que a alimentação no ambiente escolar pode e deve ter função pedagógica, devendo estar inserida no contexto curricular¹.

Mais recentemente, as mudanças observadas no perfil de adoecimentos e mortes na população brasileira, com aumentos significativos de doenças crônicas não transmissíveis e sem o controle efetivo das doenças infecciosas³, mobilizaram a ação conjunta dos Ministérios da Educação e da Saúde, resultando na publicação da Portaria Interministerial 1010, que instituiu, em âmbito nacional, as diretrizes para a Promoção da Alimentação Saudável nas Escolas de Educação Infantil, Fundamental e Nível Médio das redes públicas e privadas. Considerando que a alimentação saudável é um importante componente da prevenção desses problemas e a educação alimentar e nutricional, uma estratégia fundamental de intervenção no quadro referido, a Portaria prevê a incorporação do tema "alimentação saudável" no projeto político pedagógico das escolas, contemplando todas as áreas de estudo e propiciando experiências no cotidiano das atividades escolares⁴.

No ambiente da escola, assume-se que os escolares conformam hábitos legitimados pelos diversos grupos em que se inserem e com os quais dialogam, e não apenas com aqueles considerados teórica ou tecnicamente adequados, cabendo considerar também outros fatores moduladores do consumo, como gênero e renda familiar⁵. Dessa forma, ao buscar constituir a escola como um espaço de promoção da alimentação e modos de vida saudáveis, importa alcançar o conjunto de seus atores, cujos valores incidem de forma direta ou indireta na alimentação escolar. Segundo Costa et al.⁶, pode-se explorar nesse momento e espaço situações que permitam adquirir conhecimentos significativos a partir da experiência cotidiana, criando assim condições para tornar o ambiente onde quem atua também ensina e aprende, num empenho conjunto na busca por melhores condições de saúde.

Pesquisas demonstraram melhora nos conhecimentos nutricionais após intervenções no campo da educação alimentar e nutricional^7-9. Em oficinas teórico-práticas sobre temas relacionados à alimentação e à nutrição realizadas em 2006 no Distrito Federal, a estratégia de promoção da alimentação saudável no ambiente escolar apresentada propiciou a ampliação dos conhecimentos da maioria dos participantes, que demonstraram estar sensibilizados quanto ao seu papel de multiplicadores das informações obtidas¹⁰. Nessa perspectiva, professores, gestores e merendeiras podem ser aliados no processo de formação e mudanças do comportamento alimentar dos alunos. No entanto, a própria Política Nacional de Alimentação e Nutrição (PNAN), por exemplo, destaca que seja dada atenção especial aos processos educativos permanentes sobre alimentação e nutrição, mas não define suas diretrizes, além de afirmar que Educação Alimentar e Nutricional "contêm elementos complexos e até conflituosos" e que se deve buscar "consensos sobre conteúdos, métodos e técnicas do processo educativo, considerando os diferentes espaços geográficos, econômicos e culturais"¹¹.

A educação tradicional e seus métodos apresentam o risco de adestramento, já tendo sido descrita por Freire & Nogueira¹² como bancária. Nela, o indivíduo recebe passivamente os conhecimentos dentro da inteligência silenciada de educando, tornando-se um depósito de informações e, naturalmente, sem desenvolver a criatividade potencial. Em direção contrária, os autores indicam que a informação pode ser aprendida estabelecendo conexões com o meio, desenvolvendo novos sentimentos, ideias e valores.

Santos¹³, analisando documentos oficiais, destacou como preocupação no estabelecimento das estratégias educativas o fato de que, em geral, os objetivos das propostas no campo da alimentação e nutrição eram voltados para subsidiar os indivíduos com informações em detrimento do auxílio para tomada de decisões. Desde 1999, L´Abbate⁸ propôs que processos de formação cada vez mais eficientes e inovadores fossem um compromisso das instituições públicas formadoras em parceria com os serviços.

Para serem mudados os hábitos alimentares, devem-se considerar os componentes da história individual, da família ou do grupo social. De outra parte, avalia-se o despreparo dos profissionais da educação para atuar nesse campo. Mesmo entre profissionais de saúde, médicos e enfermeiras, foram identificados falta de embasamento teórico e até desconhecimento de técnicas para abordar problemas alimentares¹⁴. No entanto, apesar das dificuldades, experiências alcançaram resultados positivos na formação de professores para o ensino da nutrição^9,10. Segundo Pereira¹⁵, a prática educativa norteada pela pedagogia da problematização seria a mais adequada em saúde por promover a valorização do saber do educando. Rodrigues & Boog¹⁶, nesse contexto, sugerem que a educação nutricional agregue os conhecimentos do campo da antropologia da alimentação e os fundamentos teóricos do campo da educação.

Como afirmado por Paiva¹⁷ em relação ao campo da prevenção da AIDS, e como em outros campos de ação, não se deve esperar "mágicas soluções", e, sim, conforme defende o autor, a adoção de uma educação dialógica, seguindo um processo de desconstrução e reconstrução, de apropriação das propostas educativas.

A expectativa, portanto, é que a educação alimentar e nutricional contribua para a mudança em favor da saúde. Reconhece-se, no entanto, que existem múltiplos desafios a enfrentar no plano dos conteúdos, das formas de transmissão e dos valores que estão em cena. Considera-se, dessa forma, relevante avaliar se os cursos que tratam do assunto são capazes de alcançar os objetivos. Os padrões adotados na avaliação de processos de formação tendem a valorizar muito mais os aspectos cognitivos, embora a promoção da alimentação saudável adentre fortemente no campo comportamental, em geral relegado. Con-siderando-se, de uma parte, a ênfase que vem sendo dada a programas de educação alimentar e nutricional, particularmente no ambiente escolar, e, de outra parte, a existência de limites nas avaliações dos programas realizados, torna-se fundamental desenvolver métodos para avaliação da ação educativa nesse campo.

Nesse contexto, pesquisadores da Escola de Nutrição da Universidade Federal da Bahia (ENUFBA) desenvolveram um projeto de pesquisa-ação intitulado "Promoção da alimentação saudável nas escolas do ensino fundamental: desenvolvimento metodológico, implantação e avaliação de um Programa para Educadores" (PROESCOLAR), financiado pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e com apoio da Secretaria Municipal de Educação de Salvador (BA) (SMEC-BA). O projeto foi aprovado pelo Comitê de Ética em pesquisa da Maternidade Climério de Oliveira da UFBA, parecer nº 20/2006.

O Proescolar considerou professores, gestores e merendeiras como educadores potenciais na promoção da alimentação saudável. Os professores porque são os responsáveis pelo desenvolvimento do currículo escolar; os gestores devido à responsabilidade na organização do ambiente escolar e como decisores quanto ao processo de fornecimento do benefício alimentar do Programa Nacional de Alimentação Escolar (PNAE), e as merendeiras por executarem o preparo das refeições, com relativa autonomia, muitas vezes orientadas por seus conhecimentos e sua cultura em alimentação e nutrição¹⁸.

Dessa forma, a partir de estudo qualitativo prévio sobre concepção de alimentação saudável entre os atores indicados, propuseram-se um programa de formação sobre o tema e, tendo em vista o acima exposto, o desenvolvimento e teste de um método para avaliação da formação em dimensões para além do cognitivo. Este artigo descreve, portanto, o processo de construção e a aplicabilidade de um método para avaliação de programas de formação em alimentação saudável para educadores e apresenta um protocolo de indicadores possível de ser aplicado em diferentes contextos.

MÉTODOS

O desenvolvimento e a aplicação do método para avaliação de formação em alimentação saudável para educadores contemplaram os seguintes passos:

Definição de avaliação, seleção do objeto e estabelecimento dos objetivos do método.

O ponto de partida do trabalho de desenvolvimento de um método de avaliação é, sem dúvida, a definição do que se entende por avaliação. Neste trabalho, assumiu-se avaliação como elaboração, negociação, aplicação de critérios de análise com vistas a conhecer, medir, determinar e julgar o contexto, o valor ou o estado de um determinado objeto a fim de estimular e facilitar processos de aprendizagem¹⁹.

Quanto ao objeto desse método, trata-se de uma "Formação em alimentação saudável para educadores". Nessa perspectiva, entendeu-se formação como um processo educativo e contínuo, facilitador da construção de uma competência técnica e social que permite ao educando assumir autônoma e conscientemente comportamentos que promovam práticas alimentares saudáveis a fim de realizar as transformações necessárias.

Propôs-se, portanto, um método de avaliação para processos de formação que tenham por imagem-objetivo a provocação de mudanças, no plano social, dos valores e das práticas em relação à alimentação e modos de vida saudáveis.

Dimensões consideradas pelo método

Neste trabalho, admitiu-se que todo processo de formação busca mudar o nível de apreensão cognitiva dos participantes sobre algo. Avaliar a "dimensão conceitual", portanto, era fundamental, e, dessa forma, foram definidas questões relativas à adequação do curso quanto aos novos conhecimentos.

A incorporação de novos conhecimentos a partir de uma formação, por sua vez, guarda estreita relação com aspectos didático-pedagógicos do curso. O programa do curso, a qualidade do material didático e o desempenho dos monitores concorrem para a aprendizagem. Assim definiu-se uma dimensão didático-pedagógica para o método de avaliação da formação.

Consideraram-se, em uma "dimensão operacional", outros aspectos da logística de um curso, como horário, cronograma, local de realização etc. Esse método valorizou condições físicas e ambientais que favoreçam a aprendizagem e preocupou-se ainda em delimitar a "dimensão da adesão", voltada para identificar resultados que permitam reconhecer o êxito ou insucesso da formação junto à população-alvo.

Adotou-se, porém, a "dimensão comportamental" com o propósito de buscar respostas sobre a ocorrência de mudanças no ambiente escolar quanto à promoção da alimentação saudável que pudessem ser imputadas à formação recebida.

Dessa forma, na perspectiva adotada neste estudo, um programa de formação em alimentação saudável teria seu desempenho global avaliado a partir de resultados obtidos nas cinco dimensões indicadas, sendo possível aos envolvidos identificar os aspectos e as dimensões que estariam comprometendo o pleno êxito do programa.

Definição dos indicadores e dos meios de verificação

No desenvolvimento deste trabalho, houve a preocupação com o marco conceitual e estruturante do objeto a avaliar, que, na definição de Jannuzzi & Arruda²⁰, é a primeira questão a tratar na construção de um sistema de indicadores. Ainda segundo esses autores, o indicador é uma medida que operacionaliza um determinado conceito, em geral abstrato. Acompanhando esse raciocínio, a seleção e a construção do protocolo de indicadores se basearam na elaboração de premissas sobre as dimensões consideradas, de forma a tornar inteligível os resultados obtidos. Para cada dimensão, considerou-se como os resultados ajudavam ou obstavam para a criação de um ambiente favorável à promoção da alimentação saudável na escola. Em momento subsequente, foram elaboradas questões para identificar, selecionar e construir os indicadores²¹.

Uma das decisões na construção do método referiu-se à explicitação do que vem a ser um ambiente promotor da alimentação saudável na escola. Não foi possível identificar na literatura pertinente uma definição clara e consensual sobre isso, mas a pesquisa documental realizada - tendo em vista a concepção de promoção da saúde²², os PCN¹, a Portaria 1010⁴ e os documentos normativos do PNAE²³ permitiu a construção de premissas que orientaram todo o desenvolvimento do método. São elas:

- A maior satisfação com os conteúdos desenvolvidos, o atendimento das expectativas dos participantes, a incorporação efetiva de novos conhecimentos que sejam compreensíveis, úteis e aplicáveis na vida profissional e pessoal dos participantes contribuem para a criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Uma carga horária bem planejada e suficiente para cumprir todo o programa proporciona um melhor desenvolvimento do curso e entendimento do tema, o que favorece a mudança de comportamento e a consequente criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Um material didático de qualidade e de fácil entendimento proporciona melhor compreensão dos novos conhecimentos, o que favorece a mudança de comportamento e a consequente criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Monitores bem preparados são capazes de instrumentalizar o educando com métodos e informações consistentes e pautados cientificamente e que proporcionam um maior entendimento do tema, o que favorece a mudança de comportamento e a consequente criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Horários das aulas teóricas e práticas devem proporcionar condições de participação sem prejuízo da adesão e oferecer chance de abranger todo o públicoalvo e proporcionar um maior alcance das informações. Um local adequado para o curso garante a satisfação de necessidades bási-cas de conforto, e recursos adequados oferecem auxílio para construção do aprendizado, o que favorece a criação de um ambiente favorável à promoção da alimentação saudável na escola.

Se após definido o curso, o públicoalvo aderir à proposta, efetuando a inscrição, aumentam-se as chances da criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Se houver a participação efetiva daqueles que se inscreveram inicialmente no curso, os recursos serão dimensionados de forma correspondente, além de contribuir para maior disseminação do tema e criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Um programa de formação em alimentação saudável na escola capaz de alcançar todo seu público-alvo contribui para a formação de multiplicadores sobre o tema e favorece a criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Quando a participação se dá de acordo com o planejado, aumenta-se a chance de aprendizado e favorece a criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Uma formação capaz de promover a mudança, na operacionalização do ensino, de valores em relação à alimentação e modo de vida saudáveis atende ao objetivo da criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Uma formação capaz de promover a mudança nas práticas de produção dos alimentos numa direção mais saudável atende aos objetivos do curso da criação de um ambiente favorável à promoção da alimentação saudável na escola.

- Uma formação capaz de gerar multiplicadores dos conceitos de alimentação saudável trabalhados atende aos objetivos do curso da criação de um ambiente favorável à promoção da alimentação saudável na escola.

Em seguida, foram propostas questões que gerassem respostas capazes de serem analisadas tendo como pano de fundo as premissas indicadas. Essas questões deram origem aos indicadores e forma aos instrumentos de coleta de dados. Ao final do processo descrito elaborou-se um protocolo com 12 indicadores compostos, distribuídos nas cinco dimensões.

Os dados coletados durante e ao final da atividade foram obtidos por meio de entrevistas, com a aplicação de questionários estruturados, contemplando questões acessíveis e diferenciadas de acordo com as especificidades de cada segmento em formação (professores, gestores e merendeiras).

As perguntas foram feitas propiciando oportunidades de respostas por meio de uma variação da escala de Likert²⁴, a saber: concordo totalmente, concordo parcialmente, discordo parcialmente e discordo totalmente; pontuadas de forma decrescente de 3 a zero. Optou-se por fazer dessa maneira tendo em vista a compreensão de que esse tipo de escala permite captar a direção da resposta do entrevistado (concordo/discordo) e também a intensidade da opinião (totalmente/parcialmente), aumentando a sensibilidade da observação. A escolha dessa escala pareceu ser mais interessante aos objetivos da avaliação do que a adoção de uma escala de respostas dicotômicas (Sim/Não)²⁵.

Adotaram-se, também, momentos de escuta aos participantes e elaboração por professores e gestores de projetos para trabalhar o tema alimentação saudável na escola, que serviriam de base para verificação da dimensão comportamental depois de decorridos três meses da formação²⁶.

Plano de análise dos resultados

Um protocolo de indicadores só é capaz de realizar um julgamento do fenômeno em estudo a partir da existência de critérios que permitam a avaliadores e avaliados reconhecerem se o alcançado está adequado ou não ao desejado. Dessa maneira, cada indicador deve ser acompanhado de seu parâmetro. Os parâmetros, em geral, devem advir da clara explicitação do que se deseja e da experiência de avaliação acumu-lada naquela área. No caso do método proposto, em se tratando de uma nova composição, foi preciso que a equipe do projeto construísse parâmetros, que levaram em conta as premissas elaboradas. Observa-se também que todas as dimensões, em conjunto, devem contribuir para a criação de um ambiente favorável à promoção da alimentação saudável na escola, que seria a imagem-objetivo da formação definida. Portanto, os valores atribuídos, por pressuposto, estabelecem a distância entre o alcançado e o que seria desejado para realizar essa imagem-objetivo (Quadro 1).

Na aplicação do método, uma vez obtidas as respostas, deve-se contabilizar os pontos máximos possíveis no quesito. Por exemplo, se todos os respondentes "concordarem plenamente" com todas as 8 questões do indicador composto na dimensão conceitual, o resultado máximo seria 3 (o valor da resposta concordo plenamente), multiplicado por 8 (número de questões), multiplicado pelo número de respondentes. Esse seria o 100% desse indicador. Outros resultados para o indicador são calculados estabelecendo o percentual alcançado em relação ao máximo possível. Dessa forma, o resultado obtido para qualquer indicador do protocolo pode estar entre 0 e 100%.

Para informar o resultado de cada indicador, recomenda-se adotar uma escala que tem como melhor resultado possível 100% dos pontos e como limite inferior o zero%. Ela deve ser dividida em quatro intervalos, fazendo corresponder a cada um deles um conceito, a saber: resultados possíveis entre 0% e 50% insuficiente; maior ou igual a 50% e menor que 75% regular; maior ou igual a 75% e menor que 90% bom; maior ou igual a 90% muito bom. Com isso, o protocolo permite reconhecer o desempenho da formação em cada dimensão e os aspectos que mais contribuíram para os resultados finais (Quadro 1).

Em uma avaliação como a pretendida, no entanto, importa também a leitura geral dos resul-tados, considerando os limites que separam a qualidade aceitável da não aceitável. Arbitrouse que os resultados podem estar entre 0% e 100% para cada dimensão e a média geral do percentual das dimensões vai gerar o desempenho global do programa de formação. Foram definidas as medi-das de maior ou igual a 90% como um desempenho global muito bom do programa de formação em alimentação saudável quanto à contribuição para a criação de um ambiente favorável à promoção da alimentação saudável na escola. Quando maior ou igual a 75% e menor que 90%, considerou-se um desempenho global bom, e quando maior ou igual a 50% e menor que 75%, regular, podendo ainda ser avaliado como insuficiente quando menor que 50% (Quadro 1).

Propôs-se que a dimensão comportamental fosse avaliada de forma qualitativa, não se configurando pela própria natureza uma quantificação dos resultados. Nesse caso, importou reconhecer se mudanças ocorreram e se elas estariam relacionadas com a formação recebida, a partir das falas de um grupo de participantes escolhidos aleatoriamente.

Pela proposta metodológica apresentada, faz-se necessário ainda a análise documental após a realização do programa de formação para avaliação da dimensão da adesão.

RESULTADOS

Obteve-se como resultado um protocolo com 12 indicadores. A aplicação desse protocolo foi propiciada pelo desenvolvimento do projeto "Proescolar", que optou por organizar o curso de formação em alimentação saudável (Quadro 2).

O resultado global do desempenho do curso de formação do "Proescolar" foi de 94,3% (muito bom), o que significa, de acordo com as premissas do método, que o curso, segundo os participantes, teria contribuído positivamente para a criação de um ambiente favorável à promoção da alimentação saudável na escola, de acordo com a imagem-objetivo esperada.

O curso obteve resultado muito bom nas seguintes dimensões: conceitual (98,9%), didático-pedagógica (95,8%), e de adesão (94,3%). A dimensão operacional teve um resultado bom (88,3%) e a dimensão comportamental indicou que o curso contribuiu para a construção de um ambiente favorável à promoção da alimentação saudável na escola.

A experiência, agregando a esse resultado a análise dos indicadores qualitativos da dimensão comportamental, foi considerada positiva em muitos aspectos, tais como motivação para realizar as atividades, valorização do segmento das merendeiras e melhora na confecção do alimento e na transmissão do tema alimentação saudável para criança. Esse resultado se baseou nas entrevistas realizadas com oito participantes do programa (dois gestores, dois professores e quatro merendeiras) três meses após a conclusão da formação, contemplando questões sobre dimensão comportamental a fim de verificar a contribuição da formação no cumprimento das expectativas e o nível de influência do programa no cotidiano (^Anexo).

DISCUSSÃO

O método propiciou dinamismo e participação de todos os atores do processo e os meios de verificação atenderam a necessidade de coleta de dados com algumas ressalvas que serão adiante discutidas.

Considerando as dimensões a serem avaliadas, a seleção do objeto e o estabelecimento dos objetivos, observou-se que a base conceitual definida pelo método correspondeu ao funcionamento do curso avaliado. O método proporcionou a utilização de indicadores que se mostraram favoráveis à verificação do impacto proporcionado, como pode ser constatado na publicação dos resultados da aplicação no "proescolar".

Considerou-se nesses resultados que a avaliação de forma institucionalizada como parte do programa contribuiu para a transparência do processo e para o alinhamento da ação à sua missão, mobilizando os participantes na construção de políticas sociais, conforme interesse inicial do método. Observou-se que diante desse caráter social, composto por diversas variáveis, a avaliação comportamental tendeu a fornecer mais indícios que evidências; já as outras dimensões foram mais facilmente sistematizáveis, produzindo avaliações mais precisas e gerando no conjunto final uma abordagem qualitativa e quantitativa da formação.

Verificando-se a apuração dos resultados, inicialmente ficou evidente a ausência de indicadores de custo no protocolo apresentado. Algumas considerações serão feitas em relação a essa lacuna, à escolha da escala e do plano de análise.

Avaliar programas sociais e de saúde, segundo Bosi & Mercado²⁷, tem sido cada vez mais frequente e necessário em todo o mundo. Os autores destacam como fatores relevantes a exigência de organismos internacionais por resultados dos programas de ajuda, a necessidade das organizações de exercer a transparência na condução das ações e as exigências das políticas visando legitimar as intervenções estatais. Nessas últimas ainda se faz necessário justificar os gastos a fim de evitar cortes de verbas que ocorrem frequentemente. No campo da saúde, a Organização Mundial da Saúde (OMS) vincula o processo ava-liativo ao planejamento, já que a avaliação deveria ser utilizada para tirar lições da experiência e aperfeiçoar atividades em curso ou a serem implantadas²⁸.

Observou-se neste trabalho a concordância com essa tendência à institucionalização da avaliação como instrumento para melhorar o sistema de saúde. No entanto, assumindo essa iniciativa de usar os resultados da avaliação com esse objetivo, pode-se perceber tensões e contradições por desafiar o sistema atual. Segundo Contandriopoulos²⁹, a institucionalização é paradoxal, embora justificada pela suposição de que a informação produzida contribua para racionalizar os processos de decisão. Observa-se, no entanto, que os diferentes atores que ocupam posições distintas frequentemente não conseguem chegar a um consenso quanto à pertinência dos resultados que a avaliação produz.

O método de avaliação proposto pretende ser sensível a esse conjunto de fatores e a outros que envolvem a apropriação de novos saberes e a conformação de novas práticas sobre um tema, no caso, as práticas alimentares, que, sem dúvida, vêm sofrendo enorme influência do que Minayo et al.¹⁹ identificaram como a "entrada de novas instituições na arena da mobilização psíquica da sociedade", com destaque para os meios de comunicação e de informação que socializam valores alimentares e de qualidade de vida nem sempre compatíveis com os parâmetros defendidos no campo da promoção da saúde. Quando se trata, portanto, de avaliar comportamento, vê-se que as entrevistas contidas no método podem gerar resultados interessantes, mas, na medida em que são muitas na atualidade as fontes de informação sobre alimentação e nutrição, parece ser difícil imputar a um curso isolado os resultados encontrados.

Observou-se que a inclusão da dimensão comportamental configurou-se no maior desafio da proposta metodológica. Ao tratar-se de formação que mobiliza atores no ambiente da escola para a promoção da alimentação saudável, estão em jogo mudanças comportamentais em relação ao tema na vida pessoal e na forma de trabalhar na escola. Isso implica ir além de medir o cognitivo para buscar desvendar o quanto o aprendido poderia se tornar ou estaria se tornando ação. Souza & Caulliraux²⁶, em estudo da curva de aprendizagem e seus impactos no comportamento humano, demonstraram que ocorre, imediatamente após a aquisição dos conhecimentos, um decréscimo natural do rendimento e um aumento dos erros em função da aplicação do novo. Os autores explicitam um período de adaptação e a retomada do domínio após três a seis meses da formação. Esse período pode ser estendido ou reduzido, dependendo dos estímulos e do reforço positivo nessa fase. Nesse caso, para verificação comportamental, o autor propõe uma perspectiva qualitativa tanto na coleta dos dados como na análise das respostas. Portanto, o período de três meses proposto pelo método deste trabalho para retorno aos participantes teve como base a observação de que a consolidação do comportamento acontece depois de decorrido, no mínimo, esse período da formação. Mesmo assim, considera-se que, progressivamente, com a aplicação do protocolo, a mensuração dos resultados da formação nessa dimensão deve ser aperfeiçoada.

Entende-se que o desenvolvimento de qualquer atividade de formação implica investimentos e custos, sendo importante avaliar esses aspectos para prover respostas sobre eficiência do processo, tendo sido essa a intenção inicial deste estudo. No entanto, as condições de desenvolvimento da proposta de aplicação, entretanto, dificultaram essa definição por contar com trabalhos voluntários - e, dessa forma, não estimados inicialmente - dos profissionais e estudantes que atuaram no curso. Alerta-se para que essa limitação seja superada em aplicações posteriores como forma de maximizar o alcance e os resultados dos programas de formação.

Destacou-se positivamente a habilidade do método de representar múltiplos quesitos, selecionados dentro de cada dimensão, em um único indicador. Isso não impede, e ainda facilita, as verificações dos lugares onde o programa obteve maior sucesso ou fracasso, mas também não gera excesso de indicadores e consequentemente de dados a serem coletados. Essa redução evita a ocorrência, já descrita na literatura científica, de fatores desmotivadores ao uso de sistemas de indicadores, como o desenvolvido e utilizado por Costa et al.³⁰.

O uso das categorias de respostas deve ser rediscutido. É importante que os entrevistadores tenham o cuidado de informar aos respondentes os componentes de direção (Concordo/Discordo) e força (Totalmente/Parcialmente) pesquisados. Percebeu-se, de fato, quando da análise, a predominância de respostas em campo dicotômico (concordo plenamente e concordo parcialmente), sendo a escolha da escala feita para fugir dessa ocorrência, evitando que as opiniões caiam em uma avaliação simplista pela subutilização das opções de respostas. Essa observação quanto aos componentes de direção e força tem sido feita por pesquisas que, de acordo com Albaum²⁵, a utilizam como um alerta, destacando, dessa maneira, as duas fases de resposta diante da entrevista. Além disso, o resultado pouco matizado também pode ser devido ao número pequeno de respondentes, em se tratando de uma aplicação—piloto. Acredita-se que com um número maior de participantes haverá a tendência de maior disseminação das respostas entre as categorias apresentadas.

Na medida em que avaliar é atribuir valor, sempre se faz necessário definir os critérios de sucesso, ou de insucesso, portanto os parâmetros. No entanto, a falta de acúmulo de experiências nesse campo torna a tarefa um desafio para os que nele adentram^21,31,32. Nesta proposta, assumiram-se alguns parâmetros, tendo como direção a criação de um ambiente favorável à alimentação saudável na escola, e admite-se que eles também estejam em avaliação. A expectativa é de que a aplicação do protocolo e o debate dos resultados com os participantes possam colaborar com o aperfeiçoamento desses parâmetros.

Observa-se na análise que os resultados foram altamente positivos, o que pode sinalizar uma privação e/ou carência informativa. Essa valorização pode ter sido potencializada pela presença, na execução do curso, de pessoal especializado da ENUFBA, que utiliza técnicas inovadoras como a problematização por meio de reportagens atuais e a evocação da memória alimentar para verificação de hábitos alimentares a partir de atividades lúdicas como desenho, pintura e relatos teatrais. Deve-se, no entanto, considerar que o investimento da equipe do "proescolar" em executar uma proposta de qualidade foi determinante, e que o método de avaliação aplicada foi sensível a esse investimento.

A dimensão conceitual teve como destaque o alto índice de satisfação com os conteúdos, com citações a respeito do grande impacto causado por conhecimentos novos e descobertas feitas pelos participantes.

Quanto aos resultados didático-pedagógicos, considera-se que as estratégias de ensino—aprendizagem, com referência aos debates e à reflexão, tornaram o curso muito bem avaliado nessa dimensão. Houve referências, porém, ao uso excessivo de jargões científicos e siglas, além de sobrecarga de informações para o tempo estipulado, o que pode trazer oportunidades de reflexão para os executores.

A dimensão operacional foi a mais mal avaliada, apresentando, nos resultados, dificuldades explícitas quanto ao dia, local e horário de realização do curso. Destaca-se que o curso foi realizado em duas sextas-feiras e dois sábados - já que não seria possível retirar as pessoas de suas atividades profissionais - em uma unidade escolar indicada pela SMEC-BA. Esses aspectos não foram bem avaliados pelos participantes, que não aprovaram o uso dos sábados, e alguns tiveram dificuldade de acesso ao local em função da distância. Nessa dimensão, considerou-se a necessidade de reestruturar a formação a fim de equacionar os problemas de logística apontados pela avaliação, como atrasos na montagem de equipamentos, espaço reduzido para execução das atividades e dia, horário e local inadequados. Dessa forma, a dimensão da adesão foi favorecida pela alta motivação dos participantes em frequentar as aulas na medida em que as condições operacionais não foram as mais adequadas.

Na dimensão comportamental, as enunciações com respeito à execução dos projetos de inserção do tema alimentação saudável esboçadas por professores/gestores durante a formação revelaram que a execução dos projetos não se deu de forma sistematizada e contínua e sim de forma parcial. Isso pode ser atribuído ao momento de realização do curso realizado no segundo período letivo. Quanto à disseminação do conhecimento obtido, várias respostas fizeram referência a trocas e divulgação do aprendido. As merendeiras referiram que houve mudanças, numa direção mais saudável, no modo de preparar os alimentos, no entanto tais mudanças se referiam quase sempre aos aspectos culinários e de higiene do preparo.

Após essas considerações, acredita-se ser esta proposta metodológica passível de reprodução e aplicação em qualquer formação delineada, conforme as definições conceituais apresentadas neste artigo. Para isso procurou-se ter clareza na descrição dos passos a serem seguidos.

CONCLUSÃO

Este artigo objetivou apresentar os passos e o produto da construção de uma proposta metodológica para avaliação de cursos de formação em Alimentação Saudável para educadores. A tarefa se justificou tendo em vista que, na atualidade, à educação alimentar e nutricional está sendo atribuída a condição de contribuir para a redução da incidência e prevalência de doenças crônicas não transmissíveis, sendo a escola considerada um espaço particularmente favorável para a promoção da alimentação saudável.

O processo de elaboração do protocolo de indicadores contemplou muitas decisões e escolhas. Houve necessidade de definir um conceito de formação e de avaliação que orientasse o trabalho, de elaborar perguntas orientadoras, de formular premissas que dessem conta de tornar inteligíveis os resultados dos indicadores, e de propor indicadores e parâmetros.

Tratou-se, enfim, de um processo de construção teórica e metodológica que partiu de perguntas e gerou novas questões, especialmente quanto à forma de mensurar e analisar possíveis mudanças comportamentais em alimentação e nutrição em função do que foi ensinado em um curso, tendo em vista a massificação das informações que circulam atualmente sobre o tema.

Dentro do contexto do "proescolar", observou-se que um dos maiores êxitos do programa parece ter sido quanto ao diálogo e respeito mútuo estabelecido entre os atores sociais participantes. As merendeiras se sentiram valorizadas por receberem, juntamente com professores e gestores, capacitação ampla, não voltada apenas para o "fazer a comida". Professores e gestores parecem ter ampliado seu reconhecimento sobre o trabalho das merendeiras e sobre a relevância de investir mais em alimentação e nutrição tanto no plano pedagógico quanto na implementação do PNAE.

Os desafios, no entanto, são grandes, porque, como revelado nas entrevistas, experiências prévias de formação em outros temas causaram descrença e desânimo dos sujeitos, segundo os quais faltam condições para implementar o aprendido. Em relação às normas para uma alimentação saudável na escola, tendo em conta a infraestrutura para operacionalização do PNAE, por exemplo, existem sérios problemas que demandam investimentos. Entende-se, no entanto, que ao desconcentrar saberes no campo da alimentação saudável, esse tipo de ação provoca reflexões, mobiliza atores e energia e forma aliados para mudanças que interessam para a promoção da saúde a partir da alimentação e modos de vida saudáveis.

Considera-se importante retornar os resultados para serem debatidos com os atores do processo com a finalidade de aperfeiçoar os programas subsequentes de forma mais participativa.

Por ser um tema de grande amplitude e dinamismo, não se pretende e nem se considera possível esgotar as possibilidades de apontar indicadores que sejam eficientes e conclusivos nesse tipo de avaliação. Permanecerá este estudo, portanto, aberto a continuidades que possam contribuir com métodos de avaliação mais sensíveis.

COLABORADORES

N.A. TULER SOBRAL contribuiu na concepção da formação e atuou como monitora; desenvolveu o método de avaliação, realizou o trabalho de campo, sistematizou e analisou os resultados mais relevantes e realizou a redação do artigo final. S.M.C. SANTOS concebeu e coordenou o projeto "Proescolar" que originou e financiou o estudo; orientou e revisou o desenvolvimento do projeto de pesquisa de N.A. TULER SOBRAL.

Recebido em: 13/3/2008

Versão final reapresentada em: 28/7/2009

Aprovado em: 17/3/2010

^{Anexo - Clique para ampliar}

• 1. Brasil. Ministério da Educação e Cultura. Parâmetros curriculares nacionais. Brasília; 1998.
• 2. Bizzo MLG, Leder L. Educação nutricional nos parâmetros curriculares nacionais para o ensino fundamental. Rev Nutr. 2005; 18(5):661-667. doi: 10.15 90/S1415-52732005000500009.
• 3. Batista Filho MRA. A transição nutricional no Brasil: tendências regionais e temporais. Cad Saúde Pública. 2003;19(1):181-91. doi: 10.1590/S0102-31 1X2003000700019.
• ⁴
  Brasil. Ministério da Educação e Cultura. Portaria Interministerial nº1010, de 8 de maio de 2006. Institui as diretrizes para a Promoção da Alimentação Saudável nas Escolas de educação infantil, fundamental e nível médio das redes públicas e privadas, em âmbito nacional. Brasília; 2006.
• 5. Dalla CMC, Cordoni JL, MT. Hábito alimentar de escolares adolescentes de um município do oeste do Paraná. Rev Nutr. [Internet]. 2007 [acesso 2008 Ago 11]; 20(5):461-471. Disponível em: <http://www.scielo.br/rn>. doi: 10.1590/S1415-2732007 000500002.
• 6. Costa EQ, Ribeiro VMB, Ribeiro ECO. Programa de alimentação escolar: espaço de aprendizagem e produção de conhecimento. Rev Nutr. 2001; 14(3): 225-9. doi: 10.1590/S1414-3283200800040 0012.
• 7. Triches RM, Giugliani ERJ. Obesidade, práticas alimentares e conhecimentos de nutrição em escolares. Rev Saúde Pública. 2005; 39(4):541-7. doi: 10.1590/S0034-89102005000400004.
• 8. L'Abbate S. Educação Nutricional e serviços de saúde: avaliando a capacitação dos profissionais. Cad Saúde Pública. 1999; 15(2):15-27. doi: 10.1590/S0102-311X1999000600003.
• 9. Davanço GM, Taddei JAAC, Gaglianone CP. Conhecimentos, atitudes e práticas de professores de ciclo básico, expostos e não expostos a curso de educação nutricional. Rev Nutr. 2004; 17(2): 177-84. doi: 10.1590/S1415-5273200400020 0004.
• 10. Schmitz BAS, et al. Proposta metodológica de capacitação para educadores e donos de cantina escolar. Cad Saúde Pública. 2008; 24(Supl 2): S312-S322. doi: 10.1590/S0102-311X20080 01400016.
• 11. Brasil. Ministério da Saúde. Política nacional de alimentação e nutrição. 2Ş ed. Brasília: Ministério da Saúde; 2003.
• 12. Freire P, Nogueira A. Que fazer? Teoria e prática em educação popular. 2Ş ed. Rio de Janeiro: Vozes; 1989.
• 13. Santos LAS. Educação alimentar e nutricional no contexto da promoção de práticas alimentares saudáveis. Rev Nutr. 2005; 18(5):681-92. doi: 10.15 90/S1415-52732005000500011.
• 14. Boog MCF. Dificuldades encontradas por médicos e enfermeiros na abordagem de problemas alimentares. Rev Nutr. 1999; 12(3):261-272. doi: 10.1590/S1415-52731999000300006.
• 15. Pereira ALF. As tendências pedagógicas e a prática educativa nas ciências da saúde. Cad Saúde Pública. 2003;19(5):1527-34. doi: 10.1590/S010 2-311X2003000500031.
• 16. Rodrigues EM, Boog MCF. Problematização como estratégia de educação nutricional com adolescentes obesos. Cad Saúde Pública. 2006; 22(5): 923-31. doi: 10.1590/S0102-311X20060005000 05.
• 17. Paiva V. Sem mágicas soluções: a prevenção ao HIV e à AIDS como um processo de emancipação psicossocial. Interface Comun, Saúde Educ. 2002; 6(11):25-38. doi: 10.1590/S1414-32832002000 200003.
• 18. Spinelli MAS, Canesqui AM. O Programa de merenda escolar em Cuiabá: da centralização à descentralização (1979-1995). Rev Nutr. 2002; 15(1): 105-17. doi: 10.1590/S1415-52732002000100 011.
• 19. Minayo, MCS, de Assis SG, Souza ER, Avaliação por triangulação de métodos: abordagem de programas sociais, Rio de Janeiro: Fiocruz; 2005.
• 20. Jannuzzi PM, Arruda MR. Sistema de indicadores para acompanhamento da agenda de direitos humanos no Brasil: apontamentos metodológicos. Bahia Anal Dados. 2004; 14(1):243-7.
• 21. Guimarães MCL, Santos SMC, Melo C, Sanches Filho A. Avaliação da capacidade de gestão de organizações sociais: uma proposta metodológica em desenvolvimento. Cad Saúde Pública. 2004; 20(6): 1642-50. doi: 10.1590/S0102-311X20040 00600023.
• ²²
  World Health Organization. Health Promotion Glossary. WHO/HPR/HEP/ 98.1. Geneve: WHO; 1998 [cited 2009 Jul. 2]. Available from: <http://www.who.int/hpr/NPH/docs/hp_glossary_en.pdf>.
• ²³
  Brasil. Ministério da Educação e Cultura. Fundo Nacional de Desenvolvimento da Educação. Resolução/FNDE/CD/nº 32, de 10 de agosto de 2006. [acesso 2009 jul 2]. Disponível em: <ftp://ftp.fnde.gov.br/web/resolucoes_2006/res032_1008 2006.pdf>
• 24. Likert R. A Technique for the measurement of attitudes. New York: Archives of Psychology; 1932.
• 25. Albaum G. The Likert scale revisited: an alternate version (product preference testing). Market Res Soc. 1997; 39(i2):33.
• 26. Souza AM, Caulliraux HM. A Curva de aprendizagem e seus impactos no comportamento humano nas organizações: um estudo de caso em empresa do setor automotivo. Grupo de produção integrada da UFRJ. [acesso 2009 jul 2]. Disponível em: <http://www.gpi.ufrj.br/pdfs/artigos/Souza>.
• 27. Bosi MLM, Mercado FJ, organizadores Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis: Vozes; 2006.
• 28. Furtado JP. Um método construtivista para a avaliação em saúde. Ciên Saúde Colet. 2001; 6(1): 165-81. doi: 10.1590/S1413-812320010001000 14
• 29. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciên Saúde Col. 2006; 11: 705-11. doi: 10.1590/S1413-81232006000300 017.
• 30. Costa DB, Lima HMR, Barth KB, Formoso CT. Desenvolvimento de um sistema de indicadores para benchmarking na construção civil utilizando uma abordagem de aprendizagem. [acesso 2009 jul. 2]. Disponível em: <http://www.indicadores. locaweb.com.br/arquivos/arquivos/artigocostaetal _sibragec2005_rev.pdf>
• 31. Santos SMC, Guimarães MCL, Melo CMM, Sanches Filho A. Subsídios para avaliação da gestão pública: processo de constituição de indicadores para avaliação da capacidade de gestão de organizações sociais. O&S Organ Soc. 2006; 13: 109-24.
• 32. Panelli-Martins BE, Santos SMC, Assis AMO. Segurança alimentar e nutricional: desenvolvimento de indicadores e experimentação em um município da Bahia, Brasil. Rev Nutr. 2008; 21 (Supl):65s-81s.

Anexo

1

Apoio: Conselho Nacional de Desenvolvimento Científico e Tecnológico (processo nº 402473/2005-1) e apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Bolsa Demanda Social)

Datas de Publicação

• Publicação nesta coleção
  06 Out 2010
• Data do Fascículo
  Jun 2010

Histórico

• Revisado
  28 Jul 2009
• Recebido
  13 Mar 2008
• Aceito
  17 Mar 2010