Modelo lógico operacional do programa de conservação auditiva do trabalhador

RESUMO

Objetivo:

validar o conteúdo de um modelo lógico operacional de programas de conservação auditiva.

Métodos:

pesquisa documental e metodológica, na qual o modelo lógico foi avaliado por dez especialistas em audiologia, mediante análise das atividades desenvolvidas na implantação do programa de conservação auditiva. Os componentes foram analisados segundo fórmula que determina o índice de validação de conteúdo por item, e o modelo lógico operacional, como um todo, segundo a fórmula de validação de conteúdo por nível de escala. Os itens foram considerados válidos quando alcançaram mais de 80% de concordância entre os participantes.

Resultados:

o Modelo Lógico Operacional foi estruturado em 04 (quatro) dimensões, a saber: (1) Gestão; (2) Controle Ambiental; (3) Atenção à Saúde Auditiva; (4) Avaliação da Eficácia e Eficiência. Cada dimensão corresponde a um conjunto de atividades, nomeadas como processos, e seus respectivos resultados esperados. Para estrutura do programa foram elencados recursos materiais, recursos organizacionais e recursos humanos, considerando o conjunto de dimensões do programa.

Conclusão:

o modelo lógico operacional proposto e seus componentes mostraram-se válidos em sua relevância e compreensibilidade, oferecendo subsídios e aplicabilidade na avaliação da eficácia e eficiência do programa.

Descritores:
Estudos de Validação; Avaliação de Programa; Perda Auditiva Induzida por Ruído

ABSTRACT

Purpose:

to validate the contents of an operating model of hearing conservation programs.

Methods:

this is a documentary and methodological research, in which the operating model was evaluated by ten experts in audiology, through the analysis of the activities developed in the implementation of the hearing conservation program. The components were analyzed according to the formula that determines the content validation index by item, and the operational logical model as a whole, according to the content validation formula by scale level. The items were considered valid when agreement among participants reached more than 80%.

Results:

the operating model was structured in 4 (four) dimensions, namely: (1) Management; (2) Environmental Control; (3) Attention to Hearing Health; (4) Evaluation of Efficacy and Efficiency. Each dimension corresponds to a set of activities (referred to as processes), and their respective results expected. For the structure of the program, considering its set of dimensions, material, organizational and human resources were listed.

Conclusion:

the proposed operating model and its components proved to be valid in their relevance and comprehensibility, offering support and applicability in evaluating the effectiveness and efficiency of the program.

Keywords:
Validation Studies; Program Evaluation; Noise-induced Hearing Loss

Introdução

A necessidade de avaliação surge do entendimento de que um programa é um conjunto de processos complexos voltados para objetivos específicos e que geram determinados resultados, sendo o processo de avaliação uma forma de identificar, analisar e julgar os componentes de um programa. A importância da avaliação se dá na mensuração de eventos que traduzam os resultados advindos da implantação do programa, evidenciando não somente os sucessos e fracassos, mas também identificando, descrevendo e monitorando as ações. Esta abordagem favorece a concepção atual de um programa, além de oferecer subsídios para a emergência de soluções que melhorem a qualidade e eficiência das ações^1,2.

Na perspectiva da Avalição em Saúde, a avaliação consiste em compreender e descrever o programa ou o serviço de saúde, estabelecendo uma análise valorativa a partir dos componentes envolvidos, enquanto a auditoria tem como objetivo analisar a conformidade desse programa ou serviço de saúde a luz das normas vigentes. Tanto a auditoria como a avaliação se constituem como abordagens que oferecem ferramentas para a gestão no campo da saúde, potencializando seus resultados³.

O Ruído se apresenta como um tipo de som nocivo ao sistema auditivo que impacta, diretamente e indiretamente, outros sistemas do corpo humano. No contexto ocupacional, a exposição a uma média de 85dB (A) por oito horas diárias torna-se um fator de risco para o surgimento da Perda Auditiva Induzida por Ruído Ocupacional (PAIRO). A PAIRO é uma doença ocupacional de alta prevalência, de carácter progressivo e irreversível, que ao longo do tempo vai se agravando de acordo com a exposição ao ruído, porém passível de prevenção^4-6.

O Programa de Conservação Auditiva (PCA) consiste em um conjunto de atividades sistemáticas, intrasetoriais, dinâmicas e contínuas, mediante ações de rastreamento e diagnóstico que visam evitar o desencadeamento ou agravamento da PAIRO, minimizando assim os riscos à saúde do trabalhador, variando de acordo com as particularidades do contexto e da estrutura de cada empresa. Para a avaliação da eficácia e eficiência desse programa é recomendada, pela Ordem de Serviço de número 608 (OS 608), que se considerem as seguintes ações: a) Monitorização da exposição a níveis de pressão sonora elevados; b) Controles de engenharia e Administrativos; c) Monitorização audiométrica; d) Indicação de Equipamentos de Proteção Individual; e) Educação e motivação; f) Conservação de registros e; g) Avaliação da eficácia e eficiência do programa⁷.

Em consonância com as orientações do Comitê Nacional de Ruído e Conservação Auditiva (CNRCA), a OS 608 recomenda que a avaliação do PCA deva acontecer sistematicamente e periodicamente, considerando os seguintes procedimentos: a) avaliação de perfeição e qualidade dos componentes do programa; b) avaliação dos dados do exame audiológico e; c) avaliação da opinião dos trabalhadores. Ainda, o Programa de Prevenção contra Riscos Ambientais (PPRA) preconiza que as empresas são obrigadas a fazer, sempre que necessário, e pelo menos uma vez ao ano, uma análise global do programa para avaliação do seu desenvolvimento e realização dos ajustes pertinentes, além do estabelecimento de novas metas e prioridades⁷.

A avaliação da eficácia do PCA tem sido comumente realizada utilizando-se a lista de verificação (checklist) proposta pelo Instituto Nacional Americano de Saúde Ocupacional (NIOSH)⁸. Apesar de contemplar itens necessários para uma auditoria, tal lista de verificação não se constitui como ferramenta de avaliação global do programa. No Brasil foi elaborado um protocolo para auditoria do PCA como resultado do estudo de Saldanha Júnior⁹, entretanto, ainda não há nenhum instrumento de avaliação construído a partir das bases metodológicas da Pesquisa Avaliativa, mediante a construção de um Modelo Lógico Operacional.

Modelos lógicos se apresentam como referenciais de avaliação. Construir o desenho lógico de um programa significa esquadrinhá-lo, em termos da constituição de seus componentes e da sua forma de operacionalização, por meio da descrição dos diversos componentes do programa, considerando as variáveis a serem observadas, mensuradas e avaliadas, indicando hipóteses de relacionamento entre as atividades realizadas, seus resultados e variáveis externas que interferem nessas relações, delineando os limites ou debilidades de seus pressupostos e possibilitando identificar onde melhores evidências devem ser buscadas^10,11.

Desta forma, a descrição da teoria de funcionamento de uma intervenção pode aumentar a capacidade de a avaliação estimar o impacto de um programa, sendo uma etapa importante para o planejamento da avaliação, considerando não só os resultados finais esperados, mas também os processos, os meios e os fatores condicionantes. Essa compreensão deve ser buscada na literatura e na opinião dos especialistas, onde o julgamento coletivo fortalece a implantação e a aprendizagem dos envolvidos, ampliando a difusão do conhecimento e discussões acerca do programa, bem como reforça a validade interna do modelo lógico^12,13.

Não foi encontrado, na literatura consultada, um Modelo Lógico Operacional de funcionamento do PCA a luz da legislação brasileira, fundamentado sob modelos teóricos e validado mediante métodos científicos.

Diante disso, a pesquisa tem por objetivo validar o conteúdo de um Modelo Lógico Operacional de programas de conservação auditiva. Pressupõe-se que a construção de um Modelo Lógico Operacional do PCA possa contribuir para a definição de matrizes de monitoramento dos processos envolvidos, sendo útil para auxiliar os profissionais e gestores no planejamento, execução e avaliação do Programa.

Métodos

Trata-se de uma pesquisa documental e metodológica, com finalidade de construir um Modelo Lógico Operacional (MLO) de funcionamento PCA. O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de Pernambuco, sob o parecer de número 1.978.729, sendo conduzido em quatro etapas, a saber: (1) levantamento e coleta de informações relativas ao programa; (2) explicação do problema e referências básicas; (3) estruturação do MLO; e, por fim (4) validação de conteúdo dos processos envolvidos no PCA. O processo de construção do MLO esteve baseado em duas referências de modelagens de programas^14,15.

A primeira etapa constou de uma busca documental nos sites oficias do Ministério do Trabalho e Emprego, do Instituto Nacional do Seguro Social, e da Fundação Jorge Duprat Figueiredo de Segurança e Medicina do Trabalho (FUNDACENTRO), no período de Março a Novembro de 2017, a fim de subsidiar a organização das atividades e componentes para a modelagem do PCA. Foram encontrados e analisados os seguintes documentos: Norma Regulamentadora nº 6 do Ministério do Trabalho e Emprego (NR 6)¹⁶; Norma Regulamentadora nº 7 do Ministério do Trabalho e Emprego (NR 7)¹⁷; Norma Regulamentadora nº 9 do Ministério do Trabalho e Emprego (NR 9)¹⁸; Norma Regulamentadora nº 15 do Ministério do Trabalho e Emprego (NR 15)¹⁹; Norma de Higiene Ocupacional 01 (NHO-1) da FUNDACENTRO²⁰; e, OS 608 do Instituto Nacional do Seguro Social⁹.

Após a investigação documental, buscaram-se responder ao conjunto de perguntas-chave consideradas norteadoras para delinear os aspectos essenciais do programa¹⁴, que foram dispostas em um quadro (Figura 1) elaborado com base no estudo de Guerrero²¹, a fim de sintetizar as informações, contribuindo assim para a modelagem do MLO do PCA: 1) Que problema gerou a necessidade da criação e implantação do programa de proteção à saúde auditiva do trabalhador? 2) Que programa de saúde foi criado para resolver este problema? 3) Qual o objetivo geral deste programa? 4) Quais os objetivos específicos do programa? 5) Quais as metas que o programa visa alcançar? 6) Qual é a população alvo do programa? 7) Quais são os componentes deste programa? 8) Que atividades são realizadas no programa? 9) Quais as estruturas que este programa precisa para funcionar? 10) Quais os produtos que se espera obter da realização das atividades do programa? 11) Quais os resultados que este programa espera alcançar? 12) Quais os fatores que podem influenciar no alcance destes resultados esperados, que não apenas os relacionados ao programa?

Figura 1:
Documentos norteadores para a modelagem do modelo lógico operacional do programa de conservação auditiva

A segunda etapa visou a pré-montagem do MLO, a partir da explicação do problema e referências básicas, seguido pela estruturação do programa para alcance de resultados e levantamento dos fatores de contextuais que podem influenciar nos resultados¹⁵. Para a construção do MLO, partiu-se inicialmente da explicitação do problema e os descritores na situação inicial, identificando as suas principais consequências. Os vínculos de causalidade encontram-se dispostos no formato de “árvore de problemas” (Figura 2), em razão de esse recurso permitir mostrar de forma clara os problemas e suas inter-relações. Para a definição dos fatores contextuais utilizou-se como referência elementos relacionados ao contexto político e contingente, os quais consideram o apoio dado pelos atores às características e objetivos relacionados à intervenção e a forma como interagem dentro de uma distribuição particular do poder na organização²². A partir desta perspectiva, pode-se presumir que o contexto interfere tanto no grau de implantação como nos efeitos de uma intervenção.

Figura 2:
Árvore de problemas evidenciando a explicação do problema e referências básicas

Os itens que compuseram o MLO foram levantados e organizados em uma planilha no Microsoft Excel 2010, originando uma matriz de elementos relacionados aos processos envolvidos no PCA (Tabela 1), os quais foram submetidos à validação pelos especialistas participantes.

Participaram da pesquisa 10 (dez) fonoaudiólogos, seguindo as orientações de Lynn²³, que sugere no mínimo cinco e no máximo dez especialistas participando do processo de validação. A amostra foi selecionada mediante consulta a curriculum cadastrado da Plataforma Lattes do Conselho Nacional de Pesquisas (CNPq), considerando a necessidade de especialistas com qualificação específica para julgar o instrumento. Foram estabelecidos como critérios de inclusão: ser fonoaudiólogo, ter o título de especialista em audiologia e ter, no mínimo, 03 (três) anos de experiência na elaboração, implantação e/ou gestão do PCA.

Para a validação de conteúdo dos processos envolvidos no PCA, referente a ultima etapa, os especialistas receberam via online um questionário para avaliação dos elementos contemplados na matriz de validação e as instruções para julgar cada processo que irá compor o MLO do PCA quanto a sua relevância, a luz dos documentos consultados e considerando sua experiência profissional. Os itens foram julgados segundo a escala de 04 (quatro) pontos do tipo Likert adaptada²⁴, onde cada processo foi avaliado como: (1) irrelevante, (2) pouco relevante, (3) relevante e (4) extremamente relevante. Para cada elemento avaliado, foi deixado um campo aberto para observações e sugestões pelos especialistas.

Na validação de conteúdo, os itens avaliados pelos especialistas foram analisados individualmente por meio da aplicação da fórmula, para determinar o Índice de Validação de Conteúdo por Item (I-IVC)²³ que corresponde ao: “número de especialistas que classificaram o item como relevante e extremamente relevante, dividido pelo número total de especialistas”. Os itens que receberem pontuação “3” ou “4” foram considerados e os que receberam pontuação “1” ou “2” foram revisados ou eliminados. Para o item ser considerado válido o valor do I-IVC deverá ser superior a 0,78²⁵.

A validação do modelo como um todo, foi estabelecida por meio da fórmula por nível de escala (S-IVC)²³ determinado pelo cálculo da “Soma dos valores de todos os I-IVC, calculados separadamente, dividido pelo número de itens considerados na avaliação”. O S-IVC deve ser superior a 0,80 para obter a validade de conteúdo de escala²⁶.

Resultados

Na Figura 1 pode-se observar que os documentos selecionados para elaboração do MLO responderam as 11 das 12 perguntas condutoras¹⁴. A resposta da pergunta 05, referente às metas do programa, não consta nos documentos selecionados. As respostas advindas destes questionamentos puderam delinear a teoria do programa, evidenciando as inter-relações entre os componentes envolvidos e subsidiando a construção do desenho do MLO.

A partir da concepção do problema (pergunta-chave 1) fica aparente a necessidade da criação do PCA (pergunta-chave 2). As atividades (pergunta-chave 8) a serem realizadas no programa em consonância com os componentes (pergunta-chave 7) e as estruturas necessárias (pergunta-chave 9) levam à mudança da situação do problema, fazendo com que a população alvo (pergunta-chave 6), neste caso, os trabalhadores inclusos no PCA, participem das ações de preventivas e corretivas. Os dados obtidos no diagnóstico audiológico e diferencial se constituem como produtos (pergunta-chave 10) que refletem a eficácia das ações, trazendo como resultados (pergunta-chave 11) evitar e/ou estabilizar o desencadeamento ou agravamento da PAIRO, o que corresponde ao objetivo geral do programa (pergunta-chave 3).

No que diz respeito aos fatores que podem influenciar no alcance dos resultados (pergunta-chave 12), pode-se conceber os fatores contextuais que se apresentam favoráveis ou não ao funcionamento do PCA. A compreensão de tais fatores é de grande importância, uma vez que pode haver grande variabilidade na implantação do PCA a depender da estrutura e organização da empresa.

O diagrama exposto na Figura 2 evidencia que o desencadeamento e progressão da PAIRO trazem consequências significativas a nível auditivo e extra-auditivo ao trabalhador, promovendo limitações no desempenhar de sua função, incapacidade laborativa e diminuição na qualidade de vida. Os problemas residem na exposição do trabalhador a níveis de ruído elevados, bem como a coexistência de outros agentes de risco, enquanto elementos que contribuem para o desencadeamento e progressão da PAIRO. Diante disso, os objetivos do PCA visam à prevenção e estabilização da perda auditiva ocupacional e melhoria na qualidade vida do trabalhador exposto a níveis de pressão sonora elevados (NPSE). Aspectos relacionados às características do agente de risco (forma, intensidade e modo de exposição) e características da empresa se apresentam como causas do problema, ambos influenciados pela falta do estabelecimento de metas e prioridades evidenciado pela não implantação ou escassez na implantação das ações envolvidas no PCA.

Considerando o levantamento dos documentos e estruturação da “árvore de problemas” expressa no diagrama supracitado, foi realizada uma estruturação do programa para alcance de resultados, disposto na forma de MLO.

O MLO foi estruturado em 04 (quatro) dimensões, a saber: (1) Gestão; (2) Controle Ambiental; (3) Atenção à Saúde Auditiva; (4) Avaliação da Eficácia e Eficiência. Cada dimensão corresponde a um conjunto de processos e seus respectivos resultados esperados. Para estrutura do PCA foram elencados recursos materiais, recursos organizacionais e recursos humanos, considerando o conjunto de dimensões do programa. O impacto foi considerado tomando por base os efeitos advindos da implantação do PCA como um todo.

Os fatores que podem influenciar nos resultados do PCA foram apresentados levando em consideração aspectos considerados importantes para uma boa implantação do programa, de acordo com os documentos levantados, considerando aspectos relacionados ao contexto político e estrutural, a saber: (1) suporte dado pelos agentes à implantação da intervenção; (2) relação entre os motivos subjacentes ao suporte dado e os objetivos associados à implantação do programa; (3) controle na organização para operacionalizar o PCA e tornar eficaz a intervenção (estabelecimento de prioridades e metas); (4) relação entre gestores de diferentes setores envolvidos no PCA; (5) nível de especialização dos envolvidos no PCA; (6) perfil do gestor do PCA; (7) atenção prestada à inovação (novas ações e abordagens); (8) relação das ações propostas na PCA com outros Setores, Comissões ou Redes que tenham relação direta ou indireta com o programa; (9) planejamento e avaliação.

Dos 19 (dezenove) processos contemplados na matriz de validação dos processos envolvidos no PCA (Tabela 1), apenas 01 (um), que diz respeito ao processo de realização do teste que avalia o Índice Percentual de Reconhecimento de Fala (IPRF) no admissional/sequencial, não foi considerado válido pelos especialistas. Já em relação ao índice obtido na validação de conteúdo por nível de escala (S-IVC=0,99) os processos elencados no MLO foram considerados válidos como um todo.

Tabela 1:
Matriz de validação dos processos envolvidos no pca para constituição do modelo lógico, baseados nas consultas documentais

PROCESSOS	ESPECIALISTAS										N0	I-ICV
	1	2	3	4	5	6	7	8	9	10	Concord
1.1 Realização ou consideração de dados de medição anual dos NPS nos postos de trabalho	S	S	S	S	S	S	S	S	S	S	10	1
2.1 Adoção de medidas de controle dos NPSE por meio de elementos de atenuação acústica coletivo	S	S	S	S	S	S	S	S	S	S	10	1
2.2 Adoção de medidas de controle dos NPSE por meio de equipamentos de proteção auditiva individual	S	S	N	S	S	S	S	N	S	S	8	0,8
2.3 Adoção de Nível de Exposição Normalizado (NEN) para ação entre 82 dB (A) e 85 dB (A).	S	N	S	S	S	S	S	S	N	S	9	0,9
2.4 Realização de rodízio no processo de trabalho para trabalhadores que apresentem PAIR ocupacional	S	S	S	S	S	S	S	S	N	S	9	0,9
2.5 Seleção de EPI auditivo com certificado aprovação (CA)	S	S	N	S	S	S	S	S	S	S	9	0,9
2.6 Garantir ambiente com NPS controlado durante a realização dos testes	S	S	S	S	S	S	S	S	S	S	10	1
3.1 Consideração do nível de ações preventivas para expostos a partir de 82 dB (A)	S	S	S	S	S	S	S	S	S	S	10	1
3.2 Realização de exame audiométrico no admissional	S	S	S	S	S	S	S	S	S	S	10	1
3.3 Realização de exame audiométrico no 6º mês após a admissão	S	S	S	S	S	S	S	N	S	S	9	0,9
3.4 Realização de exame audiométrico anualmente	S	S	S	S	S	S	S	S	S	S	10	1
3.5 Realização de exame audiométrico no demissional	S	S	S	S	S	S	S	S	S	S	10	1
3.6 Realização de teste de IPRF no admissional/sequencial	S	S	N	S	N	S	S	S	N	S	7	0,7
3.7 Estabelecimento de exame referencial	S	S	S	S	S	S	S	S	S	S	10	1
3.8 Estabelecimento de critérios para diagnóstico diferencial	S	S	N	S	S	S	S	S	S	N	8	0,8
3.9 Realização de treinamentos anuais para uso do EPI	S	S	S	S	S	S	S	S	S	S	10	1
3.10 Realização de palestra, oficina, debate voltados aos trabalhadores e/ou outros participantes do programa	S	S	S	S	S	S	S	S	S	S	10	1
4.1 Consideração da opinião dos trabalhadores	S	S	S	S	S	S	S	N	S	S	9	0,9
4.2 Avaliação dos dados dos exames audiológicos	N	S	S	S	S	S	S	S	S	S	10	1
Média do S-ICV											0,99

• Legenda: PCA: Programa de Conservação Auditiva; NPS: Níveis de Pressão Sonora; NPSE: Níveis de Pressão Sonora Elevados; NEN: Nível de Exposição Normalizado; dB (A): DeciBel na escala de atenuação A; CA: Certificado de Aprovação; PAIR: Perda Auditiva Induzida por Ruído; EPI: Equipamento de Proteção Individual; IPRF: Índice Percentual de Reconhecimento de Fala; N⁰ Concord: Número de concordância entre os especialistas; I-ICV:Índice de Validação de Conteúdo por Item; S-ICV: Índice de Validação de Conteúdo por nível de escala; S =Indicador que recebeu pontuação 3 ou 4; N=Indicador que recebeu pontuação 1 ou 2.

Após o processo de validação de conteúdo, o MLO foi estruturado considerando apenas os elementos avaliados como relevantes pelos especialistas, sendo apresentado na Figura 3.

Figura 3:
Modelo lógico operacional do programa de conservação auditiva

Discussão

Ao considerar o PCA, é de suma importância a compreensão da problemática que leva à necessidade de criação e implantação do programa, utilizando-se da “árvore de problemas”, que se estrutura em torno de um problema central e apresenta a relação deste com demais elementos que compõem uma explicação entre diferentes níveis de problemas (central, causas e consequências), as quais orientam ações efetivas para a mudança prevista pelo programa¹⁵. Do mesmo modo, conhecer os outros domínios do programa, norteados pelas perguntas-chave, possibilita que a teoria do programa seja entendida, de forma a subsidiar o desenho do MLO.

Há uma distância significativa entre a teoria (o que se orienta) e a prática (o que se faz). Autores afirmam que a implantação de uma legislação mais rigorosa nas empresas pode reduzir os níveis ruído nos postos de trabalho²⁷. Alguns profissionais de saúde, especificamente o médico do trabalho e o fonoaudiólogo, conhecem elementos importantes do PCA e acreditam estar desenvolvendo o programa, no entanto, o estabelecimento das ações se limita ao cumprimento das exigências legais mínimas para evitar ou reduzir medidas reclamatórias na justiça trabalhista²⁸, o que pode favorecer a uma desarticulação na implantação das ações.

Presume-se que o simples cumprimento das etapas do programa não garante que este seja eficaz na prevenção da PAIRO. Um PCA eficaz vai depender também da gestão empregada sobre os aspectos que envolvem o programa como um todo, levando-se em consideração os recursos disponíveis pela organização e, sobretudo, o apoio e dos atores envolvidos no programa.

Na perspectiva da relação do MLO com a teoria do programa, ao enxergar o programa na prática, é possível confrontá-los, traçando uma relação entre estrutura, processo e resultados com a mudança gerada pela intervenção, determinando também quais fatores dentro do contexto podem influenciar no alcance dos resultados²⁹.

De maneira geral, os processos a serem considerados no MLO de funcionamento do PCA apresentados para validação foram considerados relevantes pelos especialistas. Os elementos que receberam a pontuação máxima, ou seja, (I-IVC>0,80) dizem respeito a atividades clássicas realizadas no PCA e recomendadas pela legislação, evidenciando um conhecimento contextualizado dos especialistas acerca dos procedimentos considerados essenciais na implantação do programa.

No processo referente à “realização ou consideração de dados de medição anual dos níveis de pressão sonora (NPS) nos postos de trabalho”, considerado como relevante pelos especialistas (I-ICV=1,0), foi sugerido que esta medição seja realizada sempre que houverem mudanças/alterações no ambiente de trabalho, independente da temporalidade, bem como a consideração de outros indicadores, como a definição dos grupos homogêneos de exposição e critérios para o estabelecimento da dose de exposição e níveis de tolerância.

O processo de “adoção de medidas de controle dos NPSE por meio de elementos de atenuação acústica coletiva” foi considerado relevante pelos especialistas (I-ICV=1,0), abarcando sugestões e comentários que reforçam a importância da priorização na adoção destas medidas na hierarquia de controle, seguidas pela implementação de medidas administrativas e individuais, respectivamente, como preconiza a OS 608⁷, a NR 7¹⁷ e a NR 9¹⁸.

Em relação a “adoção de medidas de controle dos NPSE por meio de equipamentos de proteção auditiva individual”, considerado também como relevante (I-ICV=0,8), os especialistas reiteram que a implantação deste processo só se torna efetiva e eficaz quando associadas com outras medidas de proteção coletivas, obedecendo a uma hierarquia de controle.

A “adoção de Nível de Exposição Normalizado (NEN) para ação entre 82 dB (A) e 85 dB (A)”, assim como a “Consideração do nível de ações preventivas para expostos a partir de 82 dB (A)” foram avaliadas como relevantes (I-IVC=0,9 e I-IVC=1,0, respectivamente) e concebidas como indicador primordial da “causa raiz do problema”. Entretanto, foi sugerido pela maioria dos avaliadores que o valor adotado para implantação das ações seja de 85 dB (A), com dose de 0,5 (dose superior a 50%), que equivale a 80 dB (A), em consonância com as recomendações previstas na NR 9¹⁸ e com as orientações do Guia de diretrizes e parâmetros mínimos para elaboração e gestão do PCA³⁰, publicado pela FUNDACENTRO. Já a NHO-1 recomenda o NEN de 82 dB (A), para fins de comparação com o limite de exposição e adota incrementos de duplicação de dose menores (q = 3)²⁰. As sugestões e comentários dos avaliadores evidenciam que o critério de nível de ação adotado para o controle ambiental dos expostos a NPSE depende da interpretação da legislação pelo gestor do programa e seu nível de rigor adotado para a implantação das ações.

Apenas um dos processos apresentados para validação, referente à “realização de teste de IPRF no admissional e sequencial”, não foi considerado relevante (I-IVC=0,78). Todavia, a audiometria vocal torna-se válida, quando considerado as alterações da habilidade de reconhecimento de fala causadas pela exposição ao ruído. A inteligibilidade da fala, principalmente com ruído competitivo, fica prejudicada, pois tanto altera a audibilidade dos sons como também os distorce.

Autores reforçam que o reconhecimento de fala em indivíduos com limiares auditivos dentro da normalidade, porém expostos a ruído, apresentam menor desempenho nesta habilidade que em grupo controle sem exposição, o que reforça a importância deste tipo de avaliação^31,32.

A partir de evidências científicas, foi observado que os resultados das audiometrias vocais de trabalhadores expostos a uma mistura de solventes aromáticos e alifáticos apresentaram baixo percentual no IPRF quando comparado aos resultados da audiometria tonal e que as respostas corticais foram anormais para as frequências testadas. Isto evidencia certa vulnerabilidade do sistema auditivo em níveis neuronais, o que pôde ser confirmado por meio das avaliações de discriminação da fala e de respostas corticais, dois dos mais sensíveis testes disponíveis para detectar lesões auditivas centrais³³.

Outros estudos clínicos e epidemiológicos nos permitem afirmar que há uma associação entre uma série de solventes e alterações nas vias auditivas centrais, além de se poder perceber, a partir de achados audiométricos que estes agentes provocam perda auditiva que vão desde grau leve até moderado³⁴. Tais evidências apontam para importância da realização da audiometria vocal em trabalhadores expostos a NPSE, principalmente quando na exposição destes associados a outros agentes de risco.

De acordo com a OS 608, a realização da audiometria vocal está prevista apenas para fins de mensuração do valor social da audição, ou seja, das repercussões da perda auditiva na capacidade auditiva do trabalhador⁷, sendo realizada, na maioria das vezes de forma facultativa, prática que se refletiu na avaliação deste processo pelos especialistas consultados. Diante disso, torna-se necessário uma revisão deste processo, de acordo com as recomendações e avanços técnico-científicos.

Os fatores que podem influenciar nos resultados do PCA foram apresentados levando em consideração aspectos considerados importantes para uma boa implantação do programa, de acordo com os documentos levantados. A NR 07, NR 09 e OS 608 apresentam alguns elementos que evidenciam a importância dos aspectos contextuais para a viabilização do PCA, como o envolvimento dos profissionais da área de saúde e segurança, da gerência industrial, de recursos humanos da empresa e, principalmente, dos trabalhadores; as características dos riscos e necessidades de controle; e, a articulação entre normas vigentes^7,17,18. Desta forma, o estabelecimento das responsabilidades de todos os envolvidos no processo de elaboração, implementação e gestão do PCA se constitui como uma diretriz básica para a estruturação do programa³⁰. Os fatores estruturais também assumem um papel importantíssimo no programa, influenciando diretamente nos resultados. Tais aspectos podem ser evidenciados pela falta de gerenciamento audiológico, utilização de audiômetros descalibrados, ausência de emissão de Comunicado de Acidente de Trabalho (CAT) e/ou ausência de medidas realmente eficazes para o controle do ruído ^28,35.

Dentro das atividades do PCA, a realização de palestras, oficinas e debates voltados aos trabalhadores e/ou outros participantes do programa se apresentou como um processo válido para os especialistas (I-ICV=0,9), o que reforça a necessidade de trazer o conhecimento sobre o programa aos participantes, bem como seu envolvimento.

Resultados obtidos mediante aplicação de questionários antes e após realização de palestras educativas com 15 trabalhadores participantes de um PCA implantado em uma empresa do ramo alimentício, evidenciaram que em todas as áreas temáticas abordadas nas palestras foram encontrados trabalhadores com melhora na apreensão dos conteúdos sobre preservação auditiva, o que reforça a importância dessa prática³⁶. As ações educativas devem ser elaboradas baseando-se em temas relevantes, utilizando-se de recursos didáticos de apoio como: faixas, cartazes, cartilhas, stands, dentre outros, numa linguagem adequada e interessante para o trabalhador³⁷. Tais ações promovem o envolvimento e a motivação dos atores envolvidos no programa, sobretudo os trabalhadores, contribuindo assim para a efetividade das ações propostas e consequentemente a prevenção de perdas auditivas ocupacionais³⁰.

Diante das diferentes perspectivas de análise dos fatores que podem influenciar na implantação do PCA, utilizou-se como referência o modelo de análise contextual político e contingente¹⁸, considerando as propriedades organizacionais e atributos dos gestionários de uma organização como elementos centrais para análise contextual, bem como o jogo de poder e interesses particulares dos atores diretamente envolvidos com a implantação das ações nos diferentes meios em questão. Pode-se presumir que a face política (levando em consideração os interesses particulares dos atores) sofre interferência de fatores estruturais (características da organização, ambiente e estratégias dos atores), influenciando assim o contexto de implantação da intervenção.

O gestor do PCA deve ter conhecimento sobre todos os aspectos do programa e da legislação vigente, bem como promover a articulação dos setores envolvidos, estabelecendo os requisitos para a contratação de serviços terceirizados e a compra de materiais e equipamentos quando necessários³⁰. Torna-se importante que tais fatores sejam aprofundados e considerados no funcionamento do PCA, bem como as influências positivas ou negativas destes no grau de implantação do programa e sua contribuição para o estabelecimento de metas.

Estudos apontam a importância da esquematização do MLO como ferramenta de análise durante a implantação do programa, com papel de explicitar as estratégias de forma prática e clara, sendo um auxiliador no processo de comunicação e divulgação das estratégias aos envolvidos e facilitador para tomada de decisões, norteando a implantação do programa em outros universos, subsidiando processos de avaliação e expansão, além de trazer à tona perguntas avaliativas dentro do contexto de implantação das ações, fortalecendo e norteando a avaliação de programas no campo da saúde^38-40.

Conclusão

O Modelo Lógico Operacional do Programa de Conservação Auditiva pôde fornecer uma representação visual do funcionamento do programa, a fim de compreender a interação entre seus vários componentes e atividades, sendo útil também para o delineamento de seus pressupostos teóricos.

Os elementos relacionados à estrutura no PCA envolvem recursos físicos, humanos e organizacionais, os quais subsidiam a implantação de um conjunto de processos que levam a identificação, análise, monitorização e controle de exposição dos trabalhadores a NPSE associados ou não a outros agentes de risco que possam favorecer o desencadeamento e/ou progressão da PAIRO.

Os componentes elencados na modelagem de um programa não devem ser admitidos como estáticos e permanentes, sendo necessárias constantes revisões e aprimoramentos, considerando os avanços técnicos e científicos emergentes acerca do programa.

Por fim, os componentes que constituem o Modelo Lógico Operacional do Programa de Conservação Auditiva validados pelos especialistas podem subsidiar práticas avaliativas, auxiliando os profissionais envolvidos no programa, além de possibilitar o levantamento de um conjunto de indicadores, os quais podem ser usados como critérios essenciais para a construção de instrumentos de avaliação.

REFERENCES

• ¹
  Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev. Saúde Pública [periódico na Internet]. 2000 [Acesso em 02 de outubro de 2018]; 34(5): [aproximadamente 14 p.] Disponível em: http://www.scielo.br/scielo.php?pid=S003489102000000500018&script=sci_abstract&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S003489102000000500018&script=sci_abstract&tlng=pt
• ²
  Goncalves MJF. Avaliação de programa de saúde: o programa nacional de controle de tuberculose no Brasil. S&TS/H&SC [periódico na Internet] 2012 [Acesso em 02 de outubro de 2018]; 33(1) [aproximadamente 5 p.] Disponível em: http://incubadora.periodicos.ufsc.br/index.php/saudeetransformacao/article/view/473/1706
  » http://incubadora.periodicos.ufsc.br/index.php/saudeetransformacao/article/view/473/1706
• ³
  Melo MB, Vaitsman J. Auditoria e avaliação no sistema único de saúde. São Paulo em Perspectiva [periódico na Internet] 2008 [Acesso em 02 de outubro de 2018]; 22(1) [aproximadamente 14 p.] Disponível em: http://www.esp.mg.gov.br/wp-content/uploads/2009/04/Artigo-Auditoria1.pdf
  » http://www.esp.mg.gov.br/wp-content/uploads/2009/04/Artigo-Auditoria1.pdf
• ⁴
  Araújo SA. Perda auditiva induzida pelo ruído em trabalhadores de metalúrgica. Rev Bras Otorrinolaringol. [periódico na Internet] 2002 [Acesso em 11 de agosto de 2018]; 68(1) [aproximadamente 6 p.] Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S003472992002000100008
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S003472992002000100008
• ⁵
  Cavalcanti TLO, Andrade WTL. Efeitos auditivos e extra-auditivos decorrentes do ruído na saúde do dentista. R BrasCi Saúde [periódico na Internet] 2012 [Acesso em 11 de agosto de 2018]; 16(2) [aproximadamente 6 p.] Disponível em:http://periodicos.ufpb.br/ojs/index.php/rbcs/article/view/11869
  » http://periodicos.ufpb.br/ojs/index.php/rbcs/article/view/11869
• ⁶
  Lopes AC, Otowiz VG, Lopes PMB, Lauris JRP, Santos CC. Prevalência de perda auditiva induzida por ruído em motoristas. Int. Arch. Otorhinolaryngol. [periódico na Internet] 2012 [Acesso em 11 de agosto de 2018]; 16(4) [aproximadamente 5 p.] Disponível em: http://www.scielo.br/scielo.php?pid=S180948642012000400013&script=sci_abstract
  » http://www.scielo.br/scielo.php?pid=S180948642012000400013&script=sci_abstract
• ⁷
  Brasil. Ministério da Previdência e Assistência Social. OS/INSS nº608, de 05/08/1998. Norma Técnica sobre Perda Auditiva Neurossensorial por Exposição Continuada a Níveis Elevados de Pressão Sonora de Origem Ocupacional. Brasília: Diário Oficial da República Federativa do Brasil; 1998.
• ⁸
  Niosh - National Institute for Occupational Safety and Health. Preventing occupational hearing loss - a practical guide. DHHS Pub. 1996. p. 96-110.
• ⁹
  Saldanha Júnior OM. Protocolo para auditoria do programa de conservação auditiva: uma proposta alinhada à legislação brasileira [dissertação]. Belo Horizonte (MG): Centro de Gestão Empreendedora: Núcleo de Pós-graduação e Pesquisa (FEAD); 2009.
• ¹⁰
  Souza DBL, Abbad G, Gondim SMG. Modelos lógicos na avaliação de um mestrado profissional: um exemplo de aplicação. RBPG [periódico na Internet] 2017 [Acesso em 20 de outubro de 2018]; 14 [aproximadamente 19 p.] Disponível em: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/1429/pdf
  » http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/1429/pdf
• ¹¹
  Mayne J. Addressing attribution through contribution analysis: using performance measures sensibly. Can. J. Program Eval. [periódico na Internet] 2000 [Acesso em 03 de setembro de 2018]; 16(1) [aproximadamente 24 p.] Disponível em: https://pdfs.semanticscholar.org/7501/501b7fb4ee9f31985540f3e1ca661f262ec6.pdf
  » https://pdfs.semanticscholar.org/7501/501b7fb4ee9f31985540f3e1ca661f262ec6.pdf
• ¹²
  Renger R, Titcomb A. A three-step approach to teaching logic models. Am. J. Eval. 2002;23(4):493-503.
• ¹³
  Vitorino SAS, Cruz MM, Barros DC. Validation of the theoretical logical model for food and nutritional surveillance in primary care. Cad. Saúde Pública [periódico na Internet] 2017 [Acesso em 13 de outubro de 2018]; 33(12) [aproximadamente 23 p.] Disponível em: http://www.scielo.br/scielo.php?pid=S0102-311X2017001204001&script=sci abstract
  » http://www.scielo.br/scielo.php?pid=S0102-311X2017001204001&script=sci abstract
• ¹⁴
  Bezerra LC de A, Cazarin G, Alves CK de A. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG (orgs). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 65-78.
• ¹⁵
  Cassiolato M, Gueresi S. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Brasília: 2010.
• ¹⁶
  Brasil. Ministério do Trabalho e Emprego. Portaria MTE n.º 3.214, de 08 de junho de 1978. Norma Regulamentadora nº6 - Equipamento de Proteção Individual - EPI [Internet]. Brasília: Diário Oficial da República Federativa do Brasil, 06/07/78. [Acesso em 10 agosto de 2016]. Disponível em: http://trabalho.gov.br/images/Documentos/SST/NR/NR6.pdf
  » http://trabalho.gov.br/images/Documentos/SST/NR/NR6.pdf
• ¹⁷
  Brasil. Ministério do Trabalho e Emprego. Portaria MTb n.º 3.214, de 08 de junho de 1978. Norma Regulamentadora nº7 - Programa de Controle Médico de Saúde Ocupacional [Internet]. Brasília: Diário Oficial da República Federativa do Brasil, 06/07/78. [Acesso em 10 de agosto de 2016]. Disponível em: http://trabalho.gov.br/images/Documentos/SST/NR /NR7.pdf
  » http://trabalho.gov.br/images/Documentos/SST/NR /NR7.pdf
• ¹⁸
  Brasil. Ministério do Trabalho e Emprego. Portaria GM/SSSTb nº25, de 29/12/1994. Norma Regulamentadora N°9 - Programa de Prevenção de Riscos Ambientais [Internet]. Brasília: Diário Oficial da República Federativa do Brasil, 30/12/1994. [Acesso em 10 de agosto de 2016]. Disponível em: http://trabalho.gov.br/images/Documentos/SST/NR/NR-09.pdf
  » http://trabalho.gov.br/images/Documentos/SST/NR/NR-09.pdf
• ¹⁹
  Brasil. Ministério do Trabalho e Emprego. Portaria MTb n.º 3.214, de 08 de junho de 1978. Norma Regulamentadora nº15 - Atividades e Operações Insalubres [Internet]. Brasília: Diário Oficial da República Federativa do Brasil, 06/07/78. [Acesso em 10 de agosto de 2016]. Disponível em: http://trabalho.gov.br/images/Documentos/SST/NR/NR15/NR-15.pdf
  » http://trabalho.gov.br/images/Documentos/SST/NR/NR15/NR-15.pdf
• ²⁰
  Fundacentro. NHO 01- Procedimento técnico: Avaliação ocupacional ao ruído. [Internet]. 2001. [Acesso em 20 de julho de 2016]. Disponível em: http://www.fundacentro.gov.br/biblioteca/normas-de-higieneocupacional/pu blicacao/detalhe/2012/9/nho-01-procedimento-tecnico-avaliacao-da-exposicao-ocupacional-ao-ruido
  » http://www.fundacentro.gov.br/biblioteca/normas-de-higieneocupacional/pu blicacao/detalhe/2012/9/nho-01-procedimento-tecnico-avaliacao-da-exposicao-ocupacional-ao-ruido
• ²¹
  Guerrero AVP. Avaliabilidade do pacto pela redução da mortalidade infantil nas regiões Amazônia legal e nordeste do Brasil: descrição do programa e construção do modelo lógico [dissertação]. Recife (PE): Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Mestrado em Saúde Coletiva; 2010. [Acesso em 23 de abril de 2018]. Disponível em: http://www.cpqam.fiocruz.br/ bibpdf201 1guerrero-avp.pdf.
• ²²
  Denis J, Champagne F. Análise de implantação. In: Hartz ZMA (org). Avaliação em saúde: dos modelos conceituais à prática na análise de implantação de programas. Rio de Janeiro: Ed. Fiocruz; 1997. p. 49-88.
• ²³
  Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-5.
• ²⁴
  Azevedo SB, Leal LP, Lima MLLT, Griz SMS. Prática dos enfermeiros na atenção à saúde auditiva infantil. Rev Esc Enferm USP [periódico na Internet] 2014 [Acesso em 18 de outubro de 2018]; 48(5) [aproximadamente 8 p.] Disponível em: http://www.scielo.br/pdf/reeusp/v48n5/pt0080-6234-reeusp-48-05-865.pdf
  » http://www.scielo.br/pdf/reeusp/v48n5/pt0080-6234-reeusp-48-05-865.pdf
• ²⁵
  Berk RA. Importance of expert judgment in content-related validity evidence. West J Nurs Res. 1990;12(5):659-71.
• ²⁶
  Davis LL. Instrument review: getting the most from a panel of experts. Appl Nurs Res.1992;5(4):194-7.
• ²⁷
  Tikka C, Verbeek JH, Kateman E, Morata TC, Dreschler WA, Ferrite S. Interventions to prevent occupational noise-induced hearing loss. Cochrane Database Syst. Rev. [periódico na Internet] 2017 [Acesso em 19 de janeiro de 2019]; 7: [aproximadamente 5 p.] Disponível em: https://www.cochrane.org/CD006396/OCCHEALTH_interventions-prevent-hearing-loss-caused-noise-work
  » https://www.cochrane.org/CD006396/OCCHEALTH_interventions-prevent-hearing-loss-caused-noise-work
• ²⁸
  Dantas ANM, Higuch MIG. Abordagem dos profissionais de saúde frente ao programa de prevenção de perda auditiva no pólo industrial de Manaus. Rev. CEFAC [periódico na Internet] 2012 [Acesso em 21 de janeiro de 2018]; 15(6): [aproximadamente 8 p] Disponível em: http://www.scielo.br/pdf/rcefac/v15n6/v15n6a03.pdf
  » http://www.scielo.br/pdf/rcefac/v15n6/v15n6a03.pdf
• ²⁹
  Niquini RP, Bittencourt SA, Lacerda EMA, Saunders C, Leal MC. Atenção nutricional no pré-natal de baixo risco do Sistema Único de Saúde: teoria e modelização. Rev. Bras. Saude Mater. Infant. [periódico na Internet] 2013 [Acesso em 09 de setembro de 2018]; 13(4): [aproximadamente 13 p.] Disponível em: http://www.scielo.br/scielo.php?script=sciarttext&pid=S151938292013000400345&lng=en
  » http://www.scielo.br/scielo.php?script=sciarttext&pid=S151938292013000400345&lng=en
• ³⁰
  Fundacentro. Guia de diretrizes e parâmetros mínimos para a elaboração e a gestão do PCA. [Internet]. 2018. [Acesso em 20 de janeiro de 2019]. Disponível em: http://www.fundacentro.gov.br/biblioteca/biblioteca-digital/publicacao/detalhe/2018/9/guia-de-diretrizes-e-parametros-minimos-para-a-elaboracao-e-a-gestao-do-pca
  » http://www.fundacentro.gov.br/biblioteca/biblioteca-digital/publicacao/detalhe/2018/9/guia-de-diretrizes-e-parametros-minimos-para-a-elaboracao-e-a-gestao-do-pca
• ³¹
  Wong LLN. Assesment of speech intelligibility in noise with the Hearing in Noise Test. Int J Audiol. 2008;47(6):356-61.
• ³²
  Arieta AM, Couto CM, Costa E. Speech perception test HINT Brazil in groups of subjects exposed and not exposed to occupational noise. Rev. CEFAC [periódico na Internet] 2013 [Acesso em 20 de outubro de 2018]; 15(4): [aproximadamente 9 p.] Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1516-18462013000 400007&lng=en&nrm=iso&tlng=en
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1516-18462013000 400007&lng=en&nrm=iso&tlng=en
• ³³
  Morata TC, Little B. Suggested guidelines for studying the combined effect of occupational exposure to noise and chemicals on hearing. Noise Health. 2002;4(14):73-87.
• ³⁴
  Morata TC, Campo P. Ototoxic effects of chemicals alone or in concert with noise: a review of human studies. Noise Health. 2002;4(14):15-24.
• ³⁵
  Oliveira WTGH, Andrade WTL, Teixeira CF, Lima MLLT. Audição de trabalhadores antes e após o Programa de Conservação Auditiva. Rev. bras. ciênc. saúde. 2013;16(4):517-24.
• ³⁶
  Moreira AC, Gonçalves CG de O. The effectiveness of workshops in hearing health educational actions developed with workers exposed to noise. Rev. CEFAC [periódico na Internet] 2014 [Acesso em 20 de outubro de 2018]; 16(3): [aproximadamente 8 p.] Disponível em: http://www.scielo.br/scielo.php?script=sciarttext&pid=S1516-18462014000 300723&lng=en&nrm=iso&tlng=en
  » http://www.scielo.br/scielo.php?script=sciarttext&pid=S1516-18462014000 300723&lng=en&nrm=iso&tlng=en
• ³⁷
  Bramatti L, Morata TC, Marques JM. Ações educativas com enfoque positivo em programa de conservação auditiva e sua avaliação. Rev. CEFAC [periódico na Internet] 2008 [Acesso em 20 de outubro de 2018]; 10(3): [aproximadamente 10 p.] Disponívelem: http://www.scielo .br/scielo.php?pid=S1516-18462008000300016&script=sci abstract&tlng=pt
  » http://www.scielo .br/scielo.php?pid=S1516-18462008000300016&script=sci abstract&tlng=pt
• ³⁸
  Carvalhosa SF, Domingos A, Sequeira C. Modelo lógico de um programa de intervenção comunitária - GerAcções. Análise Psicológica [periódico na Internet] 2008 [Acesso em 26 de julho de 2018]; 3(28): [aproximadamente 12 p.] Disponível em: http://repositorio.ispa.pt/bitstream/10400.12/6152/1/2010_28%283%29_479.pdf
  » http://repositorio.ispa.pt/bitstream/10400.12/6152/1/2010_28%283%29_479.pdf
• ³⁹
  Cavalcanti PCS, Gurgel Junior GD, Vasconcelos ALR, Guerrero AVP. Um modelo lógico da Rede Cegonha. Physis. [periódico na Internet] 2013 [Acesso em 09 de setembro de 2018]; 23(4): [aproximadamente 20 p.] Disponível em: http://www.scielo.br/scielo.php?pid=S0103-73312013000400014&script=sci_abstract&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S0103-73312013000400014&script=sci_abstract&tlng=pt
• ⁴⁰
  Padilha MA, Oliveira CM, Figueiró AC. Estudo de avaliabilidade do Programa Academia Carioca da Saúde: desafios para a promoção da saúde. Saúde Debate. [periódico na Internet] 2015 [Acesso em 09 de setembro de 2018]; 39(105) [aproximadamente 10 p.] Disponível em: http://www.scielo.br/scielo.php?pid=S0103-11042015000200375&script=s ciabstract&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S0103-11042015000200375&script=s ciabstract&tlng=pt

Datas de Publicação

• Publicação nesta coleção
  23 Set 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  31 Out 2018
• Aceito
  11 Jul 2019