O processo de avaliação da Iniciativa Hospital Amigo da Criança sob o olhar dos avaliadores

The process of assessment of the Child- Friendly Hospital Initiative from the point of view of the assessors

Resumos

OBJETIVOS:

identificar a opinião dos avaliadores do Brasil que atuam na Iniciativa Hospital Amigo da Criança (IHAC) quanto à confiabilidade das informações coletadas pelo sistema de avaliação.

MÉTODOS:

estudo descritivo, transversal, quantitativo, baseado em dados primários através de questionários semiestruturados enviados por meio eletrônico. Critério de inclusão: avaliadores com experiência de participação em pelo menos uma avaliação global e/ou uma reavaliação no período de 2006 a 2011. Foram respondidos 35 questionários, os dados foram analisados no software Epi Info Windows 2.000 versão 3.5.1.

RESULTADOS:

77% dos avaliadores responderam que os resultados do processo avaliativo da IHAC correspondiam parcialmente à realidade dos hospitais avaliados. Perguntas extensas, pouco claras, repetidas, com linguagem formal, o conhecimento técnico sobre certos procedimentos para profissionais que não os praticam e a definição temporal do contato precoce no parto foram os pontos fracos apontados do instrumento.

CONCLUSÕES:

o resultado do processo avaliativo da IHAC é parcialmente confiável e não reflete a realidade dos hospitais avaliados. Seria necessário promover adequações no instrumento de coleta de dados de modo a torná-lo mais claro e conciso, organizar um quadro de avaliadores melhor preparados, com recrutamento mais focado no perfil desejado e o fortalecimento do processo de qualificação dos mesmos.

Avaliação em saúde; Avaliação de programas; Aleitamento materno

OBJECTIVES:

to sound out the opinion of assessors of the Brazilian Child-Friendly Hospital Initiative (IHAC) as to the reliability of the information gathered by the evaluation system.

METHODS:

a descriptive, cross-sectional, quantitative study was carried out base on primary data obtained by way of semi-structured questionnaires applied by email. Inclusion criterion: assessor who participated in at least one overall evaluation and/or re-evaluation between 2006 and 2011. Thirty-five completed questionnaires were received. The data were analyzed using Epi Info Windows 2.000 Version 3.5.1.

RESULTS:

77% of the assessor responded that the results of the evaluation of the IHAC partially corresponded to the reality on the ground in the hospitals evaluated. Lengthy, less than clear, repetitive questions in formal language, lack of knowledge of certain procedures on the part of professionals who do not carry them out, and the duration of earlycontact con during childbirth were the weaknesses identified.

CONCLUSIONS:

the results of the evaluation of the IHAC are partially reliable but do not reflect the real situation in the hospitals evaluated. There is a need to improve data collection tools so as to make them clearer and more concise, to provide better training and more careful selection of assessors.

Health evaluation; Program evaluation; Breastfeeding

Introdução

Nas últimas décadas, o desmame precoce tem sido objeto de preocupação para os formuladores de políticas públicas em todo o mundo devido ao seu efeito deletério para saúde da criança, elevando os índices de morbimortalidade.^1-5 Este fato motivou a elaboração e implementação de inúmeras estratégias, inclusive no Brasil, na perspectiva de reduzir os índices do desmame precoce, mediante a intensificação da prática da amamentação.

Jones et al.,⁶ em seu estudo de revisão sobre intervenções para sobrevivência infantil, encontra em seus resultados evidências de que a ação aleitamento materno tem grande impacto na prevenção da mortalidade infantil. Por outro lado, estudos científicos apontam que a desinformação dos profissionais de saúde, as rotinas e práticas de cuidados de saúde dos profissionais das maternidades dirigidas a mães e bebês, frequentemente oferecem obstáculos ou impedem o início e o estabelecimento da amamentação, sendo fatores determinantes para o desmame precoce.^7,8

Diante deste cenário, como esforço para reverter os altos índices de desmame precoce em várias regiões do mundo, bem como contribuir para redução da mortalidade infantil, a Organização Mundial da Saúde (OMS) e o Fundo das Nações Unidas para a Infância (UNICEF) propuseram em 1990 a Iniciativa Hospital Amigo da Criança (IHAC). A IHAC é uma estratégia global elaborada com base em evidências científicas e estruturada através da instituição de um conjunto de medidas chamadas "Os Dez Passos para o Sucesso do Aleitamento Materno" cujo propósito é promover, proteger e apoiar o aleitamento materno através da revisão de políticas, práticas e rotinas nos hospitais e maternidades.⁹

Os principais objetivos da IHAC são adequar as rotinas dos serviços de saúde materno-infantis em prol do aleitamento materno através da implementação dos Dez Passos e extinguir a prática das empresas de distribuição gratuita ou de baixo custo de substitutos do leite materno nos hospitais e maternidades certificados, ou seja, a adesão ao Código Internacional de Comercialização dos Substitutos do Leite Materno (Código) e, no caso do Brasil, a Norma Brasileira de Alimentos para Lactentes e Crianças de Primeira Infância, Bicos, Chupetas e Mamadeiras (NBCAL).¹⁰

Sampaio et al.,¹¹ Venancio et al.¹² apontam para maiores taxas de aleitamento materno nas crianças que nascem em um Hospital Amigo da Criança (HAC), quando comparadas às nascidas em hospitais tradicionais.

A IHAC é considerada uma importante estratégia pelo impacto positivo nas taxas de aleitamento materno, o que reflete na melhoria da saúde e sobrevivência infantil, sendo evidente a sua relevância para a saúde pública, em especial nos países em desenvolvimento.^13-17

No Brasil, a estratégia começou a ser desenvolvida em março de 1992 com o apoio do UNICEF e da Organização Panamericana de Saúde (OPAS), somando-se aos esforços do Programa Nacional de Incentivo ao Aleitamento Materno (PNIAM), coordenado pelo Ministério da Saúde (MS).¹⁰

Mundialmente, para que um hospital se torne HAC, necessita ser submetido à avaliação, tendo como base o cumprimento dos critérios globais de cada um dos Dez Passos para o Sucesso do Aleitamento Materno. O processo de avaliação e credenciamento de um hospital se dá com o preenchimento, efetuado pelo representante do estabelecimento hospitalar, de um questionário de autoavaliação pelo qual o hospital avalia suas práticas em relação aos Dez Passos para o Sucesso do Aleitamento Materno. No Brasil, a Secretaria Estadual de Saúde (SES) indica dois avaliadores externos para realizar uma pré-avaliação. Constatado o cumprimento dos Dez Passos para o Sucesso da Amamentação e dos dez pré-requisitos constantes na Portaria SAS/MS nº 9 de 10 de janeiro de 2008, a SES solicita ao MS a avaliação global do hospital. Esta avaliação é realizada por dois profissionais de nível superior, que não fazem parte da equipe do hospital (avaliadores externos), considerados experts nas habilidades de manejo do aleitamento materno e aptos a julgar a exatidão e a probidade de informações. Para evitar a queda nos padrões de qualidade, ocorrem periodicamente monitoramento e reavaliação dos hospitais credenciados.¹³

Os instrumentos de avaliação hospitalar da IHAC consistem em entrevistas de gestantes, mães e funcionários, bem como em algumas observações e revisão de material escrito de registros da unidade. São estruturados em duas partes: parte I, composta de entrevistas com o diretor ou responsável pela maternidade, formulário de dados do hospital, análise de material impressos e observações; parte II, composta de entrevistas com integrantes do corpo clínico, com integrante da equipe não clínica, com a puérpera, com a mãe do bebê em unidades de cuidados especiais e com a gestante.¹³

Segundo Ala-Harja e Helgason¹⁸ a avaliação é uma ferramenta que visa oferecer informações confiáveis e utilizáveis quanto aos resultados obtidos e deve ser vista como mecanismo de melhoria no processo de tomada de decisões. Dessa forma, para que a avaliação atinja o seu propósito, o preparo do avaliador, a qualidade e a utilização adequada do instrumento de avaliação são imprescindíveis para evitar uma compreensão distorcida da realidade na qual a estratégia ou o programa intervém. Nesse sentido, a avaliação é fundamental para acompanhar o desempenho e aprimoramento da IHAC.¹⁰

Assim é importante o propósito de obter subsídios para possíveis ajustes e aperfeiçoamento do processo avaliativo da IHAC, como também para responder ao seguinte questionamento: na opinião dos avaliadores, os dados obtidos pelo sistema de avaliação da IHAC refletem a realidade dos hospitais avaliados?

O objetivo do estudo, portanto, foi identificar a opinião dos avaliadores do Brasil que atuam na IHAC a respeito da confiabilidade das informações coletadas, processadas e analisadas pelo sistema de avaliação.

Métodos

Consiste em um estudo descritivo baseado em dados primários, obtidos mediante aplicação de questionários semiestruturados enviados para os endereços eletrônicos dos avaliadores. O questionário foi elaborado pela pesquisadora sendo composto por dois blocos. O primeiro contendo oito questões e diz respeito ao perfil sócio demográfico do avaliador. O segundo bloco composto por nove perguntas abertas sobre o processo de avaliação propriamente dito, como também acerca dos pontos fortes e fracos revelados pelo processo que vem sendo utilizado na avaliação da IHAC além de sugestões para melhorá-la. Este segundo bloco foi elaborado a partir de uma pesquisa exploratória com dez avaliadores do estado onde reside a pesquisadora, utilizando-se um questionário contendo quatro perguntas abertas sobre o processo de avaliação. Foram utilizadas várias estratégias para obtenção do maior número possível de questionários respondidos como ligações telefônicas, mensagem eletrônica juntamente com o questionário informando a origem do fornecimento do contato do avaliador, reenvio do questionário, contato com Coordenadores do Aleitamento Materno das Secretárias Estaduais de Saúde solicitando intervenção no sentido de sensibilizar o avaliador para responder o questionário. As respostas ao questionário referem-se à experiência dos avaliadores no período de 2006 a 2011.

Do conjunto de 249 avaliadores da IHAC do Brasil, 35 respondentes enviaram os questionários preenchidos dentro do prazo estabelecido, o que corresponde a uma taxa de resposta de 14%, tendo todos atendidos ao critério de inclusão que era a experiência de participação em pelo menos uma avaliação global e/ou uma reavaliação no período a que se refere à pesquisa.

Foram definidas como variáveis: a confiabilidade atribuída pelos avaliadores aos dados coletados; os obstáculos à confiabilidade; as causas dos obstáculos e sugestões apresentadas pelos mesmos, classificação do instrumento de avaliação quanto à finalidade a que se propõe, (plenamente satisfatório; parcialmente satisfatório; insatisfatório) além dos seguintes atributos relacionados ao avaliador: nível de instrução; qualificação profissional; região onde reside e trabalha; faixa etária; cursos realizados em aleitamento materno; tempo de atuação como avaliador; quantidade de hospitais avaliados.

Os dados relacionados ao primeiro bloco do questionário foram digitados e analisados no software Epi Info Windows 2.000 versão 3.5.1. As questões abertas do segundo bloco foram devidamente codificadas e digitadas em planilha do software Excel 2001 versão 10 (Microsoft) e transferida para o software Epi Info para posterior análise.

O projeto desta pesquisa foi aprovado pelo Comitê de Ética em Pesquisa Envolvendo Seres Humanos do Centro de Ciências da Saúde da Universidade Federal de Pernambuco, conforme parecer CEP/CCS/UFPE Nº334. Foi garantido o sigilo quanto à identificação de todos os avaliadores com o Termo de Consentimento Livre e Esclarecido (TCLE) eletrônico, assinado por todos os respondentes.

Resultados

Todos os avaliadores possuíam nível universitário, 33 deles eram do sexo feminino e 30 tinham idade entre 40 e 60 anos, com média de 51 anos. Dos 249 avaliadores existentes, 242 (97,0%) eram mulheres.

Em relação à qualificação profissional dos avaliadores estudados, 34 eram da área das ciências da saúde, sendo 22 médicos ou enfermeiros (Tabela 1).

Tabela 1
Distribuição de frequência do sexo, idade, qualificação profissional, tempo de atuação como avaliador e número de hospitais avaliados dos avaliadores respondentes. Brasil, 2012.

Variáveis		N	%
Sexo
	Feminino	33	94,3
	Masculino	2	5,7
	Total	35	100,0
Idade (anos)
	Até 40	3	8,6
	40--| 50	13	37,0
	50--| 60	17	48,6
	Mais de 60	1	2,9
	Não informado	1	2,9
	Total	35	100,0
Qualificação profissional
	Assistente social	2	5,7
	Bióloga	1	2,9
	Enfermeira	11	31,4
	Farmacêutica	1	2,9
	Médico	11	31,4
	Nutricionista	3	8,6
	Psicóloga	3	8,6
	Socióloga	1	2,9
	Terapia ocupacional	1	2,9
	Não informado	1	2,9
	Total	35	100,0
Tempo como avaliador (anos)
	Até 5	10	28,6
	5 --| 10	6	17,1
	10 --| 15	14	40,0
	15 --| 20	3	8,6
	Mais de 20	2	5,7
	Total	35	100,0
Número de hospitais avaliados
	Até 5	9	26,0
	5 --| 10	11	31,0
	10 --| 15	6	17,0
	15 --| 20	0	-
	Mais de 20	9	26,0
	Total	35	100,0

Variáveis		N	%
Sexo
	Feminino	33	94,3
	Masculino	2	5,7
	Total	35	100,0
Idade (anos)
	Até 40	3	8,6
	40--| 50	13	37,0
	50--| 60	17	48,6
	Mais de 60	1	2,9
	Não informado	1	2,9
	Total	35	100,0
Qualificação profissional
	Assistente social	2	5,7
	Bióloga	1	2,9
	Enfermeira	11	31,4
	Farmacêutica	1	2,9
	Médico	11	31,4
	Nutricionista	3	8,6
	Psicóloga	3	8,6
	Socióloga	1	2,9
	Terapia ocupacional	1	2,9
	Não informado	1	2,9
	Total	35	100,0
Tempo como avaliador (anos)
	Até 5	10	28,6
	5 --| 10	6	17,1
	10 --| 15	14	40,0
	15 --| 20	3	8,6
	Mais de 20	2	5,7
	Total	35	100,0
Número de hospitais avaliados
	Até 5	9	26,0
	5 --| 10	11	31,0
	10 --| 15	6	17,0
	15 --| 20	0	-
	Mais de 20	9	26,0
	Total	35	100,0

No que tange à região onde os avaliadores respondentes trabalham e residem, predominou o Nordeste (15), seguindo-se o Sudeste (10), Sul (6), Norte (3) e Centro-Oeste (1).

Quanto aos cursos de capacitação para o exercício da função de avaliador da IHAC realizados pelos respondentes, 28 fizeram os cursos de Manejo Clínico do Aleitamento Materno em um Hospital Amigo da Criança (20 horas), além do Curso de Aconselhamento em Amamentação (40 horas), do curso de avaliadores ministrado pela IHAC (40 horas) e outros cursos ou disciplinas de avaliação.

Dos 35 avaliadores respondentes, 25 possuíam mais de cinco anos de atuação como avaliador da IHAC tendo 14 entre 10 a 15 anos nesta função, verificando-se uma média de tempo de atuação como avaliador igual a 10,3 anos (Tabela 1). Quanto ao número de hospitais avaliados, 26 já haviam aplicado o processo em mais de cinco hospitais sendo a média igual a 12,5 hospitais (Tabela 1). Em relação ao tipo de avaliação, 29 participaram tanto de avaliações globais como de reavaliações, desses, 20 realizaram avaliações tanto no estado onde residem, como em outros Estados. Quanto aos avaliadores do Nordeste (15), 12 avaliaram hospitais em outros Estados.

Em relação ao tempo transcorrido desde a última avaliação, 32 responderam que este tempo não ultrapassou 24 meses.

Foi verificado que 17 avaliadores responderam que os resultados do processo avaliativo correspondiam parcialmente à realidade dos hospitais avaliados, dois responderam que os resultados não correspondiam à realidade dos hospitais avaliados. Três motivos foram citados com maior frequência para o descompasso entre a informação coletada durante o processo de avaliação e a realidade da atenção à saúde nelas vigente: a deficiência do instrumento de avaliação (17 avaliadores), a comunicação prévia ao hospital acerca da data da visita de avaliação (17 avaliadores) e o despreparo do avaliador (18 avaliadores), como pode ser visto na Tabela 2.

Tabela 2
Distribuição de frequência das respostas que indicaram falta de acurácia do processo avaliativo da IHAC segundo motivos alegados. Brasil, 2012.

Variáveis	N	%
Deficiência do instrumento	17	63,0
Comunicação prévia ao hospital	17	63,0
Despreparo do avaliador	18	66,0
Outras justificativas	4	15,0

• IHAC= Iniciativa Hospital Amigo da Criança.
• Nota: os avaliadores apontaram mais de um motivo para a falta de acurácia do processo avaliativo da IHAC.

Outras justificativas foram dadas por quatro dos respondentes, entre elas a pouca disponibilidade do avaliador na condução do processo, o que aparece associado ao comprometimento de seu tempo em outras atividades profissionais e à precariedade das condições vigentes, principalmente nas instituições públicas, refletindo na superlotação dos serviços, na insuficiência de recursos humanos e no encaminhamento de casos de maior complexidade para unidades que não estão dimensionadas para atende-los. Estas condições são apresentadas por alguns respondentes como tendo repercussão direta nos baixos níveis de colaboração verificados em certos hospitais durante o processo avaliativo e que seria manifestado por funcionários insatisfeitos.

Os respondentes atribuem ainda a desmotivação do avaliador em disponibilizar tempo para as avaliações, ao precário apoio logístico oferecido para realização das avaliações, o que faz com que o avaliador, na maioria das vezes, necessite arcar com custos, sobretudo quando as avaliações são realizadas no município onde reside e trabalha. Sugerem uma liberação oficial por parte das instituições onde trabalham para que possam realizar as avaliações além de um apoio logístico mais eficaz por parte das Secretarias Estaduais de Saúde.

Em relação à deficiência do instrumento de avaliação, os avaliadores apresentam como críticas o fato de ser confuso e sujeito a diferentes interpretações dos avaliadores e entrevistados, além de pouco objetivo e de não focar nos aspectos relevantes à avaliação. Ademais, o instrumento mostrasse linguajar que necessita ser traduzido pelo avaliador, por estar expresso no jargão técnico resultante da tradução literal do inglês para o português falado no sudeste do país, mostrando-se inadequado a determinados contexto regionais.

Pensam que o avaliador deve ter um empenho redobrado para adaptar as perguntas do questionário de forma a torná-las claras, precisas, quantificáveis e completas. Entendem também que devam ser incluídas no instrumento perguntas com respostas abertas, de modo a permitir uma avaliação mais analítica sobre as ações das unidades avaliadas.

Quanto à comunicação prévia ao hospital sobre a data da avaliação, 17 dos avaliadores acharam ser a mesma indevida, enquanto 11 se mostraram favoráveis àquele expediente, ainda que com tempo mais curto de antecedência, ao passo que 7 opinaram que deveria ser mantido o atual prazo de dois a três meses para comunicação prévia.

Com relação ao despreparo do avaliador, 18 deles constatam a sua existência. Entendem ser fundamental que o avaliador atue na área de saúde strictu sensu e possua conhecimento sobre obstetrícia e neonatologia, além de ser afeito à área hospitalar, sob pena de não poder colaborar com sugestões na avaliação. Ainda assim, certas situações desafiam esta condição e interferem negativamente na atuação do avaliador, como acontece quando ele tem relação de proximidade afetiva ou laboral com os dirigentes e/ou com os profissionais do serviço avaliado. Por esta razão, ressaltam a importância de se contar sempre com avaliadores de outros Estados para evitar os danos ao processo resultantes do envolvimento pessoal dos seus protagonistas.

Outras questões relacionadas ao despreparo do avaliador seriam: a inabilidade de reformular perguntas, ocasionando o não entendimento das mesmas por parte do entrevistado, que faz com que não responda uma pergunta cuja resposta conhece; a realização esparsa de avaliações por parte do avaliador, o que leva ao pouco domínio do instrumento e interfere na habilidade para distinguir, por exemplo, o que é rotina do que é simulação; a dificuldade para dar conta da burocracia necessária ao preenchimento de papéis; a falta de uniformidade entre os avaliadores quanto à condução do processo de avaliação; o uso de benevolência ou de interpretações descabidas em relação aos dados coletados; a falta de experiência na área hospitalar e de conhecimentos inerentes à formação médica.

Assim sendo, a precariedade de certos perfis reside, segundo alguns respondentes, na reduzida carga horária dos eventos de capacitação dos avaliadores e da forma como se dá o seu recrutamento o que leva à captação de pessoas absolutamente sem os pré-requisitos para o exercício da função.

Os respondentes recomendam que, pelo menos um mês antes de ter início um processo de avaliação, o líder da equipe de avaliadores se reúna com os demais integrantes para distribuir tarefas e determinar responsabilidades, bem como para marcar seções de treinamento em avaliação, se necessário. Forneceria ainda o kit de avaliação e outros documentos importantes para que todos se apropriassem daquele material e do seu processo de utilização em detalhes.

A maioria dos avaliadores respondentes (22) classificou o instrumento de avaliação da IHAC quanto à finalidade a que se propõe como sendo insatisfatório ou apenas parcialmente satisfatório.

A análise isolada dos motivos alegados para o instrumento de avaliação e de reavaliação não alcançarem o objetivo a que se propõem mostrou que este fato se deve ao percentual de respostas corretas exigidas das pessoas entrevistadas (profissionais e usuários) serem alto, a exigência exagerada que se dá em relação aos pontos chave, a amostra não representativa por ter um pequeno número de entrevistados, as perguntas pouco claras e repetitivas não adaptadas à cultura e/ou linguagem da região (Tabela 3).

Tabela 3
Distribuição de frequência das respostas que refutaram o instrumento de avaliação e reavaliação como não tendo a finalidade a que se propõe segundos os motivos alegados. Brasil, 2012.

Variáveis	N	%
Percentual de respostas corretas exageradamente altos	5	21,0
Exigência exagerada dos pontos chave	9	38,0
Número de pessoas entrevistadas pequeno	8	33,0
Perguntas pouco claras	15	63,0
Perguntas repetidas	10	42,0
Perguntas não adaptada à cultura e/ou linguagem da região	9	38,0
Outras justificativas	4	17,0

• Nota: os avaliadores apontaram mais de um motivo para o instrumento de avaliação da IHAC não atingir a finalidade a que se propõe.

Estes avaliadores sugerem reduzir de 80 % para 70% os percentuais de acerto para algumas perguntas, assim como eleger um ponto chave em lugar de dois, principalmente nas perguntas direcionadas às puérperas e gestantes. Sugerem também um reforço no treinamento do avaliador para que aceitem respostas diferentes dos pontos chave, o uso de uma linguagem mais fácil e mais flexível que possibilite respostas livres, além de reformular as perguntas para melhor entendimento, adequando-as à linguagem e cultura de cada região.

Os avaliadores sugeriram ainda a duplicação do número atual de entrevistados, com perguntas elaboradas de forma mais simples, direta e com enunciados mais curtos. Outros acham que a amostra não deve ser fixa e sim proporcional ao público atendido e apontam para um percentual de 40%, e outros sugerem ainda que a amostra seja proporcional ao número de profissionais da unidade, bem como dos clientes atendidos, devendo ser maior em relação às puérperas de parto cesáreo, nas maternidades-referência para o alto risco.

Ainda em relação à fragilidade do instrumento, que o instrumento de avaliação e reavaliação da IHAC não alcançe o objetivo a que se propõem. Como exemplo, os avaliadores citaram o questionário para entrevista com as mães e o questionário para entrevista com integrantes do corpo clínico.

No que diz respeito aos pontos fortes e fracos do instrumento de avaliação da IHAC, foi considerado como ponto positivo a abordagem de tópicos importantes para o conhecimento das práticas hospitalares em relação ao aleitamento materno, e como pontos negativos as perguntas longas, pouco claras, repetidas, apresentadas com linguagem formal, bem como a exigência do conhecimento técnico da ordenha para profissionais que não a praticam na sua rotina. Outros pontos negativos consistem na definição temporal do contato precoce na sala de parto e na abordagem superficial da prática do aleitamento materno com as mães de bebês internados em unidades de cuidados especiais.

Discussão

Após busca nas bases de dados PubMed, Medline, Scientific Eletronic Liberary Online e Literatura Latino Americana e do Caribe em Ciências da Saúde (Lilacs) de artigos em português, inglês e espanhol publicados entre os anos de 2001 a 2011, foi observado uma escassez de estudos científicos a respeito do processo avaliativo da IHAC, o que dificulta realizar comparações com outras pesquisas das questões relacionadas à metodologia empregada e aos próprios resultados encontrados.

Sendo assim, trata-se de um estudo inovador pelo fato de não se encontrar literatura abundante sobre o processo de avaliação da IHAC propriamente dito e sobre os problemas que podem relativizar a análise dos resultados que este processo tem gerado além de ser relativamente restrito o aporte de pesquisas avaliativas em saúde nas quais os próprios avaliadores são levados a refletir e opinar sobre o sistema de avaliação que operam.

Houve um baixo índice de resposta ao questionário apesar das estratégias adotadas para aumentar o tamanho da amostra. Este fato representou uma limitação metodológica do estudo devido a questões como a privacidade, uma vez que o respondente pôde considerar o recebimento da mensagem do e-mail não desejada e como invasão de privacidade ou "lixo eletrônico", do anonimato necessário para não constranger os avaliadores frente à coordenação da IHAC embora o nome e outros dados pessoais não sejam identificados, o Estado de onde provêm os dados é revelado uma vez que se constitui numa das variáveis independentes. Algumas destas limitações foram relatadas por Vasconcelos e Guedes19 em estudo onde mapeou as vantagens e limitações da utilização de questionário eletrônico através da Internet.

Constatou-se predomínio do sexo feminino entre os avaliadores pesquisados, o que provavelmente reflete uma realidade presente de longa data no campo de trabalho da área de saúde, sobretudo na enfermagem.^20,21 Ademais a prática do cuidado em saúde, circunscrito à família e a continuidade das atividades relacionadas a este cuidado, é culturalmente "naturalizado" como sendo papel da mulher.^20,22

De acordo com o UNICEF/OMS (2010),¹³ o emprego de mulheres como avaliadoras é desejável, particularmente para entrevistas com as mães, da mesma forma que é benéfico que uma equipe de avaliação seja multidisciplinar, incluindo profissionais com experiência no trabalho com as mães nos espaços comunitários.

Considerando a faixa etária dos avaliadores pesquisados, percebe-se que estes profissionais fazem parte de uma população adulta madura, o que sugere um certo grau de maturidade profissional e desenvolvimento das habilidades necessárias para a realização da função de avaliador. Esta condição, por outro lado, não dispensa a necessidade da educação continuada destas pessoas de modo a suprir as necessidades de atualização e de aprimoramento das competências técnicas e humanísticas.

Quanto ao maior número de avaliadores da região nordeste este se deve ao fato da pesquisadora residir nesta região e conhecer a maioria dos avaliadores, o que possibilitou o convencimento à adesão do entrevistado à pesquisa haja vista, haver uma relação de confiança preexistente.

Sobre os eventos de capacitação, observa-se que a grande maioria dos avaliadores recebeu os cursos preparatórios previstos pela IHAC possuindo conhecimento em aleitamento materno essencial para exercício da função de avaliador.

Para o UNICEF/OMS (2010),¹³ é indispensável que os avaliadores tenham robusto conhecimento sobre práticas hospitalares de alimentação de lactentes. Este conhecimento capacita o avaliador a ter a competência de ouvir respostas e julgar se elas são adequadas para garantir que o entendimento do interlocutor esteja de acordo com os Dez Passos.

Quanto à disponibilidade de tempo para atuar como avaliador, seria necessário a implementação de horários flexíveis, uma vez que as avaliações muitas vezes não podem ser previstas com grande antecedência, além de requererem vários dias de trabalho para sua execução. Um benefício para fortalecer a motivação do avaliador é que o mesmo fosse recompensado financeiramente e formalmente estimulado através de promoções podendo ascender à condição, por exemplo, de coordenador de equipe de avaliadores, além do recebimento de certificados para fins de currículo.

O perfil do avaliador revelado pelo estudo demonstra ser este um grupo com conhecimentos e experiências acumuladas sobre o objeto do estudo em questão e, a princípio, em condições de opinar com propriedade sobre ele.

Em face deste perfil mostrando experiência profissional e familiaridade com o processo de avaliação, o que cabe é uma profunda revisão do processo como um todo, incluindo os instrumentos de avaliação, de reavaliação e de registro das informações, contando com a participação dos próprios avaliadores.

O UNICEF/OMS (2010)¹³ estabelece que o Grupo de Coordenação e o Chefe da Equipe de Avaliação da IHAC devem acertar data e horário para avaliação, se possível dando dois a três meses à unidade de saúde para reunir e enviar os documentos solicitados e fazer os devidos ajustes para a avaliação. Partindo-se do princípio de que os hospitais devem manter sua estrutura e funcionamento adequados durante todo o tempo, não deveria haver dificuldades para a chegada dos avaliadores a qualquer hora. Considerando, no entanto, que parte dos documentos solicitados necessita ser preparado com antecedência, como no caso das estatísticas específicas, o prazo de 30 dias pareceria razoável.

Em relação à equipe de avaliação, a OMS e a UNICEF (2010)¹³ recomendam que para manter a imparcialidade do processo, os avaliadores não devem ter ligação com as unidades sob avaliação. Além disso, a equipe deve ser multidisciplinar, ter experiência em avaliação e manejo do aleitamento materno, além de entender o propósito e abordagem da IHAC. Conforme o anexo da Portaria do MS nº 80 de 24 de fevereiro de 2011²³ que estabelece normas para o processo de habilitação do HAC integrante do SUS, "para a avaliação e a reavaliação globais, a equipe de avaliadores designados contará com dois profissionais de saúde não envolvidos com o treinamento nem com o processo de credenciamento, sendo que um deles não deverá ser do município onde esteja". Na prática, esta recomendação aplica-se com mais vigor quando se trata das avaliações globais (iniciais), uma vez que, devido a problemas relacionados com a logística de deslocamento dos avaliadores, pessoas do próprio Estado e município atuam com frequência nos processos de reavaliação. Quanto à capacitação dos avaliadores, para o UNICEF e a OMS (2010)¹³ as estratégias de treinamento podem variar de país para país, a depender da experiência acumulada pelos avaliadores e do tempo e/ou apoio disponível para as sessões de treinamento que antecedem à avaliação. O avaliador mais experiente é escolhido para ser o chefe da equipe de avaliação, podendo haver avaliadores menos experientes na equipe, ou seja, sem experiência anterior na condução de avaliações da IHAC, desde que acompanhados de colegas com conhecimentos técnicos necessários ao exercício da função.

A necessidade de recrutar avaliadores que tenham experiência com a assistência maternoinfantil parece inquestionável. Quanto ao processo de qualificação dos avaliadores, a carência maior recai sobre a formação continuada, que deveria ensejar a realização de cursos e encontros para atualização e aprofundamento dos conhecimentos.

As diretrizes originais para a seleção da amostra para avaliação da IHAC recomendavam entrevistas com dez componentes do corpo clínico da maternidade, dez mães de parto normal, cinco mães de parto cesáreo, cinco mães com bebê nas unidades de terapia intensiva e de cuidados intermediários e dez gestantes. Com a revisão dos instrumentos de avaliação em 2004-2005, foram incluídos funcionários da equipe não clínica, permanecendo, porém o mesmo número de entrevistados, apesar de ser reconhecido que metodologicamente o tamanho das amostras estabelecidas era insuficiente para assegurar resultados significantes.

Esta deliberação teve como argumento o fato de que amostras maiores exigiriam muito mais recursos e tempo. Todavia, experiências em outros países, corroboraram ser vantajoso entrevistar amostras maiores quando os recursos e o tempo assim permitissem, uma vez que amostras maiores aumentam a probabilidade de que os resultados indiquem com precisão se um hospital está realmente implementando os Dez Passos.¹³ Desta forma, os formulários de resumo do instrumento de avaliação da IHAC permitem que sejam coletados e registrados dados de até 30 entrevistados do corpo clínico, 30 mães, 10 funcionários da equipe não clínica, 10 mães com bebês em unidade de cuidados intermediários e terapia intensiva e 20 gestantes. A observação tem demonstrado que a utilização de amostras maiores não tem sido implementada em grande parte das avaliações realizadas devido a problemas relacionados com a disponibilidade de tempo e de avaliadores.

Os instrumentos de coleta de dados, de acordo com Alexandre e Coluci,²⁴ deveriam garantir indicadores confiáveis e, para tal, necessitariam de alguns atributos como a validade, a confiabilidade, a praticabilidade, a sensibilidade e a responsividade. Para estes autores, os dois atributos mais relevantes são a validade e a confiabilidade. A validade verifica se o instrumento mede exatamente o que se propõe medir, ou seja, avalia a capacidade de um instrumento medir com precisão o fenômeno a ser estudado. Já a confiabilidade é a capacidade em reproduzir um resultado de forma consistente no tempo e no espaço, ou com diferentes observadores. Diante do que foi exposto pelos respondentes, o instrumento da IHAC carece aperfeiçoar estes atributos. Quanto às perguntas pouco claras referidas pelos avaliadores, estão relacionadas à confiabilidade e validade do instrumento. Já as perguntas repetidas têm a ver com a praticidade, uma vez que se refere aos aspectos práticos da utilização dos instrumentos, ou seja, à facilidade, o tempo de administração e a interpretação dos resultados.

No que diz respeito à inadequação das perguntas do instrumento de avaliação da IHAC à linguagem culturalmente dominante nas diferentes regiões do país, certamente precisa tornar-se inteligível aos diversos tipos de entrevistados para não comprometer a avaliação. Todavia, é necessário o conhecimento profundo do instrumento de avaliação pelo avaliador, com uma leitura detalhada do questionário antes de sua aplicação para permitir uma melhor adaptação das perguntas às diversidades regionais.

Furtado²⁵ referem que o avaliador, durante um processo avaliativo, deve ser adaptável, flexível, assumir uma posição compreensiva, além de ter a capacidade para explorar respostas atípicas ou idiossincráticas, o que garantirá a superação de algumas limitações impostas por métodos baseados em questionários estruturados, possibilitando a coleta de dados adicionais.

As evidências científicas apontam que os Dez Passos para o Sucesso do Aleitamento Materno como premissa básica da IHAC continua sendo válida²⁶ o que corrobora para demonstrar que as dificuldades relatadas neste estudo não estão na base teórica da IHAC, mas sim na estratégia de aplicação do processo avaliativo.

Considerações finais

O estudo identificou que os avaliadores pesquisados possuem nível de instrução superior e que em sua maioria são do sexo feminino, possuem idade média de 51 anos e residem e trabalham principalmente nas Regiões Nordeste e Sudeste do país. Predominam entre eles os médicos e enfermeiros, tendo todos cumprido o esquema de capacitação em aleitamento materno recomendado pela IHAC, o que inclui a habilitação para conduzir o processo de avaliação. Atuam em média como avaliadores há dez anos, já avaliaram em média 12,5 hospitais, participando tanto de avaliações globais quanto de reavaliações, e apresentam um período de tempo transcorrido desde a última avaliação de no máximo 24 meses. Este perfil, portanto, demonstra ser este um grupo com conhecimentos e experiências acumuladas sobre o objeto do estudo em questão e, portanto, a princípio, em condições de opinar com propriedade sobre ele.

Prevalece o entendimento de que os dados obtidos no processo avaliativo da IHAC são parcialmente confiáveis e não refletem plenamente a realidade dos hospitais avaliados. Dos fatores apontados como sendo os que mais frequentemente interferem na confiabilidade, o despreparo do avaliador foi citado por 62% dos respondentes, os quais destacaram a contradição entre o perfil exigido pela IHAC para se exercer a função de avaliador e aquele apresentado por muitos dos selecionados. Detectam como evidências deste despreparo a inabilidade de reformular perguntas, o pouco domínio sobre o instrumento de avaliação e o envolvimento laboral do avaliador com a direção e com o corpo clínico das unidades avaliadas.

Quanto às deficiências encontradas no instrumento de avaliação, informam que o mesmo apresenta perguntas pouco claras, repetidas e não adaptadas à cultura e à linguagem da região, sobretudo no que toca ao instrumento para entrevistas das puérperas do alojamento conjunto e de profissionais do corpo clínico. É criticado ainda o reduzido tamanho da amostra de entrevistados, sobretudo para puérperas de parto cesariano em maternidades de alto risco, onde a taxa de ocorrência da modalidade é mais elevada. A exigência exagerada dos pontos chave aparece como um dos aspectos que fragilizam o instrumento.

A respeito dos pontos fortes e fracos dos instrumentos predomina o dissenso, embora tenha sido possível identificar como sendo o aspecto positivo alvo de maior consenso o fato de permitirem a abordagem de tópicos importantes para o conhecimento das práticas hospitalares em relação ao aleitamento materno. Por outro lado, foram percebidos como pontos mais fracos dos instrumentos a extensão dos formulários e a linguagem confusa e nada coloquial utilizadas nas perguntas.

Por fim, a questão relativa à comunicação prévia do hospital acerca da data da avaliação dividiu ao meio as opiniões dos avaliadores, uma vez que 48% deles opinou no sentido de que a mesma não deveria ocorrer com a antecedência de meses com que é anunciada hoje, devendo reduzir-se a dias.

Parece clara a necessidade de proceder-se a uma revisão do instrumento de avaliação adaptando-o à realidade brasileira, contando-se para tanto com ampla participação dos avaliadores e com representação dos profissionais e dos usuários das unidades avaliadas.

Do mesmo modo não parece haver dúvida de que uma seleção mais rigorosa dos avaliadores, no que diz respeito ao perfil técnico e psicológico, se impõe. Considera-se, no entanto, que esta recomendação só será factível na medida em que se disponha de um expressivo número de interessados devendo ser acompanhada de iniciativas que promovam a educação continuada dos avaliadores, a exemplo dos encontros periódicos para discutir dificuldades do processo avaliativo e para realizar reciclagens. Além disso, são necessárias estratégias para motivar o avaliador, de maneira que ele possa disponibilizar mais tempo para exercer sua função.

Ressalta-se a necessidade de suporte e apoio logísticos mais adequados para realização das avaliações, sobretudo no que se refere à solicitação oficial, a ser feita pela IHAC para liberação do avaliador por parte da sua instituição de origem, o que provavelmente deverá produzir efeitos positivos neste processo.

Referências

• ¹
  Lamberti LM, Fischer Walker CL, Noiman A, Victora C, Black RE. Breastfeeding and the risk for diarrhea morbidity and mortality. BMC Public Health. 2011;11(Suppl 3):S15.
• ²
  Escuder MML, Venancio SI, Pereira JCR. Estimativa de impacto da amamentação sobre a mortalidade infantil. Rev Saúde Púlblica. 2003;87:319-25.
• ³
  Huffman SL, Zehner ER, Victora C. Can improvements in breast-feeding practices reduce neonatal mortality in developing countries? Midwifery. 2001; 17:80-92.
• ⁴
  Betran AP, Onis M, Lauer JA, Villar J. Ecological study of efect of breast feeding on infant mortality in Latin America. BMJ. 2001;323:1-5.
• ⁵
  Victora CG, Smith PG, Vaughan JP, Nobre LC, Lombardi C, Teixeira AM, Fuchs SM, Moreira LB, Gigante LP, Barros FC. Evidence for protection by breast-feeding against infant deaths from infectious diseases in Brazil. Lancet. 1987;2:319-22.
• ⁶
  Jones G, Steketee RW, Black RE, Bhutta ZA, Morris SS, Bellagio Child Survival Study Group. How many child deaths can we prevent this year? Lancet. 2003; 362: 65-71.
• ⁷
  Toma TS, Venâncio SI, Rea MF. Iniciativa Hospital Amigo da Criança: uma reflexão sobre processos educativos para implantação de práticas apropriadas de atenção a mães e recém-nascidos de São Paulo. Bol Inst Saúde. 2009;48:55-60.
• ⁸
  OPAS/OMS (Organização Pan-Americana de Saúde/Organização Mundial da Saúde). Evidências científicas dos dez passos para o sucesso do aleitamento materno. Brasília, DF; 2001.
• ⁹
  WHO/UNICEF (World Health Organization/United Nation Children's Fund). Protecting, promoting and supporting breastfeeding: the special role of maternity services. Geneva, 1989.
• ¹⁰
  Brasil. Ministério da Saúde. Iniciativa Hospital Amigo da Criança. [relatório on line] . 2011 [acesso em 10 ago 2011]. Disponível em: <http://bvsms.saúde.gov.br/pdf
  » http://bvsms.saúde.gov.br/pdf
• ¹¹
  Sampaio PF, Moraes CL, Reichenheim ME, Oliveira ASD, Lobato G. Nascer em Hospital Amigo da Criança no Rio de Janeiro, Brasil: um fator de proteção ao aleitamento materno? Cad Saúde Pública. 2011;27:1349-61.
• ¹²
  Venancio SI, Escuder MML, Kitoko P, Rea MF, Monteiro CA. Frequência e determinantes do aleitamento materno em municípios do Estado de São Paulo. Rev Saúde Pública. 2002;36:313-8.
• ¹³
  UNICEF/OMS (United Nation Children's Fund/Organização Mundial da Saúde). Iniciativa Hospital Amigo da Criança: revista, atualizada e ampliada para o cuidado integrado. Módulo 5:Avaliação e Reavaliação Externa. Brasília, DF; 2010.
• ¹⁴
  Caldeira A, Gonçalves E. Avaliação de impacto da implantação da Iniciativa Hospital Amigo da Criança. Arch Pediatr Urug. 2009; 80: 144-9.
• ¹⁵
  Lamounier JA, Bouzada MCF, Janneu MAS, Maranhão AGK, Araújo MFM, Vieira GO, Vieira TO. Iniciativa Hospital Amigo da Criança, mais de uma década no Brasil: repensando o futuro. Rev Paul Pediatr. 2008; 26: 161-9.
• ¹⁶
  Labbok MH. Aleitamento materno e a iniciativa hospital amigo da criança: mais importante e com mais evidências do que nunca. J Pediatr. 2007; 83: 99-101.
• ¹⁷
  Braun ML, Giugliani ERJ, Soares MEM, Giugliani C, Oliveira AP, Danelon CMM. Evaluation of the impact of the baby-friendly hospital initiative on rates of breastfeeding. Am J Public Health. 2003;93:1277-9.
• ¹⁸
  Ala-Harja M, Helgason S. Em direção às melhores práticas de avaliação. Rev Serv Público. 2000;51:5-60.
• ¹⁹
  Vasconcellos L, Guedes LFA. E-Surveys: Vantagens e limitações dos questionários eletrônicos via internet no contexto da pesquisa científica [In: X SemeAd - Seminário em administração FEA/USP] 2007. [acesso em 18 jan 2011]. Disponível em: htpp://www.ead.fea.usp.br/semead/10semead
  » htpp://www.ead.fea.usp.br/semead/10semead
• ²⁰
  Lopes LG. Nas redes do conceito de gênero. In: Lopes MJM, Meyer DE, Org. Gênero e Saúde. Rio Grande do Sul: Ed. Artes Médicas; 1996.
• ²¹
  Brym RJ, Lue J, Hamlin CL, Mutzenberg R, Soares EV, Maior HPS. Sexualidade e Gênero. In: Brym RJ, Lue J, Hamlin CL, Mutzenberg R, Soares EV, Maior HPS. Sociologia: sua bússola para um novo mundo. São Paulo: Cengage Learning; 2009. p. 247-84.
• ²²
  Scavone L. O trabalho das mulheres pela saúde: cuidar, curar, agir. In. Villela W, Monteiro S, Org. Programa Saúde da Família em questão. Rio de Janeiro: Abrasco; 2005. p. 101-11.
• ²³
  Brasil. Ministério da Saúde. Secretária de Atenção à Saúde. Portaria nº 80, de 24 de fevereiro de 2011. Brasília, DF; 2011.
• ²⁴
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Coletiva. 2011;16:3061-8.
• ²⁵
  Furtado JP. Um método avaliação construtivista para em saúde. Ciênc Saúde Coletiva. 2001;6:165-81.
• ²⁶
  Figueredo SF, Mattar MJG, Abrão ACFV. Iniciativa Hospital Amigo da Criança - uma política de promoção, proteção e apoio ao aleitamento materno. Acta Paul Enferm. 2012; 25(3):459-63.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2013

Histórico

• Recebido
  27 Mar 2013
• Revisado
  04 Jul 2013
• Aceito
  18 Set 2013