Avaliação da vigilância do óbito infantil: estudo de caso

Resumo

Objetivos:

avaliar a implantação da vigilância do óbito infantil no Recife/PE.

Métodos:

realizou-se pesquisa avaliativa do tipo análise de implantação da vigilância do óbito infantil. Estudo de caso único que relacionou o grau de implantação aos indicadores de resultados da estratégia. Foi elaborado um modelo lógico da intervenção e uma matriz de indicadores e julgamento por componente do modelo. O grau de implantação foi obtido a partir de indicadores de estrutura e processo e, posteriormente, relacionado aos de resultado, em uma abordagem dedutiva baseada na teoria da intervenção.

Resultados:

a abordagem estrutura apresentou resultados superiores ao processo em todos os componentes. A vigilância do óbito infantil foi considerada parcialmente implantada (75,7%), entretanto, os componentes 'identificação dos óbitos' (85,7%), 'investigação epidemiológica' (88,1%) e 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' (95,8%) foram julgados implantados. Quanto à relação do grau de implantação da intervenção e seus resultados com o modelo lógico, apenas um dos 17 indicadores foi considerado inconsistente.

Conclusões:

a vigilância do óbito infantil foi classificada como parcialmente implantada. O modelo desta estratégia e a sua avaliação mostraram-se adequados ao assinalar a consistência das inter-relações entre as atividades propostas e os efeitos esperados, passíveis de reprodutibilidade em outros cenários.

Palavras-chave
Mortalidade infantil; Vigilância epidemiológica; Avaliação em saúde

Abstract

Objectives:

assess the implementation of child mortality surveillance in Recife/PE.

Methods:

an analytical evaluative study was conducted on its implementation. It was a single-case study that correlated degree of implementation with the of the result indicators surveillance. A logic model on this strategy and a matrix of indicators and judgments according to model components were drawn up. The degree of implementation was obtained from structure and process indicators and this was then correlated with result indicators, in a deductive approach based on intervention theory.

Results:

the structure approach presented superior results to the process in all evaluated components. This strategy was considered to have been partially implemented (75. 7%), however, the components of 'identification of deaths' (85.7%), 'epidemiological research' (88.1%) and 'referral of proposals for promotion and health care and correction of official statistics' (95.8%) were classified implemented. Regarding the relation of the degree of implantation of the surveillance and its results with the logical model, only one of the 17 indicators was considered inconsistent.

Conclusions:

this strategy was considered to have been partially implemented. The model of child mortality surveillance and its assessment were shown to be adequate for signaling the consistency of the interrelations between the activities proposed and the effects expected, and would be reproducible within other scenarios.

Key words
Infant mortality; Epidemiological surveillance; Health evaluation

Introdução

O óbito infantil representa um evento sentinela da qualidade da atenção à saúde, pois são mortes precoces e, em maior parte, evitáveis.¹ Diante da elevada magnitude e transcendência da mortalidade infantil, a Organização das Nações Unidas, em 2000, estabeleceu nos Objetivos de Desenvolvimento do Milênio a redução desses óbitos em 2/3 até 2015.² O Brasil alcançou esta meta em 2012, entretanto, apesar dos esforços, alguns países não atingiram, sendo repactuada, para os Objetivos de Desenvolvimento Sustentável, até 2030.^3,4

Várias nações reconhecendo a necessidade de associar ao perfil epidemiológico de mortalidade avaliações sobre a qualidade do atendimento prestado às mulheres e às crianças no seu percurso de atenção à saúde, têm aperfeiçoado estratégias que possibilitem maior compreensão dos determinantes sociais e assistenciais das mortes, entre eles a vigilância do óbito.^5,6

Nos processos de auditoria e investigação sobre as mortes infantis, há experiências internacionais com diversas configurações decorrentes da disponibilidade de informações e da oferta de serviços de saúde mais ou menos complexos.^5,7,8 A investigação dos óbitos possibilita analisar as circunstâncias que contibuíram para sua ocorrência e informar aos gestores e interessados para agir em vários níveis do sistema de saúde, melhorando o acesso aos serviços e à qualidade dos cuidados durante a gravidez, parto, nascimento e acompanhamento de mulheres e crianças.^5,7,8

No Brasil, estratégia semelhante foi implantada pelo Ministério da Saúde (MS) em 2010, com a publicação da base normativa da Vigilância do Óbito Infantil e Fetal,⁹ embora, iniciativas de municípios e estados com diferentes conformações existam há alguns anos.^10-15

No Recife, desde 2003, a vigilância do óbito infantil foi implantada para investigar e discutir todos os óbitos infantis (exceto os ocorridos por malformações congênitas) de mães residentes no território. A discussão dos casos é realizada com a participação de profissionais da assistência, vigilância e gestão, com a finalidade de identificar as mortes evitáveis por ações do setor saúde, usar a informação para a reflexão, planejamento e adoção de medidas voltadas à redução da mortalidade infantil.¹⁰

As avaliações sobre esta vigilância no país reconhecem a estratégia como ferramenta de gestão, capaz de proporcionar informações para as equipes de saúde, gerando consciência crítica sobre o cuidado ofertado além de favorecer o aprimoramento dos sistemas de informação.^11,16,17 Adicionalmente, possibilita o planejamento de intervenções direcionadas aos principais problemas e às barreiras assistenciais do sistema de saúde contribuindo para redução de mortes evitáveis e das iniquidades.⁶ Devido as suas potencialidades a vigilância do óbito gera particular interesse para o monitoramento de ações com vistas ao cumprimento dos Objetivos de Desenvolvimento Sustentável.^2,3

Apesar da relevância e alcance nacional da vigilância do óbito infantil e das orientações adotadas por municípios e estados brasileiros, não são encontradas publicações que permitam avaliar a implantação da estratégia no país. A realização de um estudo de caso, com elevado potencial de validade interna, possibilita reflexões relevantes para os gestores, técnicos e pesquisadores. O objetivo desta pesquisa é avaliar a implantação da vigilância do óbito infantil em uma capital do Nordeste brasileiro.

Métodos

Pesquisa avaliativa do tipo análise de implantação da vigilância do óbito infantil, tendo como estratégia metodológica o estudo de caso único que relacionou o grau de implantação aos indicadores de resultados da intervenção na cidade de Recife,^18,19 situada no Nordeste do Brasil, é capital do Estado de Pernambuco e tem a quarta concentração urbana do país. Abrange 218,5 km² e uma população estimada pelo Instituto Brasileiro de Geográfica e Estatística de 1.617.260 habitantes (2015).²⁰ A rede de assistência à saúde materno e infantil é composta por 17 maternidades, 275 Equipes de Saúde da Família (cobertura de 60%), 21 Núcleos de Apoio a Saúde da Família, 22 Centros de Saúde e 12 policlínicas.

Inicialmente foi elaborado o modelo lógico da intervenção, com o intuito de explicitar como os componentes se articulam por meio de atividades e recursos disponíveis a fim de alcançar os resultados esperados. Para tal, foram utilizados os seguintes documentos: projeto de implantação da vigilância do óbito infantil;²¹ Portaria MS N° 116/2009 que regulamenta a coleta de dados, fluxo e periodicidade de envio das informações sobre óbitos e nascidos vivos para os sistemas de informações; Portaria MS N° 72/2010 que institui a obrigatoriedade da vigilância do óbito infantil e fetal; manual de vigilância do óbito infantil e fetal e do comitê de prevenção do óbito infantil e fetal.²² Os componentes da intervenção elencados foram: 'identificação dos óbitos', 'investigação epidemiológica', 'discussão dos óbitos', 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' (Figura 1).

Figura 1
Modelo lógico da vigilância do óbito infantil no Recife.

Construiu-se uma matriz de indicadores e julgamento por componente do modelo lógico relacionados às abordagens (estrutura, processo e resultado). Para cada indicador foi estabelecido um parâmetro baseado nos instrumentos legais supracitados. Para os não normatizados foram definidos em consonância com a rotina do serviço do município que dispõe de estrutura organizacional estabelecida e territorializada, e desenvolve a ação de forma perene há mais de dez anos. As pontuações 1; 0,75; 0,5; 0,25 e 0 foram estabelecidas com o intuito de julgar os valores encontrados para cada indicador (Tabela 1).

Tabela 1
Matriz de indicadores e parâmetros por componentes e abordagens da vigilância do óbito infantil no Recife.

Componentes	Abordagem	Indicadores	Parâmetros
Identificação dos óbitos	Estrutura	Transporte disponível para realização das atividades do SIM	80 a 100%
		Técnico com competência para realização da retroalimentação das DO	Sim
		Capacidade de processamento dos computadores utilizados nas atividades do SIM	Acima de 2 núcleos
		Velocidade da internet instalada no NC	Acima de 15 Mbps
		Impressora ou copiadora disponível para realizar as atividades do SIM	80 a 100%
		Disponibilidade de papel para realizar as atividades do SIM	80 a 100%
		Técnico com competência para realizar a triagem das DO infantis	Sim
		Número de técnicos responsáveis pela VOI no NC	No mínimo 2 técnicos
		Transporte disponível para realização das atividades da VOI no NC	80 a 100%
		Número de técnicos responsáveis pela VOI no DS	No mínimo 1 técnico
		Responsáveis pela VOI no DS participaram de capacitações, treinamentos, palestras, cursos ou sensibilizações sobre esta vigilância	Sim
		Quantidade suficiente do formulário específico para validação do endereço de residência no DS	Sim
	Processo	Regularidade da coleta de DO	52 SE
		Regularidade da digitação das DO infantis	52 SE
		Mediana de dias entre a ocorrência do óbito e a notificação a vigilância epidemiológica do NC	2 dias
		% de óbitos com a DN correspondente localizada no Sinasc	80 a 100%
		Regularidade do envio das cópias das DO e DN para os DS	52 SE
		Mediana de dias entre a ocorrência do óbito e a notificação ao DS	2 dias
		Utilização do formulário de validação de endereço para a confirmação da residência da mãe	Sim
		% de profissionais da ESF que realizam a validação do endereço de residência dos óbitos	80 a 100%
		% de profissionais do PACS que realizam a validação do endereço de residência dos óbitos	80 a 100%
	Resultado	Cobertura do SIM	80 a 100%
		Cobertura dos óbitos de mães residentes no Recife	80 a 100%
		% de óbitos com o endereço de residência validados	80 a 100%
Investigação epidemiológica	Estrutura	Responsáveis pela VOI no NC participaram de capacitações, treinamentos, palestras, cursos ou sensibilizações sobre esta vigilância	Sim
		Quantidade suficiente da ficha confidencial de investigação do óbito no DS	Sim
		Transporte disponível para a realização das atividades da VOI no DS	80 a 100%
		% de profissionais da Equipe da ESF capacitados para a VOI	80 a 100%
		% de profissionais do PACS capacitados para a VOI	80 a 100%
		% de NEH capacitados na investigação hospitalar dos óbitos	80 a 100%
		% de técnicos responsáveis pela VOI no NC com competência para a realização da investigação dos óbitos nos serviços de necropsia	80 a 100%
	Processo	Utilização da ficha confidencial de investigação do óbito	Sim
		% de equipes da ESF que realizam investigação domiciliar dos óbitos	80 a 100%
		% de equipes da ESF que realizam investigação ambulatorial dos óbitos	80 a 100%
		% de equipes do PACS que realizam investigação domiciliar dos óbitos	80 a 100%
		% de equipes do PACS que realizam investigação ambulatorial dos óbitos	80 a 100%
		% dos NEH que estão enviando a investigação hospitalar dos óbitos ocorridos no seu estabelecimento	80 a 100%
		% de óbitos com as fichas de investigação hospitalar enviadas pelos NEH	80 a 100%
		% de NEH que facilitam o acesso aos prontuários para investigação	80 a 100%
		% de óbitos com investigação domiciliar adequada	80 a 100%
		% de óbitos com investigação no estabelecimento de atenção à saúde do pré-natal adequada	80 a 100%
		% de óbitos com investigação na maternidade que a gestante foi atendida para a atenção ao parto adequada	80 a 100%
		% de óbitos com a investigação nos estabelecimentos onde a criança foi atendida adequada	80 a 100%
		% de óbitos com a investigação no estabelecimento de atenção à saúde onde ocorreu o óbito adequada	80 a 100%
		% de óbitos com a investigação nos serviços de necropsia realizada	80 a 100%
	Resultado	% de óbitos com a investigação domiciliar, ambulatorial, hospitalar e nos serviços de necropsia concluída	80 a 100%
		% de óbitos com todas as dimensões da ficha de investigação preenchidas	80 a 100%
		Adequação do preenchimento da ficha confidencial de investigação do óbito	80 a 100%
Discussão dos óbitos	Estrutura	Computador disponível para a realização das atividades da VOI no DS	80 a 100%
		Impressora ou copiadora disponível para realizar as atividades da VOI no DS	80 a 100%
		Disponibilidade de papel para realizar as atividades da VOI no DS	80 a 100%
		Telefone/fax disponível para realizar as atividades da VOI no DS	80 a 100%
		Velocidade da internet instalada no DS	Acima de 15 Mbps
		Quantidade suficiente da ficha síntese do óbito no DS	Sim
		Sala para realização da reunião de discussão do óbito	80 a 100%
	Processo	Registro oficial (ata) das reuniões de discussão dos óbitos realizados	Sim
		Alternativa utilizada para documentar as reuniões de discussão dos óbitos	Ata
		% de óbitos com os resumos para a discussão elaborados	80 a 100%
		Convocação do Grupo Técnico-Gestor para a discussão do óbito por comunicação interna	Sim
		% de discussões com a participação do médico da equipe da ESF	80 a 100%
		% de discussões com a participação do enfermeiro da equipe da ESF	80 a 100%
		% de discussões com a participação do ACS da equipe da ESF	80 a 100%
		% de discussões com a participação do enfermeiro do PACS	80 a 100%
		% de discussões com a participação do ACS do PACS	80 a 100%
		% de discussões com a participação de representante do ambulatório envolvido na atenção	80 a 100%
		% de discussões com a participação de representante dos hospitais envolvidos na atenção à gestante e à criança	80 a 100%
		% de discussões com a participação de representante do estabelecimento de saúde onde ocorreu o óbito	80 a 100%
		% de discussões com a participação dos gestores/técnicos da vigilância à saúde do DS	80 a 100%
		% de discussões com a participação dos gestores/técnicos da vigilância à saúde do NC	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de saúde da criança do DS	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de saúde da criança do NC	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de saúde da mulher do DS	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de saúde da mulher do NC	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de atenção primária do DS	80 a 100%
		% de discussões com a participação dos gestores/técnicos da política de atenção primária do NC	80 a 100%
		% de discussões com a participação do gerente do DS	80 a 100%
		Utilização da ficha síntese para a conclusão do óbito após a discussão do caso	Sim
		% de óbitos com a ficha síntese preenchida	80 a 100%
		% de óbitos com medidas de promoção e atenção à saúde para não ocorrência de mortes semelhantes identificadas	80 a 100%
		% de óbitos com a evitabilidade classificada	80 a 100%
		% de óbitos que foram solicitados alterações na DN/Sinasc após a discussão do	80 a 100%
		Grupo Técnico-Gestor	80 a 100%
	Resultado	% de óbitos que foram solicitados alterações nas causas do óbito/SIM após a discussão do Grupo Técnico-Gestor	80 a 100%
		% de óbitos que foram solicitados alterações nas outras variáveis da DO/SIM após a discussão do Grupo Técnico-Gestor	80 a 100%
		% de óbitos discutido no Grupo Técnico-Gestor ampliado	80 a 100%
		% de óbitos discutido no Grupo Técnico-Gestor restrito	<20%
		% de óbitos discutido no Grupo Técnico-Gestor (ampliado + restrito)	80 a 100%
		% de óbitos investigados e discutidos no Grupo Técnico-Gestor em tempo hábil	80 a 100%
		Tempo médio entre a data do óbito e o encerramento da discussão do caso	<120 dias
Encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais	Estrutura	Digitador no NC com competência para realizar as correções proposta pelo Grupo Técnico-Gestor nos bancos de dados do Sinasc e SIM	Sim
		% de fichas síntese enviadas do DS para o NC	80 a 100%
		Técnico responsável pela VOI no NC com competência para digitar a ficha síntese no SIM-Web	Sim
	Processo	% de óbitos que foram alterados no banco do Sinasc após discussão do Grupo Técnico-Gestor	80 a 100%
		% de óbitos com alteração das causas do óbito no SIM após discussão do Grupo Técnico-Gestor	80 a 100%
		% de óbitos com alteração nas outras variáveis do SIM após discussão do Grupo Técnico-Gestor	80 a 100%
	Resultado	% de óbitos discutidos com relatório da discussão elaborado e enviado	80 a 100%
		% de completitude das variáveis, dos óbitos, no Sinasc	90 a 100%
		% de óbitos com causa básica definida	95 a 100%
		% de completitude das variáveis dos óbitos no SIM	90 a 100%
		% de óbitos com registro nas causas do óbito de DNC informados para a vigilância epidemiológica do NC	80 a 100%
		% de óbitos com a ficha síntese digitada no SIM-Web	80 a 100%

• Parâmetro/pontuação do grau de implantação:
  - Resultados em proporção 80-100%=1; 60-79%=0,75; 40-59%=0,5; 20-39%=0,25 e <20%=0.
  - Sim=1 ou Não=0.
  - Capacidade do computador: acima de 2 núcleos=1; de 1 a 2 Gigahertz (GHz) com 2 núcleos=0,75; de 1 a 2 GHz com 1 núcleo=0,5; até 1 GHz com 2 núcleos=0,25; até 1 GHz com 1 núcleo=0.
  - Capacidade da internet: acima de 15 Megabites por segundo (Mbps)=1; de 11 a 15 Mbps=0,75; de 6 a 10 Mbps=0,5; de 1 a 5 Mbps=0,25; menos de 1 Mbps=0.
  - Registro da reunião Ata=1 ou outro documento=0
  DO= declarações de óbito; DN= declarações de nascidos vivos; DS= distrito sanitário; NC= nível central; SIM= Sistema de Informação sobre Mortalidade; NEH= núcleo de epidemiologia hospitalar; ESF= estratégia de saúde da família; PACS= Programa de Agentes Comunitários de Saúde; VOI= vigilância do óbito infantil; Sinasc= Sistema de Informação sobre Nascidos Vivos.

Os dados foram coletados no período de julho a dezembro de 2015, por meio de observação direta e aplicação de questionário contendo perguntas fechadas e abertas, com os responsáveis pela vigilância do óbito infantil e Sistema de Informação sobre Mortalidade (SIM) da Secretaria Municipal de Saúde e dos Núcleos de Epidemiologia Hospitalar (NEH) da Secretaria Estadual de Saúde.

Foram consultados dados de 2014 do SIM, inclusive a versão Web; Sistema de Informação sobre Nascidos Vivos (Sinasc); sistema municipal de distribuição e controle das declarações de óbito (DO); painel de monitoramento da vigilância do óbito infantil; protocolo de envio das DO e declarações de nascidos vivos (DN) para os distritos sanitários (DS); ficha de investigação e síntese dos óbitos infantis e as planilhas de coleta das DO nos estabelecimentos de saúde e serviços de necropsia, dos óbitos por doença de notificação compulsória (DNC) e de digitação dos óbitos.

Foram analisados 100 indicadores sendo 83 para definição do grau de implantação (estrutura e processo) e 17 de resultados. A pontuação máxima prevista foi de 100 pontos, distribuídos entre os quatro componentes: 'identificação dos óbitos' (10 pontos), 'investigação epidemiológica' (30), 'discussão dos óbitos' (40) e 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' (20).

Para o componente 'identificação dos óbitos' foi atribuída a menor pontuação por ser uma ação integrante do SIM, imprescindível para vigilância do óbito. Para o 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' também foi conferida menor pontuação por ter grande interface com o processo de discussão dos óbitos em que participam trabalhadores e gestores. As maiores pontuações foram atribuídas a 'investigação epidemiológica' e 'discussão dos óbitos', por se constituírem aspectos centrais da intervenção.

Para a abordagem "estrutura" foi definido peso de 30% e para "processo" 70%, valores atribuídos considerando que a avaliação realizou-se em município de grande porte com rede de serviços minimamente estruturada.

A classificação do grau de implantação da vigilância do óbito infantil, arbitrada pelos autores, foi fundamentada no tempo de existência e perenidade da intervenção, sendo aferida a partir dos indicadores da estrutura e processo e categorizada em: implantado (valores entre 80,0 a 100,0%), parcialmente implantado (60,0 a 79,9%) e não implantado (<60,0%).

Posteriormente o grau de implantação por componente e no seu conjunto foi confrontado com a teoria da intervenção, expressa no modelo lógico com os resultados empíricos encontrados em um processo dedutivo, assinalando a intensidade das relações em: consistente (grau de implantação e indicadores de resultados na mesma categoria de enquadramento), parcialmente consistente (grau de implantação e indicadores de resultados enquadrados na categoria imediatamente anterior ou posterior) e inconsistente (envolve a relação entre as categorias extremas do grau de implantação e os indicadores de resultados).^18,23 A análise do grau de implantação foi confrontado com cada indicador de resultado dos respectivos componentes.

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Centro de Pesquisas Aggeu Magalhães da Fundação Oswaldo Cruz (CAAE: 07336313.6.0000.5190). As entrevistas foram realizadas após assinatura do Termo de Consentimento Livre e Esclarecido.

Resultados

No universo dos indicadores referentes à estrutura todos os componentes da vigilância do óbito infantil apresentaram valores acima de 85%. No componente 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' todos os indicadores atingiram pontuação máxima do julgamento, enquanto que na 'discussão dos óbitos' alcançou-se 85,7% da pontuação esperada (Tabela 2).

Tabela 2
Matriz de indicadores e parâmetros por componentes e abordagens da vigilância do óbito infantil no Recife.

Componentes/Indicadores (n=29)	Valores encontrados	Julgamento
Identificação dos óbitos infantis (12 indicadores com peso 10)
Transporte disponível para realização das atividades do SIM	80 a 100%	1
Técnico com competência para realização da retroalimentação das DO	Sim	1
Capacidade de processamento dos computadores utilizados nas atividades do SIM	De 1 a 2 GHz com 2 núcleos	0,75
Velocidade da internet instalada no NC	De 11 a 15 Mbps	0,75
Impressora ou copiadora disponível para realizar as atividades do SIM	80 a 100%	1
Disponibilidade de papel para realizar as atividades do SIM	80 a 100%	1
Técnico com competência para realizar a triagem das DO infantis	Sim	1
Número de técnicos responsáveis pela VOI no NC	2 técnicos	1
Transporte disponível para realização das atividades da VOI no NC	80 a 100%	1
Número de técnicos responsáveis pela VOI no DS	1 técnico	1
Responsáveis pela VOI no DS realizaram capacitações, treinamentos, palestras, cursos ou sensibilizações sobre esta vigilância	Sim	1
Quantidade suficiente do formulário específico para validação do endereço de residência no DS	Sim	1
Pontos obtidos		11,5=95,8% (peso 10 = 115,00)
Investigação epidemiológica dos óbitos infantis (7 indicadores com peso 30)
Responsáveis pela VOI no NC realizaram capacitações, treinamentos, palestras, cursos ou sensibilizações sobre esta vigilância	Sim	1
Quantidade suficiente da ficha confidencial de investigação do óbito no DS	Sim	1
Transporte disponível para a realização das atividades da VOI no DS	60 a 79%	0,75
% de profissionais da Equipe da ESF capacitados para a VOI	80 a 100%	1
% de profissionais do PACS capacitados para a VOI	80 a 100%	1
% de NEH capacitados na investigação hospitalar dos óbitos	80 a 100%	1
% de técnicos responsáveis pela VOI no NC com competência para a realização da investigação dos óbitos nos serviços de necropsia	80 a 100%	1
Pontos obtidos		6,75=96,4% (peso 30=202,50)
Discussão dos óbitos infantis (7 indicadores com peso 40)
Computador disponível para a realização das atividades da VOI no DS	60 a 79%	0,75
Impressora ou copiadora disponível para realizar as atividades da VOI no DS	60 a 79%	0,75
Disponibilidade de papel para realizar as atividades da VOI no DS	80 a 100%	1
Telefone/fax disponível para realizar as atividades da VOI no DS	80 a 100%	1
Velocidade da internet instalada no DS	De 11 a 15 Mbps	0,75
Quantidade suficiente da ficha síntese do óbito no DS	Sim	1
Sala para realização da reunião de discussão do óbito	60 a 79%	0,75
Pontos obtidos		6=85,7% (peso 40=240,00)
Encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais (3 indicadores com peso 20)
Digitador no NC com competência para realizar as correções proposta pelo Grupo Técnico-Gestor nos bancos de dados do Sinasc e SIM	Sim	1
% de fichas síntese enviadas do DS para o NC	97,9%	1
Técnico responsável pela VOI no NC com competência para realizar a digitação da ficha síntese no SIM-Web	Sim	3=100,0% (peso 20=60,00)
Pontos obtidos		27,25
Total de pontos obtidos		(ponderado=6,18)
Resultado ponderado		92,2%

• DO= declarações de óbito; DN= declarações de nascidos vivos; DS= distrito sanitário; NC= nível central; SIM= Sistema de Informação sobre Mortalidade; NEH= núcleo de epidemiologia hospitalar; ESF= estratégia de saúde da família; PACS= Programa de Agentes Comunitários de Saúde; VOI= vigilância do óbito infantil; Sinasc= Sistema de Informação sobre Nascidos Vivos.

Em relação à abordagem processo apresentada na Tabela 3, o 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' foi o melhor avaliado (91,7%) e a 'discussão dos óbitos' foi o componente com valores menores (67,9%). Destes, cinco indicadores apresentaram pontuação zero: proporção de discussão com a participação de representantes do ambulatório e hospitais envolvidos na atenção, gestores/técnicos da política de saúde da mulher e da atenção primária do nível central (NC), e o gerente do DS. A abordagem estrutura apresentou resultados superiores ao processo em todos os componentes avaliados.

Tabela 3
Indicadores de processo da vigilância do óbito infantil por componentes segundo valores encontrados e julgamento. Recife, 2014.

Componentes/Indicadores (n=54)	Valores encontrados	Julgamento
Identificação dos óbitos infantis (9 indicadores com peso 10)
Regularidade da coleta de DO	98,1%	1
Regularidade da digitação de DO infantis	63,5%	0,75
Mediana de dias entre a ocorrência do óbito e a notificação a vigilância epidemiológica do NC	15 dias	0
% de óbitos com a DN correspondente localizada no Sinasc	94,3%	1
Regularidade do envio das cópias das DO e DN para os DS	73,1%	0,75
Mediana de dias entre a ocorrência do óbito e a notificação ao DS	37 dias	0
Utilização do formulário de validação de endereço para a confirmação da residência da mãe	Sim	1
% de profissionais da ESF que realizam a validação do endereço de residência dos óbitos	80 a 100%	1
% de profissionais do PACS que realizam a validação do endereço de residência dos óbitos	80 a 100%	1
Pontos obtidos		6,5=72,2% (peso 10=65,00)
Investigação epidemiológica dos óbitos infantis (14 indicadores com peso 30)
Utilização da ficha confidencial de investigação do óbito	Sim	1
% de equipes da ESF que realizam investigação domiciliar dos óbitos	80 a 100%	1
% de equipes da ESF que realizam investigação ambulatorial dos óbitos	80 a 100%	1
% de equipes do PACS que realizam investigação domiciliar dos óbitos	80 a 100%	1
% de equipes do PACS que realizam investigação ambulatorial dos óbitos	80 a 100%	1
% dos NEH que estão enviando a investigação hospitalar dos óbitos ocorridos no seu estabelecimento	57,1%	0,5
% de óbitos com as fichas de investigação hospitalar enviadas pelos NEH	55,1%	0,5
% de NEH que facilitam o acesso aos prontuários para investigação	80 a 100%	1
% de óbitos com investigação domiciliar adequada	71,7%	0,75
% de óbitos com a investigação no estabelecimento de atenção à saúde do pré-natal adequada	75,0%	0,75
% de óbitos com a investigação na maternidade onde a gestante foi atendida para o parto adequada	84,2%	1
% de óbitos com a investigação nos serviços de atenção à saúde onde a criança foi atendida adequada	66,7%	0,75
% de óbitos com a investigação no estabelecimento de atenção à saúde onde ocorreu o óbito adequada	96,7%	1
% de óbitos com a investigação nos serviços de necropsia realizada	55,6%	0,5
Pontos obtidos		11,75=83,9% (peso 30=352,50)
Discussão dos óbitos infantis (28 indicadores com peso 40)
Registro oficial (ata) das reuniões de discussão dos óbitos realizados	Sim	1
Alternativa utilizada para documentar as reuniões de discussão dos óbitos	Ata	1
% de óbitos com os resumos para a discussão elaborados	80 a 100%	1
Convocação do Grupo Técnico-Gestor para a discussão do óbito por comunicação interna	Sim	1
% de discussões com a participação do médico da equipe da ESF	20 a 39%	0,25
% de discussões com a participação do enfermeiro da equipe da ESF	80 a 100%	1
% de discussões com a participação do ACS da equipe da ESF	80 a 100%	1
% de discussões com a participação do enfermeiro do PACS	80 a 100%	1
% de discussões com a participação do ACS do PACS	80 a 100%	1
% de discussões com a participação de representantes do ambulatório envolvidos na atenção	<20%	0
% de discussões com a participação de representante dos hospitais envolvidos na atenção à gestante/ criança	<20%	0
% de discussões com a participação de representante do estabelecimento de saúde onde ocorreu o óbito	60 a 79%	0,75
% de discussões com a participação dos gestores/técnicos da vigilância à saúde do DS	80 a 100%	1
% de discussões com a participação dos gestores/técnicos da vigilância à saúde do NC	80 a 100%	1
% de discussões com a participação dos gestores/técnicos da política de saúde da criança do DS	80 a 100%	1
% de discussões com a participação dos gestores/técnicos da política de saúde da criança do NC	60 a 79%	0,75
% de discussões com a participação dos gestores/técnicos da política de saúde da mulher do DS	80 a 100%	1
% de discussões com a participação dos gestores/técnicos da política de saúde da mulher do NC	<20%	0
% de discussões com a participação dos gestores/técnicos da política de atenção primária do DS	80 a 100%	1
% de discussões com a participação dos gestores/técnicos da política de atenção primária do NC	<20%	0
% de discussões com a participação do gerente do DS	<20%	0
Utilização da ficha síntese para a conclusão do óbito após a discussão do caso	Sim	1
% de óbitos com a ficha síntese preenchida	96,5%	1
% óbitos com medidas de promoção/atenção à saúde para não ocorrência de mortes parecidas identificadas	59,5%	0,5
% de óbitos com a classificação da evitabilidade do óbito realizada	66,3%	0,75
% de óbitos que foram solicitados alterações na DN/Sinasc após discussão do Grupo Técnico-Gestor	20,4%	0,25
% óbitos com solicitação de alterações nas causas do óbito/SIM após discussão do Grupo Técnico-Gestor	56,6%	0,5
% óbitos com solicitação de alterações nas outras variáveis da DO após discussão do Grupo Técnico-Gestor	33,5%	0,25
Pontos obtidos		19=67,9% (peso 40=760,00)
Encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais (3 indicadores com peso 20)
% de óbitos que foram realizados alterações no banco do Sinasc após a discussão do Grupo Técnico-Gestor	62,0%	0,75
% óbitos com realização de alterações nas causas do óbito no SIM após discussão do Grupo Técnico-Gestor	86,0%	1
% óbitos com realização de alterações nas outras variáveis do SIM após discussão do Grupo Técnico-Gestor	93,0%	1
Pontos obtidoss		2,75=91,7% (peso 20=55,00)
Total de pontos obtidos		40 (ponderado=12,33)
Resultado ponderado		72,9%

• DO= declarações de óbito; DN= declarações de nascidos vivos; DS= distrito sanitário; NC= nível central; SIM= Sistema de Informação sobre Mortalidade; NEH= núcleo de epidemiologia hospitalar; ESF= estratégia de saúde da família; PACS= Programa de Agentes Comunitários de Saúde; VOI= vigilância do óbito infantil; Sinasc= Sistema de Informação sobre Nascidos Vivos.

Verificou-se que a vigilância do óbito infantil foi classificada como parcialmente implantada (75,7%). Entretanto, três componentes foram julgados implantados: 'identificação dos óbitos', 'investigação epidemiológica" e 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais', com 85,7%, 88,1% e 95,8%, respectivamente.

Na avaliação da relação do grau de implantação da vigilância do óbito infantil e seus resultados com o modelo lógico, dos 17 indicadores de resultado apenas um foi considerado inconsistente, 'proporção de óbitos infantis discutidos com relatório elaborado e enviado' (13,6%), o qual está vinculado ao componente 'encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais' (Figura 2).

Figura 2
Relação do grau de implantação dos componentes da vigilância do óbito infantil e seus resultados com o modelo lógico. Recife, 2014.

NC= nível central; SIM= Sistema de Informação sobre Mortalidade; Sinasc= Sistema de Informação sobre Nascidos Vivos.

Discussão

A vigilância do óbito infantil foi considerada parcialmente implantada, apesar de três componentes (identificação dos óbitos, investigação epidemiológica e encaminhamento das propostas de promoção e atenção à saúde e correção das estatísticas oficiais) serem classificados implantados. A 'discussão dos óbitos', componente que foi atribuído maior peso na avaliação, foi decisivo na definição do grau de implantação alcançado pela intervenção. Em adição, observou-se que os resultados empíricos obtidos pela vigilância do óbito foram compatíveis com seu grau de implantação.

A abordagem estrutura não foi considerada um problema para o funcionamento e realização das atividades da intervenção, apesar da deficiência de recursos ser citada em outros estudos como um obstáculo para uma ação mais produtiva.^11,24 No processo foram encontradas algumas dificuldades em indicadores de 'identificação' e 'discussão dos óbitos', todos relacionados ao não cumprimento do tempo hábil para notificação dos óbitos e a baixa participação de atores importantes para a discussão.

A identificação dos óbitos infantis ocorre com a notificação do caso, que deve ser realizada a partir do envio das DO pelos profissionais e serviços de saúde para as secretarias municipais de saúde em um prazo de 48 horas a contar da data da ocorrência, conforme recomendação.⁹ Este componente é condicionado pela qualidade do SIM, que vem sendo aperfeiçoado ao longo dos anos, cuja rotina antecede a investigação dos óbitos infantis.²⁵

A agilidade na informação e o início oportuno da investigação são fatores importantes para o sucesso da vigilância do óbito.²² No Brasil, o prazo para conclusão da investigação é de no máximo 120 dias a contar da data da ocorrência do óbito,⁹ enquanto no Reino Unido é de um mês após a notificação da morte.²⁶ O retardo neste processo interfere na contribuição da intervenção para evitar novas mortes e na apropriação da situação para melhoria da qualidade dos sistemas de informações de estatísticas vitais.

Neste estudo identificou-se que a quase totalidade (95,1%) dos óbitos infantis, exceto os ocorridos por malformação congênita, foi investigada, situação similar à encontrada no município de Londrina-Paraná (97% a 100%)¹⁵ e diferente de Arapiraca-Alagoas (54,3%).¹⁷ Ao se a analisar a proporção de óbitos investigados em estados brasileiros em geral é menor (21,3% Bahia e em São Paulo 57% das Gerências de Saúde investigaram todos os óbitos infantis).^11,14 Apesar disso, a qualidade do preenchimento das fichas ainda precisa ser aprimorada em especial no que se refere à investigação domiciliar, no estabelecimento de realização do pré-natal e de atenção à criança e nos serviços de necropsia. O desafio de melhorar a qualidade da investigação é imprescindível para que se reconstrua a cadeia de eventos que contribuíram para a ocorrência do óbito e uma melhor compreensão dos determinantes socioeconómicos, culturais e assistenciais.^5,11,17

Nas experiências nacionais e internacionais a discussão dos óbitos acontece no âmbito dos comitês por um grupo de experts das universidades, secretarias de saúde, conselhos de classe e organizações não governamentais.^11,27,28 O município estudado diferencia-se ao agregar, na discussão, os profissionais da assistência, vigilância e gestão. Entretanto, este foi o componente com menor grau de implantação.

A ausência de atores relevantes do sistema de saúde nas discussões dos óbitos interfere negativamente em uma das atividades mais importante desta estratégia. A presença nas discussões permite mudança nas atitudes e práticas assistenciais, com melhoria na formação de trabalhadores e gestores da saúde, e uma maior efetivação das recomendações. A participação em rodas de discussão e escutas horizontalizadas de grupos de profissionais e gestores que assumem diferentes posições refletindo os múltiplos papéis dos envolvidos com o óbito pode ajudar na busca de caminhos para superação dos obstáculos assistenciais e na oferta de cuidado adequado às necessidades das mulheres e das crianças. Estudo realizado em uma capital do Nordeste do Brasil sobre mortes infantis evitáveis e as barreiras assistenciais na atenção primária demonstraram compreensões conflituosas sobre o evento na dependência do posicionamento na rede de atenção à saúde ou se mãe da criança.²⁹

Entretanto, apesar das potencialidades da estratégia, pesquisa internacional sobre autópsia social dos óbitos maternos e infantis realizada em diversos países aponta a resistência dos profissionais de saúde em relatarem ou discutirem estas mortes por medo de serem responsabilizados ou penalizados.²⁷

As análises e estudos de cada óbito também tem auxiliado no aprimoramento dos sistemas de informação em saúde, porque, após as investigações, a equipe que discutiu o caso atribui, na maioria das vezes, novas causas básicas ao óbito infantil, e completa e/ou valida as variáveis da DN e DO,^{9,12,13,16,17} situação observada nesta avaliação. Ademais, o aperfeiçoamento dos sistemas de informação vital promove mudanças e ajustes no perfil de mortalidade infantil e uma maior possibilidade de planejamento adequado de ações para o seu enfrentamento.

Constatou-se uma baixa proporção de óbitos infantis com elaboração e envio do relatório com as proposições inerentes ao setor saúde às áreas responsáveis para as devidas providências. Estes relatórios servem como um panorama da qualidade da atenção à saúde materna e infantil para estimular as autoridades de saúde a agir.²⁷ Contudo, a discussão dos óbitos com os profissionais envolvidos na assistência possibilita mudanças de atitudes a partir da sua própria participação, uma vez que essas reuniões tem função educativa, reflexiva e propositiva, aspectos também constatados nas auditorias perinatais em outras regiões do mundo.²⁸ A experiência de Moldova, aponta que se todas as etapas desta estratégia forem devidamente executadas ocorrerá melhora na assistência prestada às gestantes e crianças, tendo por consequência a redução dos óbitos evitáveis.²⁸

A consistência entre os indicadores de resultado e o grau de implantação da vigilância do óbito infantil sinaliza que o modelo apresentado está adequado para a compreensão do seu nível de implantação e a situação de todas as atividades do caso estudado. Uma das vantagens de explicitar o modelo lógico de uma intervenção é a possibilidade de extrapolação para outros cenários. Além disso, contribui para o aperfeiçoamento da estratégia estudada ao delimitar com precisão seu objetivo, valorizar ações individuais e coletivas, e identificar atividades não planejadas para o alcance dos resultados esperados em uma perspectiva formativa, que fortalece aos múltiplos interessados nos seus atos e decisões.¹⁹

A fortaleza da estratégia do estudo está relacionada com a qualidade e complexidade da articulação lógica em que se baseou a pesquisa, e na plausibilidade das inter-relações entre as atividades e os resultados, garantindo maior validade interna.¹⁹ Entretanto, quanto à validade externa, constitui-se como limite a estrapolação dos resultados. O que é passível de estrapolação é o modelo lógico e não os resultados.²³

Conclui-se que a vigilância do óbito infantil não apresenta completa adesão às normas e diretrizes estabelecidas pelos documentos que a regulamentam, sendo identificados alguns aspectos com maior fragilidade, a serem considerados em intervenções direcionadas à melhoria desta estratégia. Para que se superem os desafios para o adequado funcionamento da vigilância do óbito é necessário que os saberes científicos, organizacionais e experienciais se articulem devidamente. A discussão de um óbito infantil é uma situação-problema de circunstância real, que leva à reflexão, para, na sequência, decodificá-la, reconhecê-la e desnaturalizá-la, assumindo particular importância em cenários de restrições orçamentárias e de direitos.³⁰

O modelo lógico da vigilância do óbito infantil e a sua avaliação mostraram-se adequados ao assinalar a consistência das inter-relações entre as atividades propostas e os efeitos esperados, sendo passível de reprodutibilidade em outros cenários. Esse tipo de avaliação desempenha um papel formativo ao identificar fragilidades e potencialidade da estratégia, e contribuir com gestores e técnicos a atuar de acordo com as necessidades.

References

• ¹
  Victora CG, Aquino EML, Leal MC, Monteiro CA, Barros FC, Szwarcwald CL. Maternal and child health in Brazil: progress and challenges. Lancet. 2011; 377 (9780): 186376.
• ²
  AbouZahr C, Savigny D, Mikkelsen L, Setel PW, Lozano R, Nichols E, Notzon F, Lopez A. Civil registration and vital statistics: progress in the data revolution for counting and accountability. Counting births and deaths 1. Series. Lancet. 2015 [acesso em out 2015]. Disponível em: http://dx.doi.org/10.1016/S0140-6736(15)60173-8
  » http://dx.doi.org/10.1016/S0140-6736(15)60173-8
• ³
  Grove J, Claeson M, Bryce J, Amouzou A, Boerma T, Waiswa P, Victora C on behalf the Kirkland Group. Maternal, newborn, and child health and the Sustainable Development Goals-a call for sustained and improved measurement. Lancet. 2015; 386 (10003): 1511-4.
• ⁴
  United Nations. 2015-time for global action for people and planet. New York: United Nations. 2015 [acesso em set 2015]. Disponível em: http://www.un.org/sustainabledevelopment
  » http://www.un.org/sustainabledevelopment
• ⁵
  Merali HS, Lipsitz S, Hevelone N, Gawande AA, Lashoher A, Agrawal P, Spector J. Audit-identified avoidable factors in maternal and perinatal deaths in low resource settings: a systematic review. BMC Pregnancy Childbirth. 2014; 14 (280): 1-12.
• ⁶
  Bamber JH, Kinsella SM. MBRRACE-UK - the new home for the Confidential Enquiries into Maternal Deaths - reports for the first time. Anaesthesia. 2015; 70 (1): 5-9.
• ⁷
  Shrestha S, Sharma A, Upadhyay S, Rijal P. Perinatal mortality audit. Nepal Med Coll J. 2010; 12 (4): 257-9.
• ⁸
  WHO (World Health Organization). Death reviews: maternal, perinatal and child. WHO. 2013 [acesso em 24 jan 2016]. Disponível em: http://www.who.int/pmnch/knowledge/publications/summaries/ks27/en/
  » http://www.who.int/pmnch/knowledge/publications/summaries/ks27/en/
• ⁹
  Brasil. Ministério da Saúde. Secretaria de Vigilância à Saúde. Portaria n° 72, de 11 de janeiro de 2010. Dispõe sobre a regulamentação da Vigilância de Óbitos Infantis e Fetais. Diário Oficial da União 2010, n. 7, 11 jan.
• ¹⁰
  Oliveira CM, Bonfim CV, Guimarães MJB, Frias PG, Medeiros ZM. Infant mortality: temporal trend and contribution of death surveillance. Acta Paul Enferm. 2016; 29 (3): 282-90.
• ¹¹
  Venâncio S, Paiva R. O processo de implantação dos Comitês de Investigação do Óbito Infantil no Estado de São Paulo. Rer Bras Saúde Matern Infant. 2010; 10 (3): 369-75.
• ¹²
  Santana IP, Santos JMD, Costa JRD, Oliveira RRD, Orlandi MHF, Mathias TADF. Aspects of infant mortality, according to an investigation of death. Acta Paul Enferm. 2011; 24 (4): 556-62.
• ¹³
  Jodas DA, Scochi MJ, Moura MB, Tiwata MZ. Atendimento à criança e às mães: investigação do óbito evitável em menores de cinco anos. Rev Gaúcha Enferm. 2011; 32 (4): 669-75.
• ¹⁴
  Santana M, Aquino R, Medina MG. Effect of the Family Health Strategy on surveillance of infant mortality. Rev Saúde Pública. 2012; 46 (1): 59-67.
• ¹⁵
  Santos HGD, Andrade SMD, Silva AMR, Carvalho WOD, Mesas AE, González AD. Agreement on underlying causes of infant death between original records and after investigation: analysis of two biennia in the years 2000. Rev Bras Epidemiol. 2014; 17 (2): 313-22.
• ¹⁶
  Frias PG, Lira PIC, Vidal SA, Vanderlei LCM. Vigilância de óbitos infantis como indicador da efetividade do sistema de saúde - estudo em um município do interior do Nordeste brasileiro. J Pediatr. 2002; 78 (6): 509-16.
• ¹⁷
  Caetano SF, Vanderlei LCM, Frias PG. Avaliação da completitude dos instrumentos de investigação do óbito infantil no município de Arapiraca, Alagoas. Cad Saúde Coletiva. 2013; 21 (3): 309-17.
• ¹⁸
  Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP, Denis J-L. A análise de implantação. In: Brousselle, A, Champagne F, Contandriopoulos A-P, Hartz Z. Avaliação: conceitos e métodos. Rio de Janeiro: Ed. Fiocruz; 2011. p. 217-38.
• ¹⁹
  Chen HT. Pratical Program Evaluation: assessing and improving, planning, implementations, and effectviness. Thousand Oaks, CA: Sage Publications, 2005.
• ²⁰
  IBGE (Instituto Brasileiro de Geografia e Estatística). Portal On-line Cidades. [acesso em 07 out 2017]. Disponível em: http://cidades.ibge.gov.br/xtras/perfil.php?codmun=261160
  » http://cidades.ibge.gov.br/xtras/perfil.php?codmun=261160
• ²¹
  Recife. Secretaria Municipal de Saúde. Projeto de implantação da vigilância do óbito infantil no Recife. Recife, 2002.
• ²²
  Brasil. Ministério da Saúde. Secretaria de Vigilância à Saúde. Manual de vigilância do óbito infantil e fetal e do comitê de prevenção do óbito infantil e fetal. 2 ed. Brasília, DF; 2009.
• ²³
  Yin RK. Estudo de caso: planejamento e métodos. 3 ed. Porto Alegre: Bookman; 2005.
• ²⁴
  Pereira CCB, Vidal AS, Carvalho PI, Frias PG. Avaliação da implantação do Sistema de Informações sobre Nascidos Vivos (Sinasc) em Pernambuco. Rev Bras Saúde Matern Infant. 2013; 13 (1): 39-49.
• ²⁵
  Frias PG, Szwarcwald CL, Lira PIC. Avaliação dos sistemas de informações sobre nascidos vivos e óbitos no Brasil na década de 2000. Cad Saúde Pública. 2014; 30 (10): 206880.
• ²⁶
  GOV.UK. Department for Education. Child death reviews: forms for reporting child deaths. [acesso em 09 fev 2016]. Disponível em: from:http://www.nrhmhp.gov.in/sites/default/files/files/Child%20death%20Review%20guidelines.pdf
  » http://www.nrhmhp.gov.in/sites/default/files/files/Child%20death%20Review%20guidelines.pdf
• ²⁷
  Kalter HD, Salgado R, Babille M, Koffi AK, Black RE. Social autopsy for maternal and child deaths: a comprehensive literature review to examine the concept and the development of the method. Population Health Metrics. 2011; 9 (45): 1-13.
• ²⁸
  Stratulat P, Curteanu A, Caraus T, Petrov V, Gardosib J. The experience of the implementation of perinatal audit in Moldova. BJOG. 2014; 121 (Suppl 4): 167-71.
• ²⁹
  Vanderlei LCM, Navarrete MLV. Mortalidade infantil evitável e barreiras de acesso à atenção básica no Recife, Brasil. Rev Saúde Pública. 2013; 47 (2): 379-89.
• ³⁰
  Vanderlei LCM, Frias PG. Uncertainties in the Brazilian scenario and its implications in mother and child health. Rev Bras Saúde Matern Infant. 2016; 16 (4): 375-6.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2017

Histórico

• Recebido
  09 Maio 2017
• Revisado
  07 Out 2017
• Aceito
  10 Out 2017